职位&公司对比
职位详情
- 北京
- 不限
- 本科
- 技术管理
岗位职责: 1、在有限的指导下,负责项目的技术研发和统筹工作,负责执行新产品的研究、开发、设计; 2、依据定位直聘要求拟定设计方案,进行方案设计,对所提出的方案进行评估,考虑公司生产可行性;分解分配工业设计需求,设计产品结构造型的总体方案; 3、对结构设计系统进行测试并及时解决相关问题;按期完成设计任务并保证项目boss文档完整真实; 4、负责供应商技术能力评价,跟踪与分析产品工业设计和结构设计; 5、对电子设备进行分析,评估电子设备应用所涉及的电子仪器、元件、电路;建立操作数据、执直聘行经验测试; 6、分析客户需求,组织设计调研,把握产品设计潮流和目标消费群体;进行竞争产品分析来自BOSS直聘并制定设计方案; 7、培训和支持生产部门技术人员,根据需求完成产品定制;
职位详情
- 北京
- 3-5年
- 本科
- 互联网/AI
- 分布式
- 引擎
- spark
职位名称:Spark引擎研发工程师 工作地点: [北京] 薪资范围: 面议 职位描述 参与Apache Spark核心模块研发,负责Spark SQL、DataFrame、RDD等核心组件的功能开发、性能优化及稳定性提升。 深度优化Spark执行引擎,针对Shuffle、内存管理、任务调度等模块进行调优,解决海量数据场景下的性能瓶颈。BOSS直聘 设计与实现分布式计算新特性,结合业务需求开发定制化功能(如查询优化、资源调度、容错机制)。 解决大规模集群生产问题,分析并修复Spark在千亿级数据场景下的稳定性问题(如OOM、数据倾斜、Shuffle失败等)。 跟踪社区动态,参与Spark开源社区贡献,推动技术成果回馈社区。 任职要求 硬性要求: 计算机相关专业本科及以上学历,3来自BOSS直聘年以上大数据领域开发经验。 精通Java/Scala,熟悉Spark内部机制(DAG调度、Catalyst优化器、Tungsten执行引擎等)。 深入理解分布式系统原理,熟悉HDFS/YARN/K8s等生态组件。 具备性能调优经验,能通过日志分析、JVM调优、代码改造提升直聘作业效率。 有大规模集群(千台节点以上)运维或开发经验者优先。 加分项: 熟悉LLVM、向量化执行、C++底层优化经验 参与过Spark社区贡献或有开源项目经验 了解Flink/Presto/Trino等其他计算引擎 有机器学习框架(如TensorFlow/PyTorch)集成经验
技能解析
- 结构造型
- 方案设计
- 统筹工作
- 设计潮流
- 结构设计
- 组织设计
- 设计方案
- 分析客户需求
- 客户需求
- 产品设计
- 产品分析
数据来自CSL职业科学研究室
技能解析
- 性能调优
- 海量数据
- 机器学习
- 分布式计算
- 性能优化
- 开发经验
- 分布式系统
- JVM调优
- 内存管理
- YARN
数据来自CSL职业科学研究室