职位&公司对比
职位详情
- 北京
- 3-5年
- 本科
- 技术管理
- 高级技术管理
- 系统架构
1、 项目规划和架构设计 （1）参与项目规划，协助架构师进行系统架构设计。 2、 研发计划制订和进度控制 （1）根据来自BOSS直聘系统需求制订项目研发计划，并监督执行； （2）根据项目计划，控制研发进度，按期提交系统研发成果。 3、 需求调研和分析 （1）协助项目经理进行需求调研，并进行需求分析； （2）进行系统原型的设计，配合项目经理进行系统演示、需求搜集、整理。 4、 概要设计文档编写和任务分解 （1）根据系统架构设计方案，完成《系统概要设计说明书》、《数据库设计说明书BOSS直聘》的编写； （2）根据概要设计说明书进行研发任务的分解。 5、 框架搭建和标准制定 （1）负责系统整体研发框架的搭建，确定系统研发过程中标准的制定。 6、 代码编写和审查 （1）负责系统部分核心代码的实现和开发； （2）根据系统设计说明书，指导研发人员完成代码的编写工作，并对其文档和代码进行审查，保障代码的交付质量。 7、 项目技术验收boss和培训 （1）提供现场实施保障及运维技术保障，保证项目顺利验收； （2）对区域中心的现场工程师进行技术指导和培训。 8、 售后BOSS直聘核心技术问题的解决 （1）解决售后过程中出现的核心技术问题，指导研发人员解决售后技术问题。 9、 其他工作 （1）带领研发团队开展技术研究和攻关； （2）负责同质产品通用组件的标准化； （3）进行相关技术研发培训。
职位详情
- 北京
- 3-5年
- 本科
- 互联网/AI
- 分布式
- 引擎
- spark
职位名称：Spark引擎研发工程师 工作地点： [北京] 薪资范围： 面议 职位描述 参与Apache Spark核心模块研发，负责Spark SQL、DataFrame、RDD等核心组件的功能开发、性能优化及稳定性提升。 深度优化Spark执行引擎，针对Shuffle、内存管理、任务调度等模块进行调优，解决海量数据场景下的性能瓶颈。 设计与实现分布式计算新特性，结合业务需求开发定制化功能（如查询优化、资源调度、容错机制）。 解决大规模集群生产问题，分析kanzhun并修复Spark在千亿级数据场景下的稳定性问题（如OOM、数据倾斜、Shuffle失败等）。 跟踪社区动态，参与Spark开源社区贡献，推动技术成果回馈社区。 任职要求 硬性要求： 计算机相关专业本科及以上学历，3年以上大数据领域开发经验。 精通Jakanzhunva/Scala，熟悉Spark内部机制（DAG调度、Catalyst优化器、Tungsten执行引擎等）。 深入理解分布式系统原理，熟悉HDFS/YARN/K8s等生态组件。 具备性能调优经验，能通过日志分析、JVM调优、代码改造提升作业效率。 有大规模集群（千台节点以上）运维或开发经验者优先。 加分项： 熟悉L直聘LVM、kanzhun向量化执行、C++底层优化经验 参与过Spark社区贡献或有开源项目经验 了解Flink/Presto/Trino等其他计算引擎 有机器学习框架（如TensorFlow/PyTorch）集成经验
技能解析
- 设计文档
- 文档编写
- 技术问题
- 需求分析
- 代码的编写
- 技术研究
- 架构设计
- 设计方案
- 进度控制
- 系统演示
- 技术指导
- 框架的搭建
- 系统设计
- 设计说明
- 项目技术
- 系统架构设计
- 框架搭建
- 调研和分析
- 系统架构
- 数据库设计
- 代码编写
- 项目经理
- 项目计划
- 现场工程
- 项目规划
数据来自CSL职业科学研究室
技能解析
- 性能调优
- 海量数据
- 机器学习
- 分布式计算
- 性能优化
- 开发经验
- 分布式系统
- JVM调优
- 内存管理
- YARN
数据来自CSL职业科学研究室
工作时间
公司福利
- 五险一金
- 补充医疗保险
- 定期体检
- 年终奖
- 带薪年假
- 员工旅游
- 餐补
- 通讯补贴
- 交通补助
- 节日福利
- 住房补贴
- 零食下午茶
电子营业执照
京公网安备11010502032801