职位&公司对比

职位详情

• 北京
• 3-5年
• 本科

• 互联网/AI
• 分布式
• 引擎
• spark

职位名称：Spark引擎研发工程师 工作地点： [北京] 薪资范围： 面议 职位描述 参与Apache Spark核心模块研发，负责Spar直聘k SQL、DataFrame、RDD等核心组件的功能开发、性能优化及稳定性提升。 深度优化Spark执行引擎，针对Shuffle、内存管理、任务调度等模块进行调优，解决海量数据场景下的性能瓶颈。 设计与实现分布式计算新特性，结合业务需求开发定制化功能（如查询优化、资源调度、容错机制）。 解决大规模集群生产问题，分析并修复Spark在千亿级数据场景下的稳定性问题（如OOM、数据倾斜、Shuffle失败等）。 跟踪社区动态，参与Spark开源社区贡献，推动技术成果回馈社区。 任职要求 硬性要求： 计算机相关专业本科及以boss上学历，3年以上大数据领域开发经验。 精通Java/Scala，熟悉Spark内部机制（DAG调度、Catalyst优化器、Tungsten执行引擎等）。 深入理解分布式系统原理，熟悉HDFS/YARN/K8s等生态组件。 具备性能调优经验，能通过日志分析、JVM调优、代码改造提升作业效率。 有大规模集群（千台节点以上）运维或BOSS直聘开发经验者优先。 加分项来自BOSS直聘： 熟悉LLVM、向量化执行、C++底层优化经验 参与过Spark社区贡献或有开源项目经验 了解Flink/Presto/Trino等其他计算引擎 有机器学习框架（如T直聘ensorFlow/PyTorch）集成经验