职位&公司对比

招聘中

技术经理

-K
  • 其他行业
  • 未融资
招聘中

spark引擎研发

-K·薪
  • 互联网

职位详情

  • 北京
  • 不限
  • 本科
  • 技术管理

岗位职责: 1、在有限的指导下,负责项目的技术研发和统筹工作,负责执行新产品的研究、开发、设计; 2、依据定位直聘要求拟定设计方案,进行方案设计,对所提出的方案进行评估,考虑公司生产可行性;分解分配工业设计需求,设计产品结构造型的总体方案; 3、对结构设计系统进行测试并及时解决相关问题;按期完成设计任务并保证项目boss文档完整真实; 4、负责供应商技术能力评价,跟踪与分析产品工业设计和结构设计; 5、对电子设备进行分析,评估电子设备应用所涉及的电子仪器、元件电路;建立操作数据、执直聘行经验测试; 6、分析客户需求,组织设计调研,把握产品设计潮流和目标消费群体;进行竞争产品分析来自BOSS直聘并制定设计方案; 7、培训和支持生产部门技术人员,根据需求完成产品定制;

职位详情

  • 北京
  • 3-5年
  • 本科
  • 互联网/AI
  • 分布式
  • 引擎
  • spark

职位名称:Spark引擎研发工程师 工作地点: [北京] 薪资范围: 面议 职位描述 参与Apache Spark核心模块研发,负责Spark SQL、DataFrame、RDD等核心组件的功能开发、性能优化及稳定性提升。 深度优化Spark执行引擎,针对Shuffle、内存管理、任务调度等模块进行调优,解决海量数据场景下的性能瓶颈。BOSS直聘 设计与实现分布式计算新特性,结合业务需求开发定制化功能(如查询优化、资源调度、容错机制)。 解决大规模集群生产问题,分析并修复Spark在千亿级数据场景的稳定性问题(如OOM、数据倾斜、Shuffle失败等)。 跟踪社区动态,参与Spark开源社区贡献,推动技术成果回馈社区。 任职要求 硬性要求: 计算机相关专业本科及以上学历,3来自BOSS直聘年以上大数据领域开发经验。 精通Java/Scala,熟悉Spark内部机制(DAG调度、Catalyst优化器、Tungsten执行引擎等)。 深入理解分布式系统原理,熟悉HDFS/YARN/K8s等生态组件。 具备性能调优经验,能通过日志分析、JVM调优、代码改造提升直聘作业效率。 有大规模集群(千台节点以上)运维或开发经验者优先。 加分项: 熟悉LLVM、向量化执行、C++底层优化经验 参与过Spark社区贡献或有开源项目经验 了解Flink/Presto/Trino等其他计算引擎 有机器学习框架(如TensorFlow/PyTorch)集成经验

技能解析

专有技能
  • 结构造型
  • 方案设计
  • 统筹工作
  • 设计潮流
  • 结构设计
  • 组织设计
  • 设计方案
  • 分析客户需求
  • 客户需求
  • 产品设计
  • 产品分析

    数据来自CSL职业科学研究室

    技能解析

    专有技能
    • 性能调优
    • 海量数据
    • 机器学习
    • 分布式计算
    • 性能优化
    • 开发经验
    • 分布式系统
    • JVM调优
    • 内存管理
    • YARN

      数据来自CSL职业科学研究室

      更新于 2025-05-12