职位&公司对比

招聘中

大数据计算平台研发工程师

-K·薪
  • 通信/网络设备
  • 已上市
招聘中
某500强上市公司

职位详情

  • 福州
  • 5-10年
  • 本科
  • 要求数据开发经验
  • 数据平台开发经验
  • Java
  • Spark
  • Flink
  • 非外包类
  • 数据治理经验
  • 数据建模经验

岗位职责 1. 负责基于 Spark/Flink 的物联网大数据计算平台核心模块的设计、开发和运维,支撑海量数据直聘的流式与批处理计算。 2. 优化平台计算任务的性能与资源效率,解决高并BOSS直聘发、低延迟场景下的技术瓶颈,主导调优及稳定性保障工作。 3. 参与 Hadoop 生态组件的整合与优化,包括但不限于 HDFS、YARN、Hive 等,来自BOSS直聘保障数据存储与计算的可靠性。 4. 探大数据领域新技术(如实时计算、分布式存储),结合业务需求推动平台架构演进。 任职要求 基本要求: 1. 本科及以上学历,计算机、通信、数学等BOSS直聘相关专业,5年以上大数据平台开发经验。 2. 精通 Spark 和 Flink 框架原理,具备流批一体计算(如 Spark Structured Streaming、Flink DataStream/Table API)的实际开发与调优经验。 3. 熟悉 Apache DolphinScheduler 或类似调度系统(Airflow、Azkaban)的部署、配置。 4. 熟悉 Hadoop 生态体系,具备 HDFS/YARN/Hive 等组件的使用经验。 5. 掌握大数据性能调优方法论,熟悉 JVM、内存管理、Shuffle 优化、并行度设计等关键技术点。 6. 了解云厂商的大数据计算平台,如AWS,阿里云等的EMR。 7. 具备较强的问题排查能力,能独立解决大数据计算性能、资源调度等相关问题。 8. 良好的沟通协作能力,对技术有热情,能承担复杂系统的设计及落地压力。 加分项: 1. 熟悉 OceanBase 、ClickHouse等数据库,有大数据与数据库协同优化经验。 2. 对 Spark/Flink 源码有深入研究,具备社区贡献或定制化开发经验。

职位详情

  • 福州
  • 5-10年
  • 本科
  • Java
  • 计算机相关专业

岗位职责: 1、通讯行业支撑/应用系统软件开发; 岗位要求: 1、计直聘算机、通信工程或相关专业,大学本科及以上学历; kanzhun2、7年及以上数据仓库开发经验,有电信行业经验优先; 3、悉数据仓库kanzhun各类模型建模理论,了解数据仓库数据分层架构; 4、具备大型数据仓库架构设计、模型设计、ETL设计的相关经验; 5、具备很强的学习能力和工作抗压能力; 6、精通SQL语言,具备Oracle和大数据开发经验; 7、熟悉Hadoop生态圈,Hbase/Hive/Zookeeper/Spark/driud/kafka/storm等; 8、良的团队合作,沟通能力强,敢于挑战新技术。

技能解析

专有技能
  • 性能调优
  • 海量数据
  • 关键技术
  • 分布式存储
  • 内存管理
  • YARN
  • 系统的设计
  • 沟通协作
  • 数据存储
  • 沟通协作能力
  • 协作能力
  • 独立解决
  • 数据计算
  • 好的沟通
  • 平台架构
  • 良好的沟通协
相同技能
  • 开发经验

数据来自CSL职业科学研究室

技能解析

专有技能
  • 模型建模
  • 数据仓库
  • 精通SQL
  • SQL语言
  • 架构设计
  • 团队合作
  • 熟悉数据仓库
  • 数据开发
  • 仓库架构设计
  • 学习能力和
  • 沟通能力
  • 通信工程
  • 熟悉数据
  • 模型设计
  • 大数据开发
  • 学习能力
  • 沟通能力强
  • 软件开发
相同技能
  • 开发经验

数据来自CSL职业科学研究室

工作时间

上午9:00   -   下午6:00
双休弹性工作

公司福利

  • 交通补助
  • 生日福利
  • 节日福利
  • 高温补贴
  • 通讯补贴
  • 团建聚餐
  • 零食下午茶
  • 带薪年假
  • 法定节假日三薪
  • 股票期权
  • 年终奖
  • 定期体检
  • 意外险
  • 补充医疗保险
  • 五险一金

公司福利

  • 五险一金
  • 定期体检
  • 年终奖
  • 带薪年假
  • 员工旅游
  • 免费班车
  • 通讯补贴

备注

职位发布者未明确表明公司信息,具体可咨询职位发布人进行确认。

更新于 2025-05-06