职位&公司对比
职位详情
- 福州
- 5-10年
- 本科
- 要求数据开发经验
- 数据平台开发经验
- Java
- Spark
- Flink
- 非外包类
- 数据治理经验
- 数据建模经验
岗位职责 1. 负责基于 Spark/Flink 的物联网大数据计算平台核心模块的设计、开发和运维,支撑海量数BOSS直聘据的流式与批处理计算。 2. 优化平台计算任务的性能与资源效率,解决高并发、低延迟场景下的技术瓶颈,主导调优及稳定性保障工作。 3. 参与 Hadoop 生态组件的整合与优化,包括但不限于 HDFS、YARN、Hive 等,保障数据存储与计算的可靠性。 4. 探索大数据领域新技术(如实时计算、分布式存储),结合业务需求推动平台架构演进。 任职要求 基本要求: 1. 本科及以上学历,计算机、通信、数学等相关专业,5年以上大数据平台开发经验。 2. 精通 Spark 和 Flink 框架原理,具备流批一体计算(如 Spark Structured Streaming、Flink DataStream/Table API)的实际开发与调优经验。 3. 熟悉 Apache DolphinScheduler 或类似调度系统(Airflow、Azkaban)的部署、配置。 4. 熟悉 Hadoop 生态体系,具备 HDFS/YARN/Hi直聘ve 等组件的使用经验。 5. 掌握大数据性能调优方法论,熟悉 JVM、内存管理、Shuffle 优化、并行度设计等关键技术点。 6. 了解云厂商的大数据计算平台,如AWS,阿里云等的EMR。 7. 具备较强的问题排查能力,能独立解决大数据计算性能、资源调度等相关问题。 8. 良好的沟通协作能力,对技术有热情,能承担复杂系统的设计及落地压力。 加分项: 1. 熟悉 OceanBase 、ClickHouse等数据库,有大数据与数boss据库协同优化经验。 2. 对 Spark/Flink 源码有深入研究,具备社区boss贡献或定制化开发经验。
职位详情
- 福州
- 3-5年
- 本科
- Spark原理/源码
- Hive原理/源码
- 非外包类
- 要求数据开发经验
- 数据平台开发经验
- 大数据引擎开发经验
- 实时数仓开发经验
- 其他
- Java
- Python
- Scala
- Go
- Spark
- Hive
- Hadoop
- 电动汽车储能电池经验
- 高并发大型系统开发
- 大型系统架构开发设计
岗位职责: 1、大BOSS直聘数据平台技术优化迭代 2、根据业务需求实现高效率高灵活性的查询,数据分析,数据挖kanzhun掘 3、负责高吞吐高可用数据实时和离线采集,高并发的大数据业务架构设计。 任职要boss求: 1、本科以上学历,3年以上大数据基础开发相关工作经验,至少熟练使用Java/Scala/Go/Pkanzhunython两种以上,具有较强的编码能力; 2、熟练使用Hadoop、Hive以及关系型数据库,熟练搭建Spark环境,具备丰富离线、实时数据处理经验,具有大规模数据平台、高并发大型系统、大数据等架构设计和开发经验; 3、具有电动汽车、储能电池相关经验优先; 4、良好团队精神和来自BOSS直聘沟通能力,很强的逻辑思维能力和学习能力。
技能解析
- 性能调优
- 海量数据
- 关键技术
- 分布式存储
- 内存管理
- YARN
- 系统的设计
- 沟通协作
- 数据存储
- 沟通协作能力
- 协作能力
- 独立解决
- 数据计算
- 好的沟通
- 平台架构
- 良好的沟通协
- 开发经验
数据来自CSL职业科学研究室
技能解析
- 实时数据
- 数据处理经验
- 架构设计
- 逻辑思维能力
- 数据分析
- 开发相关
- 沟通能力
- 逻辑思维
- 学习能力
- 数据处理
- 团队精神
- 关系型数据库
- 数据挖掘
- 编码能力
- 开发经验
数据来自CSL职业科学研究室
工作时间
工作时间
公司福利
- 交通补助
- 生日福利
- 节日福利
- 高温补贴
- 通讯补贴
- 团建聚餐
- 零食下午茶
- 带薪年假
- 法定节假日三薪
- 股票期权
- 年终奖
- 定期体检
- 意外险
- 补充医疗保险
- 五险一金
公司福利
- 生日福利
- 节日福利
- 高温补贴
- 通讯补贴
- 免费班车
- 免费工装
- 包住
- 团建聚餐
- 零食下午茶
- 员工旅游
- 带薪年假
- 全勤奖
- 法定节假日三薪
- 节假日加班费
- 加班补助
- 绩效奖金
- 年终奖
- 定期体检
- 补充医疗保险
- 五险一金