职位&公司对比

职位详情

• 福州
• 5-10年
• 本科

• 要求数据开发经验
• 数据平台开发经验
• Java
• Spark
• Flink
• 非外包类
• 数据治理经验
• 数据建模经验

岗位职责 1. 负责基于 Spark/Flink 的物联网大数据计算平台核心模块的设计、开发和运维，支撑海量数据的流式与批处理计算。 2. 优化平台计算任务的性能与资源效率，解决高并发、低延迟场景下的技术瓶颈，主导调优及稳定性保障工作。 3. 参与 Hadoop 生态组件的整合直聘与优化，包括但不限于 HDFS、YARN、Hive 等，保障数据存储与计算的可靠性。 4. 探索大数据领域新技术（如实时计算、分布式存储），结合业务需求推动平台架构演进。 任职要求 基本要求： 1. 本科及以上学历，计算机、通信、数学等相关专业，5年以上大数据平台开发经验。 2. 精通 Spark 和 Flink 框架原理，具备流批一体计算（如 Spark StructurBOSS直聘ed Streaming、Flink DataStream/Table API）的实际开发与调优经验。 3. 熟悉 Apache DolphinScheduler 或类似调度系统（Airflow、Azkaban）的部署、配置。 4. 熟悉 Hadoop 生态体系，具备 HDFS/Y来自BOSS直聘ARN/Hive 等组件的使用经验。 5. 掌握大数据性能调优来自BOSS直聘方法论，熟悉 JVM、内存管理、Shuffle 优化、并行度设计等关键技术点。 6. 了解云厂商的大数据计算平台，如AWS，阿里云等的EMR。 7. 具备较强的问题排查能力，能独立解决大数据计算性能boss、资源调度等相关问题。 8. 良好的沟通协作能力，对技术有热情，能承担复杂系统的设计及落地压力。 加分项： 1. 熟悉 OceanBase 、ClickHouse等数据库，有大数据与数据库协同优化经验。 2. 对 Spark/Flink 源码有深入研究，具备社区贡献或定制化开发经验。