职位&公司对比

职位详情

• 哈尔滨
• 5-10年
• 本科

• 要求数据开发经验
• 大数据引擎开发经验
• Java
• Python
• Flink原理/源码
• Elasticsearch原理/源码
• Doris原理/源码
• 非外包类
• ETL开发经验
• 实时数仓开发经验
• 计算机相关专业

岗位职责： 1. 负责公司大数据平台的整体规划、部署、管理和优化，解决运维中出现的疑难问题； 2. 基于主流框架构建批流一体大数据平台，针直聘对数据采集、ETL、流处理、批处理、数据监控来自BOSS直聘等大数据应用的开发； 3. 根据项目需求，提出最优的技术解决方案和相应的技术选型审计，并可完成核心组件的开发。 任职要求： 1. 具有Hadoop生态系统开发经验或大数据平台开发构建经验，深入理解公司大数据平台架构； 2. 熟练掌握StarRocks、Spark/Map-Reduce、flink SQL分布式计算框架； 3. 熟悉大数据ETL处理过程，应用flink或spark针对各种业务场景的组件开发； 4. 能够独立部署Hadoop集群、搭建CDH、Ambari大数据管控来自BOSS直聘平台； 5. 掌握大数据组件的部署调优，包括kafka、elasticsearch、kanzhunflink等； 6. 有数据分析、数据挖掘、机器学习项目经验者，如用户画像、文本挖掘、常用大数据算法（关联分析、相似度算法等）研究经历或工作经历优先； 7. 对前沿主流大数据技术有自主学习能力，能够有效解决项目中的技术难点； 8. 有5年以上大数据开发经验者优先；