职位&公司对比

职位详情

• 太原
• 1-3年
• 本科

• 要求数据开发经验
• 数据平台开发经验
• 数据仓库开发经验
• 大数据引擎开发经验
• Python
• SQL
• Spark
• Hive
• Flink
• MySQL/SQL Server
• Spark原理/源码
• Flink原理/源码
• Hive原理/源码
• 非外包类
• BI报表开发经验
• ETL开发经验
• 实时数仓开发经验

职位名称：数据工程师（Data Engineer） 职位描述： 我们正在寻找一位经验丰富的数据工程师，负责构建和优化公司数据基础设施，支持数据驱动的决策和业务发展。你将与数据分析师、数据科学家、软件工程师等团队紧密合作，确保数据的高效存储、管理和使用。 岗位职责： 1. 数据管道开发与维护： • 设计、构建、优化和维护高效的数据采集、清洗、存储和处理流程（ETL/ELT）。 • 使用流式或批处理技术（如Spark、Flink、Kafka等）构建稳定的数据管道。 2. 数据存储与管理： • 设计和管理数据仓库、数据湖等存储架构，提升数据访问和分析性能。 • 维护和优化关系型数据库（MySQL、PostgreSQL等）及大数据存储（Hadoo直聘p、ClickHouse、Druid等）。 3. 数据质量与治理： • 确保数据的完整性、一致性和安全性，提升数据质量。 • 设计和实施数据治理策略，优化数据访问控制和权限管理。 4boss. 数据平台与工具建设： • 参与公司数据平台的建设，支持大规模数据计算和分析。 • 结合业务需求，开发内部数据工具，提高数据使用效率。 5. 性能优化与监控： • 监控数据管道的性能，并优化查询、存储和计算效率。 • 处理数据异常和故障，确保系统高可用性。 任职要求： 1. 学历要求：本科及以上学历，计算机、软件工程、数据科学、数学、统计学等相关专业。 2. 工作经验：2年以上数据工程相关工作经验，有大规模数据处理经验者优先。 3. 编程能力： • 熟练掌握Python、Java或Scala中的至少一种，并具备良好的代码编写能力。 • 熟悉SQL，能编写高效的查询语句，优化数据库性能。 4. 大数据技术： • 熟悉Hadoop生态（HDFS、Hive、Spark等）或流式处理框架（Flink、Kafka等）。 • 熟悉数据仓库建模（Star kanzhunSchema、bossSnowflake Schema）和优化策略。 5. 云计算和DevOps（加分项）： • 了解云端数据架构（AWS/GCP/Azure）或相关数据工程实践。 • 熟悉Docker、Kubernetes等容器化技术。 6. 数据治理： • 了解数据治理、数据血缘、数据安全等相关概念，熟悉主流工具（如Apache Atlas、DataHub等）者优先。 7. 优秀的沟通能力： • 具备跨团队协作能力，能与业务、算法、数据分析团队紧密合作。 • 有较强的逻辑思维能力，能清晰表达技术方案。 加分项： • 有海量数据处理、高并发、大规模分布式数据存储经验。 • 有数据湖、数据中台建设经验。 • 参与过开源大数据项目，并有贡献记录。 公司福利： • 具有竞争力的薪资+年终奖 • 双休，五险一金，带薪年假 • 弹性工作时间，远BOSS直聘程办公支持 • 业务高速发展，提供广阔的成长空间