职位&公司对比

职位详情

• 昆明
• 1-3年
• 本科

• 要求数据开发经验
• 数据仓库开发经验
• Spark
• HBase
• Kafka
• Python
• ETL开发经验
• 非外包类

工作职责: 1. 负责从各种数据源（如数据库、数据仓库、日志文件等）收集数据。整合不同来源的数据，确保数据的一致性、准确性和完整性。 2. 设计高效的数据架构，包括数据模型、数据库模式和数据流。优化数据存储和处理方案，以提高数据访问速度和查询性能。 3. 使用各种数据处理工具和技术（如BOSS直聘ETL工具、编程语言如Python、Java等）清洗直聘、转换和整合数据。开发数据处理管道，确保数据从原始状态转换为可用于分析和报告的状态。 4. 构建和维护数据仓库和数据湖，包括设计、部署和优化存储结构。实施数据备份和恢复策略，确保数据的安全性和可用性。 5. 熟悉并掌握大数据处理技术，如Hadoop、Spark、Kafka等。在云平台上部署和管理大数据解决方案。 6. 监控数据处理流程的性能，识别并解决瓶颈问题。优化数据处理算法和存储结构，提高数据处理的效率和响应速度。 7. 团队协作与沟通。 8. 关注数据技术和行业趋势，不断学习和研究新技术和方法。推动技术创新，改进数据处理和分析流程，提高数据价值。 9. 对数据系统中的故障进行快速响应和排查，确保系统的稳定运行。解决数据处理和分析过程中遇到的技术难题。 任职资格: 学历： 全日制本科，计算机相关专业，2年及以上 技能： 1. 熟悉大数据平台、数据仓库、数据平台基础架构； 2. 熟练使用ETL工具，如Python、DataStage、华为/阿里云平台； 3. 有良好的沟通、团队协作能力。直聘 4. 活泼开朗，乐于沟通。 岗位竞争优势： 1. 有数据迁移相关项目经验者优先； 2. 有项目管理、软件设计、系统分析、大数据/云平台相关认证者优先; 3. 有银行数据类项目(如数据平台、监管报送、报表平台等)相关经验者优先。