职位&公司对比

职位详情

• 上海
• 3-5年
• 本科

• Python
• 大数据处理经验

一、职位描述： 我们正在寻找一位熟练的数据工程师，精通数据抓取、数据清洗、数据工程和特征工程。在这个boss岗位上，你将负责从各种来源收集和准备大规模数据集，确保数据质量，并将原始数据转换为适用于分析和机器学习的格式。此岗位对于构建我们AI和Web3系统的核心基础至关重要。 二、岗位职责： 设计和实现数据管道，用于从各种来源收集、处理和清洗大规模数据集，包括网页抓取和bossAPI集成。 清洗和预处理原始数据，确保数据质量，便于分析和机器学习应用。 执行特征工程，从原始数据集中提取有价值的洞察力，并提升机器学习模型的效果。 与数据科学家和工程师紧密合作，理解数据需求，并交付干净和结构化的数据。 自动化重复任务，优化数据处理流程，提高效率和可扩展性。 监控和维护数据管道，确保数据流和存储的可靠性。 执行数据验证和质量检查，确保数据的准确性和一致性。 三、任职要求： 精通Python和SQL进行数据处理，至少有2年数据工程或相关领域经验。 具备数据抓取技术的经验（例如网页抓取、API集成），并能处理大规模数据集。 精通数据清洗和预处理技术，专注于准备数据以供分析和机器学习使用。 熟悉特征工程，能够将原始数据转化为可供建模使用的格式。 有数据库（例如MySQL、PostgreSQL、NoSQL）工作经验。 具备云平台（例如AWS、Google Cloud）和数据存储技术的知识。 强大的问题解决能力和对细节的关注。 优秀的沟通与协作能力，能够在快节奏的环境中跨职能工作。 四、优先条件： 具有大数据技术（例如Hadoop、Spark）和分布式系统经验。 熟悉数据管道框架（如Apache Air直聘flow或类似工具）。 有AI/ML数据准备和与机器学习管道集成的经验。 熟悉Docker和Kubernetes等容器化工具。