职位&公司对比

职位详情

• 北京
• 3-5年
• 本科

• python
• 爬虫
• AI

一、岗位职责 负责设计、开发和优化网络爬虫程序，精准、高效地从海量互联网数据中抓取所需信息，以满足公司业务对数据的多样化需求。 深度参与 AI 大模型相关项目的数据采集环节，凭借专业的爬虫技术，为模型训练提供高质量、大规模、结构化的数据支持，助力模型性能提升。 持续监控爬虫系BOSS直聘统运行状态，及BOSS直聘时解决数据抓取过程中遇到的各类技术难题，如反爬机制应对、数据解析错误等，确保爬虫作业稳定、可靠运行。 与数据团队、算法团队紧密协作，深入理解他们对数据的需求特点，针对性地优化爬虫策略，保障所采集数据的适用性与有效性。 二、任职要求 专业技能： 精通 Python 编程语言及其网络编程、多线程 / 多进程编程技术，具备扎实的代码功底，能够独立完成复杂爬虫项目的开发与维护。 熟悉主流的爬虫框架（如 Scrapy 等），对网页结构、HTTP 协议、HTML/CbossSS/JavaScript 等前端技术有深入理解，能够灵活运用多种技术手段突破各类网站的反爬限制。 拥有丰富的大数据采集与处理经验，熟练掌握数据清洗、去重、存储等操作，能够将采集到的原始数据转化为可供分析与建模使用的结构化数据格式（如 CSV、JSON、数据库存储等）。 项目经验： 具备 3 年以上爬虫工程师工作经验，参与过多个实际项目的数据采集工作，有成功应对高难度、大规模数据抓取任务的案例。 有参与 AI 大模型项目的数据采集经验者优先，熟悉大模型训练数据的特点与要求，能够根据模型需求制定科学合理的爬虫方案。 综来自BOSS直聘合素质： 具备较强的问题解决能力与抗压能力，面BOSS直聘对复杂多变的网络环境和紧急的数据需求，能够迅速制定解决方案，确保任务按时完成。 拥有良好的团队协作精神，能够与不同专业背景的团队成员进行高效沟通，共同推动项目进展。 三、加分项 曾在知名互联网企业或 AI 独角兽公司从事爬虫工程师岗位，参与过具有行业影响力的项目。 对前沿的爬虫技术、AI 技术融合有深入研究与实践探索，发表过相关技术论文或开源项目。