职位&公司对比

职位详情

• 北京
• 5-10年
• 本科

• 数据采集
• 爬虫
• 逆向
• 网页
• 抓取

工作直聘职责： 负责互联网网页、文档、图片、音视频等内容数据的发现、采集、解析及存储优化。 负责建设高性能、高稳定性的浏览器集群，优化 JavaScript 渲染性能，提升爬虫对抗能力及页面加载效率。 优化爬虫架构，提升系统稳定性、可扩展性，完善爬虫平台能力，提高业务支持效率。 研究和对抗各类反爬机制，提升爬虫隐蔽性、智能性，确保大规模数据采集任务的来自BOSS直聘顺利执行。 参与搜索、AI 训练数据采集相关业务，支持大模型数据爬来自BOSS直聘取、解析及处理。 任职资格： 扎实的编程能力，熟练掌握 Go、Java、Python 其中至少一种，熟悉高性能编程、并发编程及系统优化。 熟悉爬虫及网页渲染技术，深入理解 Chromium/Blink 内核，或有 无头浏览器（Puppeteer、Playwright、Selenium 等） 相关经直聘验。 有 大规模分布式爬虫 经验，熟悉浏览器渲染优化、高并发数据抓取、智能调度策略等技术。 熟悉常见的 反爬机制及对抗策略（IP 代理、行为模拟、验证码破解等），有真实对抗案例优先。 对 搜索引擎、数据分析、大模型数据采集 相关行业有深入理解者优先。