职位&公司对比

职位详情

• 北京
• 1-3年
• 本科

• 计算机

【岗位职责】 1. 负责设计、开发和维护高kanzhun效、稳定的网络爬虫系统，实现各来自BOSS直聘类网站和平台的数据采集； 2. 解决各类反爬虫机制，完成复杂环境下的数据获取任务； 3. 优化爬虫架构，提高爬虫系统的性能、稳定性和可扩展性； 4. 对采集的数据进行清洗、转换和存储，确保数据质量； 5. 协助数据分析团队进行数据处理和挖掘； 6. 编写技术文档，参与技术方案讨论。 任职资格 【任职要求】 1. 计算机相关专业本科及以上学历，2年以上爬虫开发经验； 2. 精通Python爬虫开发，熟悉Scrapy、Requests、BeautifulSoup等主流爬虫框架和库； 3. 熟悉Golang，有使用Golang开发高性能爬虫的经验； 4. 深入理解HTTP/HTTPS协议，熟悉常见的网页结构和前端技术； 5. 熟悉各类反爬虫技术和绕过方案，能够解决JS渲染、验证码识别、IP代理等问题； 6. 熟练使用MySQL、MongoDB、Redis等数据库，具备数据清洗和处理能力； 7. 了解分布式爬虫架构，能够设计和实现高并发爬虫系统； 8. 具有良好的问题分析和解决能力，以及团队协作精神。 其他要求 【加分项】 1. 了解大模型、有使用模型完成自动化爬虫工具的经验； 2. 有大规模分布式爬虫boss系统开发经验； 3. 熟悉Selenium、Puppeteer等自动化测试工具在爬虫中BOSS直聘的应用； 4. 有验证码识别、OCR等相关经验； 5. 熟悉Docker、K8s等容器化技术； 6. 有数据分析或机器学习相关经验； 7. 了解法律法规，熟悉数据采集的合规要求； 8. 有开源项目贡献或技术博客分享； 9. 有系统架构师、软件设计师、信息系统项目管理师、PMP认证、数据库系统工BOSS直聘程师、系统集成项目管理工程师等资质。