职位&公司对比

职位详情

• 杭州
• 5-10年
• 本科

• 爬虫
• hook
• sass

职位描述： 我们正在寻找一位资深的分布式网络爬虫工程师加入我们的团队，负责设计和开发分布式网络爬虫系统，用于多平台信息的抓取和分析工作。作为我们团队的关键成员，你将负责设计爬虫策略和防屏蔽规则，提升网页抓取的效率和质量，参与爬虫核心算法和策略的优化，并实时监控爬虫的进度和处理警报反馈。 任职要求： • 熟悉Linux系统，精通Python语言； • 具备分布式爬虫方案设计和实施经验，能够独立设计定制化要求的爬虫中间件； • 熟悉爬虫原理，了解常见的反爬技术，具备快速分析和应对线上突发反爬升级的能力； • 掌握HTTP协议，熟悉HTML、XPath等常见的数据抽取技术； • 能够分析和解决爬虫中的技术难题，如验证码处理、IP代理池、请求优化、反反爬虫等，并来自BOSS直聘具备相应的工程实践经验； • 具备大规模分布式爬虫系统设计和开发经验，能够解决分布式爬虫中的挑战和问题，如任务调度、数据同步和去重等； • 具有电商平台、国内/国外常见音视频类UGC平台采集、以及账号风控等经验者优先考虑。