职位&公司对比

职位详情

• 北京
• 3-5年
• 本科
• 日结

• 爬虫
• Python爬虫工程师

岗位职责： 1、负责网络爬虫系统平台的架构设计与开发，完善和重构现有采集系统及服务（如抓取调度，多样化抓取，页面解析kanzhun和结构化抽取） 2、设计和开发爬虫的监控和报kanzhun警系kanzhun统，提高问题发现能力 3、负责APP、小程序、h5的数据抓取； 4、研究爬虫策略和防屏蔽规则，解决封账号、封IP、验证码、页面跳转等难点，提升网页抓取的效率和质量。 任职来自BOSS直聘要求： 1、4年及以上Python 爬虫经验； 2、熟悉Scrapy框架及原理，有大规模分布式开发和部署经验； 3、有爬虫框架开发经验优先，熟悉反爬虫、验证码识别技术者优先； 4、熟悉移动端数据抓取，有htt直聘p请求拦截的经验，熟悉mitmproxy，appium，uiautomator2； 5、能独立解决实际开发过程碰到的各类疑难杂症 6、熟悉APP去壳、反编译等逆向工程能力，优先考虑；