职位&公司对比

职位详情

• 上海
• 3-5年
• 本科

岗位要求： 1. 具备计算机科学或相关领域的本科或研究生学位。 2. 精通Python ，3年以上爬虫及相关技术开发经验； 3. 熟练掌握js逆向，熟悉js各种反爬措施，处理过一种或多种反爬问题，例如极验二代，极验三代，瑞数，加速乐，常见cookie加密等等； 4. 有1年以上App爬取经验，对so逆向有kanzhun一定经验并独立做过相关分析；了解常见的App反爬策略，能解决IP封禁、参数加密、验证码、账号封禁等问题; 5. 有大型爬虫平台开发经验，单个数boss据源爬取数量超过千万级； 6. 工作积极主动、责任心强，直聘具有较强的分析和解决问题的能力。 7. 热爱数据技术，能够研究和应用新的数据技术，提高数据处理boss效率和质量。 岗位职责： 1、负责设计、开发、维护分布式爬虫系统； 2、负责爬虫系统性能效果调优； 3、负责爬虫系统的后台监控、报警模块的开发。