职位&公司对比

职位详情

• 北京
• 5-10年
• 本科

• 旅游行业
• 航司
• 爬虫

工作职责： 1. 设计并建设高效、稳定的机票爬虫技术架构，确保能够采集多渠道、多平台的各类数据源，支撑PKFARE各业务乃至未来数据解决方案领域的数据获取需求。 2. 持续来自BOSS直聘优化爬虫架构，监控爬虫系统的性能，优化资源使用，确保系统稳定运kanzhun行的同时提高数据采集的成功率和效率，降低资源消耗。 3. 研究并分析目标站点/平台的反爬机制，设计策略规避限制；定期更新爬虫策略，保持对复杂反爬机制的适应性。 4. 建立爬虫数据质量监控和应急响应机制，发现并解决数据采集中的异常情况（如数据缺失、重复、错误），确保采集的数据符合业务需求和质量标准，确保业务连续性。 5. 负直聘责爬虫团队及各研发项目的进度管理。包括任务优先级确定，任务分配，项目进度检查，项目风险化解等。 任职要求： 1.5年以上爬虫开发经验，2年以上管理经验，管理过10人以上团队为加分项。 2.熟练掌握python，掌握asyncio异步编程、aiohttp、scrapy等爬虫相关框架，有自研爬虫框架经验者优先。 3.熟悉掌握Mysql、MongoDB、Redis等常见数据库。 4.熟悉fastapi或django等后端框架，熟悉restful开发。 5.精通各种抓包工具使用，包括但不限于Fiddler、Charles、WireshaBOSS直聘rk等。 6.精通js逆向，熟悉AST、OB解混、原型链、逆向分析、node补环境等技能。 加分项： 1.突破过海外风控产品（例如：akamai、5S盾、px盾、reese84等）。 2.优秀的系统架构设计和性能优化能力。 3.熟练掌握主流爬虫攻防技术，对浏览器设备指纹、协议破解直聘、模拟点击、人机识别等风控手段有较深入的研究。