职位&公司对比

职位详情

• 北京
• 5-10年
• 本科

• 爬虫工程师

工作职责： 1、负责设计和开发分布式网络爬虫系统，进行多平台信息的抓取和分析工作； boss2、负责网页信息和APP数据抽取、清洗、消重等工作，提升平台的抓取效率； 3、参与爬虫核心算法和策略优化，熟悉采集系统的调度策略； 4、实时监控爬虫的进度和警报反馈。 任职要求： 1、有扎实的算法和数据结构能力； 2、熟悉爬虫原理kanzhun，熟悉常见的反爬虫技术，有爬虫相关项目开发经验者优先； 3、掌握http协议，熟悉html、dom、xpath等常见的数据抽取技术；kanzhun 4、有大规模数据处理、数据挖掘、信息提取等经验者优先。。 5、熟练使用Python开发工具，有用户画像和大数据方面开发工作经验； 6、工作认真细致负责，有良好的自学能力，独立思考能力，能够在短时间内学习并应用新技术； 7、熟练应用爬虫外网抓取数据。