职位&公司对比

职位详情

• 杭州
• 1-3年
• 本科

职位描述 1、根据业务需求负责爬虫开发，设计和优化爬虫集群系统； 2、破解反爬机制，优化爬虫路由调度策略，同时负责反爬策略的设计及优化； 3、负责数据的清洗、整理、整合及合并等工作； 4、与业务团队紧密协作，提供支持业务发展的解决方案。 职位要求 1、计算机及相关专业本科或以上学历，掌握Python/Javbossa中任意一种编程语言； kanzhun2、2-4年工作经验，1年以上爬虫经验，精通web/app抓取原理；熟悉主流web爬虫对直聘抗技术，掌握web/app常见逆向分析技能； 3、熟悉至少一种开源爬虫框架，了解各来自BOSS直聘组件工作流；熟悉多进程、分布式工作架构，有能力开发系统化的解决方案； 4、了解HADOOP生态体系，了解hive、kudu、Hbase、impala、Spark并能够使用基本命令进行开发； 5、沟通流利、逻辑性强，具备自驱力。 加分项： 6、有数仓、数据科学相关经验优先