职位&公司对比

职位详情

• 北京
• 1-3年
• 本科

• Python
• 网络爬虫技术
• 分布式技术
• 数据挖掘

岗位职责： 1、负责设计和开发分布式网络爬虫系统，进行多平台、不同维度信息的抓取和分析 2、负责海量数据的爬取、清洗、解析、入库，对数据质量负责； 3、熟悉爬虫框架、反爬boss虫策略和代理策略，熟悉开源情报框架和相关数据处理； 4、负责破解各类反爬机制；boss 5boss、不断提升数据抓取系统的自动化水平。 任职资格： 1、计算机相关专业本科及以上学历，熟练使用Java或Python； 2、熟悉MySQL和任何一种关系型数据库 3、了解常见的反爬手段，能够独立破解中等难度的boss反爬机制，了解kanzhun前端知识； 4、有大规模爬虫系统实现经验为佳； 5、有政府招投标工作经验。