职位&公司对比

职位详情

• 北京
• 1-3年
• 大专
• 月结

• 爬虫工程师
• Python 爬虫开发经验
• 反爬策略和实践经验
• 网络爬虫技术

爬虫工程师 Python 爬虫开发经验 反爬策略和实践经验 网络爬虫技术 岗位职责: 1、从事网页及APP数据采集的技术研发工作; 2、负责设计爬虫策略及反爬规则，提升数据采集效率、完整度和稳定性;3、负责智能采集系统设计与研发，如采集任务调度，页面解析和结构化抽取，海量数据存储和读取等。任职资格: 1、至少2年以上爬虫开发经验; 2、熟练掌握JAVA或Python开发，扎实的编程功底，熟悉常用的数据结构和算法; 3、熟悉各种爬虫技术:adsl拨号、正则表达式、脱壳技术、BOSS直聘加密、图片破解、二维码识别、滑块验证码破解、httpClient、分布式爬虫调度、代理bossip调度算法、配置化爬虫、授权爬虫; 4、熟悉常见的反爬虫技术及其突破方案; 5、熟悉Mysql和NoSql(MongoDB， Redi直聘s， Hbase等); 6、有实体抽取，文本分类相关经验者优先;微信分享 7、需要具备企业大数据相关的经boss验 特别说明: 兼职为主。合作顺利，可以转全职。 薪酬按模块工作量。也可以协商月薪制。