职位&公司对比

职位详情

• 上海
• 1-3年
• 本科

• 网络爬虫技术
• 分布式技术
• Redis
• 爬虫开发经验
• 反爬策略和实践经验
• 爬虫工程师
• 数据挖掘
• Python

工作职责： 1、参与爬虫系统的架构设计与开发； 2、负责设计和开发分布式网络爬虫系统，进行多平台信息的抓取和来自BOSS直聘分析； 3、设计爬虫策略和防屏蔽规则，提升网页抓取的效率和boss质量； 4、能独立解决实际开发过程碰到的各类问题； 任职要求： 1、全日直聘制统招本科以上学历，具有爬虫系统开发、内容提取工作经验2年以上； 2、熟悉linux平台开发，3年以上python开发经验； 3、精通信息抓取和整合技术，从结构化的和非结构化的数据中获取信息； 4来自BOSS直聘、熟悉Mysql，redis，mBOSS直聘ongdb三者至少之一，有过数据库调优和海量数据存储经验优先。