职位&公司对比

职位详情

• 杭州
• 1-3年
• 本科

• 数据挖掘
• 后端开发
• Java

岗位职责： 1、参与设计和开发爬虫系统 2、参与爬虫数据监控和数据分析系统的设计与开发 3、参与业务系统支撑需求梳理与设计 职位要求： 1、熟练掌握Python/Java等一到两种开发语言，具备开发爬虫系统和相关支撑系统的能力 2、擅长各类爬虫分析策略设定和防屏蔽规则设计，熟悉爬虫IP管理池、分布式爬虫设计机制，对于爬虫效率和质量的控制具备一定的经验 3、熟悉各类开源爬虫组件机制直聘工作boss原理，具备一定的二次开发能力 4、熟练掌握MySQL数据库设计和开发经验，掌握一定的NOSQL数据库开发经验，诸如Mong来自BOSS直聘oDB来自BOSS直聘，Hbase等数据库