职位&公司对比

职位详情

• 苏州
• 1-3年
• 本科

• 爬虫

职责描述: 1、负责公司爬虫系统的设计与开发; 2、开直聘发、维护爬虫系统，包括调度、抓取、维护、验证等爬虫工作; 3、负责爬虫算法的策略优化研究，提升爬虫抓取效率和质量 4、封禁与反封禁研究，在破解反爬虫方面有丰富经验; 5、负责爬虫技术难点的攻克; 任职要求 1、计算机或相关专业专科及以上学历，1年以上爬虫工作和内容提取工作经验，有良好的编码习惯; 2、熟练掌握JavaScript，善于逆向分析，具有跟踪分析研判源码的能力; 直聘3、熟练掌握一种开源爬虫框架直聘，如，Spidy.scrapy等，有研发爬虫框架经验者优先; 4、熟悉常见反爬机制，验证码识别，IP代理池应用lp池、header直聘s认证和cookie等; 5、熟悉Javascript 、HTML、CSS、正则表达式、XPath等信息抽取技术熟悉抓包分析请求并模拟; 6、熟练掌握应用Selenium+PhantomJS实施动态HTML抓取; 7、熟悉Selenium、Appium等技术 8、熟悉熟练使用http代理工具charles、fddler等 9、熟悉mysal，mongodb等常规数据库的常规使用 10、熟练掌握Linux直聘平台开发，能独立安装、配置、搭建开发环境，编写shell脚本; 11、善于独立分析并解决问题，如反爬应对、爬虫策略、防屏蔽规则、验证码识别技术等，能独立解决实际开发过程碰到的各类问题;