职位&公司对比

职位详情

• 杭州
• 3-5年
• 本科

• 新闻舆情网站

工作内容： 1、完成对复杂网站的信息抓取和交互模拟，通过各种渠道或方式对相关网站进行抓取； 2、不断完善并维护相关网站的直聘抓取，检查抓取后是否有遗漏等工作，确保站点按周期采集及时、全面； 3、负责信息抓取结果的抽取、数据清洗、分类、聚类等工作； 4、反爬策略的设计及优化 任职要求： 1、熟练掌握python语言，熟悉requests/scrapy等常用爬虫技术组件和框架，熟悉正则表达式、dom等，从非结构化的数据中获取信息 2、3年以上爬虫工作经验，有舆情类相关网站等爬取数据经验优先； 3、有较强的网站分析能力，熟知各种反爬措施及相关解决办法 4、责任心强，有boss良好的沟通能力和团队合作精神，较强的学习能力和发现解决问题能力 5、熟练使用gevent、requests、selenium等技术实现高并发稳定抓取； 6、熟练使用消息队列（MQ）、celery等异步框架实现分布式任务处理； 7、熟知HTTP、TCP、Socket等底层知识； 8、熟练掌握Fiddler、Http debugger等抓捕工具； 9、熟悉WebMagic、adsl拨号、正则表达式、脱壳技术、二维码识别、滑来自BOSS直聘块验证码破解、httpCBOSS直聘lient、分词、分布式爬虫调度、数据质boss量监控、代理ip调度算法、配置化爬虫、授权爬虫、舆情、应用市场；