职位&公司对比

职位详情

• 杭州
• 不限
• 本科

需要爬虫+javbossa经验哦~纯爬虫无法胜任 职位描述 1、采集互联网公开的信息，满足各类业务数据需求； 2、负责分布式爬虫系统的建设，优化数据调度、抓取、解析、存储全栈流程； 3、帮助团队攻克来自BOSS直聘各种爬虫技术难关，提升海量数据系统的抓取效果与性能。 职位要求 1、熟悉垂直搜索爬虫、分布式网络爬虫； 2、JAVA/Python基础扎实，熟悉io、多线程、集合等基础框架，熟悉分布式、缓直聘存、消息、搜索等机制优先； 3、熟悉主流爬取技术及爬虫框架工具，如Selenium/Puppetekanzhuner/Scrapy/PhantomJS等； 4、熟悉常见反爬封禁策略，并具备相关的实战经验； 5、对网络层协议及网络技术熟悉者优先考虑； 6、有客户端APP经验者优先，有相关安全领域经验者优先