职位&公司对比

职位详情

• 苏州
• 3-5年
• 本科

• 爬虫

职位描述 1.参与分布式爬虫和数据采集系统的架构设计和开发 2.设计爬虫策略和防屏蔽规则，提升网页抓取的效率和质量 3.负责大规模文本、图像、数据的抓取、清洗、转换等工作 4.研究各种目标网站的形态，互联网特征挖掘，发现它们的特点和规律 【岗位要求】 1.基本功扎实，熟练使用常用数据结构和相关算法，精通javaio、多线程、集合等 2.熟悉缓存、消息机制、并发框架,异步框架等 3.熟悉Internet基本协议（如TCP/IP.HTTP等） 4.熟悉 Appium，Selenium，PhantomJS，Web 直聘Driver等技术熟悉 5.有基于BOSS直聘网页结构的自动识别抽取算法，结构化结果的经验者优先 6.对boss有可视化采集，基于JS的自动规则生成，分布式采集的BOSS直聘经验者优先 7.良好的团队合作意识，对技术报有热情