职位&公司对比

职位详情

• 大连
• 3-5年
• 本科

• MySQL、Python
• 分布式技术
• 多线程

1、负责开发爬虫系统。 2、负责设计和开发分布式网络爬虫系统进行多平台、多维度信息的抓取boss和数据库搭建。 3、研究主流平台隐藏信息的抓取规则，参与研究和boss开发数据的深度挖掘。 4、多维度对比识别关键来自BOSS直聘词、关键图片和视频内容，包含分词抽取、语义分析、特征向量抽取、图片识别与比对、OCR、内容识别与转换、标志物识别、人脸识别、视频特征识别、语音文字转换、地域定向等技术。 5、三年以上爬虫开发经验，熟练使用python，能熟练掌握一种或多种数据库，mysql、postgresql、linux、抓包、反爬、数据清洗、数据分析、多线程异步I/O，逆向等。 6、熟练掌握PC网页及移动端APP数据抓取原理及正则表达式相关的信息抽取技术。 7、熟练爬虫与反爬技术，能够多渠道抓取文本、视频、图片等格式样本，能独立思考抓取范围，制定抓取流程。 8、有很强的学习能力和技术钻研能直聘力，积极互动，思维灵活。