职位&公司对比

职位详情

• 大连
• 1-3年
• 本科

• 爬虫
• 数据采集
• 数据挖掘
• 大数据

岗位职责： 1、参与分布式爬虫和数据直聘采集系统的架构设计和开发； 2、负责网络数据抓取规划、清洗以及汇总的开发工作； 3、定期爬取指定网站的数据，为业务部门提供数kanzhun据支持； 任职要求： 1、计算机相关专业，熟悉多种网站请求方式，有搜索或爬虫技术。 2、计算机相关专业。 具有以下经验者优先： （1）了解搜索和爬虫开源软件来自BOSS直聘(python，lucene，solr，mathout，firtex，lemur，indri，nutch，haddopmlarbin， QTwebkit)的一种或多种，以及相关原理； （2）精通网页抓取原理及技术，精通正则表达式，从结构化的和非结构化的数据中获取信直聘息； （3）具备信息检索、web挖掘等搜索引擎相关知识，有从事网络爬虫、网页去重、网页信息抓取、网页分类中任一种程序开发经验； （4）熟悉NoSql（MongoDB，Redis，Hbase等），了解大数据，有一定的Hadoop使用经验；