职位&公司对比

职位详情

• 北京
• 1-3年
• 大专

• 数据分析
• Python
• 网络爬虫技术
• 分布式技术
• MongoDB
• 大数据
• 数据挖掘
• 数据仓库

岗位职责： 1、开发Celery异步数据传输模式平台 2、熟练平台优化能力； 3、精通Scrapy爬虫框直聘架进行分布式爬虫，XPath语法，数据分析等能力 4、精通定制带有cookie信息的请求头，进行模拟用户登陆。分析网页结构与规律，使用Scrapy爬虫框架配合Fiddler工具抓包。使用XPath语法获取kanzhun需要的信息。 5、具有良好的自学能力，能通过研究开源项目来解决开发中遇到的难题。 boss6、熟练使用Linux、及MySQL/MongoDB数据库，有独立搭建大型系统的能力。