职位&公司对比

职位详情

• 北京
• 5-10年
• 本科

• python
• 爬虫工程师

工作描述: 1．负责各类平台的大数据抓取平台建设和维护； 2、设计爬虫策略和防屏蔽规则，提升网页抓取的效率和质量，解决爬虫遇到的各种反爬问题； 3、负责爬虫逻来自BOSS直聘辑的开发，分析开发效率瓶颈，利用devops手段，实现爬虫采集工具化、自动化、平台化，提高爬虫团队生产效率； 4、负责爬虫数据的清洗，存储等大数据开发工作； 5、与项目经理、产品、下游团队等部门人员沟通，对外提供各种服务完成整体业务需求达成业务目标； 6、使用容器化技术，解决系统自动化部署及爬虫资源分配问题kanzhun； ----------------------------------------------------------------------------------------------- 1. 负责数据平台的数据采集与爬取、解析处理、入库及备份等数据日常工作； 2. 数据采集工具软件平台的开发、测试工作； 3. 负责分析新的数据需求, 完成数据处理的设计(文档)和实现； 4. 负责数据的清洗、整理、整合及合并等工作； 5. 负责数据处理程序设计框架改善, 数据处理性能优化, 系统数据处理的能力提高； 6. 实时监控爬虫的进度和警报反馈。 ------------------------------------------------------------------------------------------------------------------ 职位要求: 1、本科以上学历，计算机相关专业，熟悉操作系统（多线程、多进程）、计算机网络编程、数据结构与算boss法等基础知识； 2、5年以上Linux 环境下常用语言（C/C++/JAVA/Python）开直聘发经验，熟练使用常用 Linux 命令； 3、5年以上大规模网页、App爬虫开发经验，熟悉Scrapy等常用爬虫框架，熟悉浏览器原理、前端 JS、AJAX； 4、深入了解前端JS反爬，能解决前端动态 JS 混淆问题； 5、深入了解非逆向、非侵入式手机APP采集方法； 6、熟悉了解容器化编排技术（swar来自BOSS直聘m/k8s/mesos）； 7、熟练使用一门以上脚本语言（Python/Javascript）； 8、熟练使用一种以上的数据库（Mongodb/HBase/MySQL）； 9、有前后端或大数据项目开发经验优先； 10、有分布式系统设计开发落地经验优先。