职位&公司对比
职位详情
- 上海
- 1-3年
- 本科
- java爬虫
- python爬虫
- 自然语言处理
岗来自BOSS直聘位职责：来自BOSS直聘 1.负责爬虫软件工具和爬虫技来自BOSS直聘术的选取； 2.负责爬虫采集器设计、开发、优化； 3.实现各种互联网来源的数据标准化处理入库； 任职要求： 1.本科及以上学历，能力优秀者可放宽到大专学历； 2.精通HTTP协议，熟悉各种WEB认证机制，掌握nutch\solr\lucece\heritrix等工具优先考虑； 3.一年以上JAVA/PYTHON使用开发经验，熟悉数据库架直聘构，在PDF文本化、表格提取、图像OCR、文本清理、智能识别某一方面有一定的特长； 4.工作认真负责，BOSS直聘能够快速学习各种新技术，有强烈的专研精神和解决问题能力。
职位详情
- 上海
- 3-5年
- 本科
- 爬虫
- 大数据
岗位职责： • 负责对多平台数据源进行爬虫设计、开发与维护，以及相应信息的抽取、清洗、消重、匹配和结构化处理，保证数据质量与采集效率 boss • 攻克解决各类反爬问题，如JS 混淆逆向、APP逆向、自动化、验证码、IP封禁、请求频率检测等 kanzhun • 构建高可用、高并发的分布式爬虫集群 岗位要求： • 本科及以上学历，3年以上爬虫相关经验 • 熟悉Linux平台，熟练掌握Python开发语言 • 熟练掌握一种爬虫框架，例如scrapy、scrapy-redis、pyspider，熟悉爬虫系统、分布式爬虫设计原理 • 熟悉TCP/IP，HTTP/HTTPS等相关BOSS直聘网络协议，以及数据抓包、分析 • 熟练掌握JavaScript逆向，能够处理常见的反爬虫，熟悉常用的应对方案 • 熟悉大数据生态（Kafka/HBase/Spark/Flink/Elasticsearch），能设计高效数据存储方案
技能解析
- JAVA
- 熟悉数据库
- 熟悉数据
- 开发经验
- HTTP协议
- 解决问题
- PYTHON
- 解决问题能力
数据来自CSL职业科学研究室
技能解析
- 数据存储
- 数据质量
- 熟悉大数据
- 开发与维护
- 网络协议
- 平台数据
- 开发语言
数据来自CSL职业科学研究室
工作时间
工作时间
公司福利
- 五险一金
- 加班补助
- 年终奖
- 带薪年假
- 员工旅游
- 餐补
- 节日福利
公司福利
- 节日福利
- 零食下午茶
- 员工旅游
- 带薪年假
- 股票期权
- 年终奖
- 定期体检
- 补充医疗保险
- 五险一金
- 打车报销
- 苹果电脑办公
- 入职体检
- 企业资质
- 带薪病假
电子营业执照
京公网安备11010502032801