职位&公司对比

招聘中

爬虫工程师

-K
  • 计算机软件
  • 未融资
招聘中
  • 大数据
  • 天使轮

职位详情

  • 上海
  • 1-3年
  • 本科
  • java爬虫
  • python爬虫
  • 自然语言处理

岗位职责: 1.负责爬虫软件工具和爬虫技术的选取; 2.负责爬虫采集器设计、开发、优化; 3.实现各种互联网来源的数据标准化处理入库; 任职要求: 1.本来自BOSS直聘科及以上学历,能力优秀者放宽到大专学历; 2.精通HTTP协议,熟悉各种WEB认证机制,掌握nutch\来自BOSS直聘solr\lucece\heritrix等工具优先kanzhun考虑; 3.一年以上JAVA/PYTHON使用开发经验,熟悉数据库架构,在PDBOSS直聘F文本化、表格提取、图像OCR、文本清理、智能识别某一方面有一定的特长; 4.工作认真负责,能够快速学习各种新技术,有强烈的专研精神和解决问题能力。

职位详情

  • 上海
  • 1-3年
  • 本科
  • 爬虫工程师
  • Java
  • Scrapy
  • MySQL/Redis
  • 计算机相关专业
  • 爬虫开发经验
  • 反爬策略和实践经验

职责描述: 1. 负责数据采集平台开发、维护工作; 2. 参与外部数据项目开发;采集、加工外部数据数据,根据需求完成外部数据交付; 3. 参与外部数据中台建设。 kanzhun 任职要求: 1. 计算机相关专业本科及以上学历;扎实的计算机专业基本功,具有较的编程能力和质量意识; 2. 3年JAVA研发经验,深入使用Java,熟悉掌握常用的Java类库及框架,如多线程、并发处理、I/O与网络通讯,对Java虚拟机有较深了解,有JVM分析及调优的实际经验; 3. 有一定的分布式系统架构经验; 4. 能熟练使用Spring Boot、Kafka、Redis、Elastic Search等开源框架并有实际开发经验,了boss解到其原理和机BOSS直聘制; 5. 有爬虫开发经验者,优先; 6. 有ETL开发经验者,优先 7. 会Python语言来自BOSS直聘者,优先。

技能解析

专有技能
  • 熟悉数据库
  • 熟悉数据
  • HTTP协议
  • 解决问题
  • PYTHON
  • 解决问题能力
相同技能
  • JAVA
  • 开发经验

数据来自CSL职业科学研究室

技能解析

专有技能
  • ETL开发
  • 维护工作
  • 质量意识
  • 研发经验
  • 分布式系统
  • 系统架构
  • 开源框架
  • 编程能力
  • 数据采集
  • 网络通讯
相同技能
  • JAVA
  • 开发经验

数据来自CSL职业科学研究室

工作时间

上午9:00   -   下午5:30
双休弹性工作

工作时间

上午9:00   -   下午6:00
双休弹性工作

公司福利

  • 五险一金
  • 加班补助
  • 年终奖
  • 带薪年假
  • 员工旅游
  • 餐补
  • 节日福利

公司福利

  • 五险一金
  • 定期体检
  • 年终奖
  • 股票期权
  • 员工旅游
更新于 2025-04-30