职位&公司对比

招聘中

爬虫工程师

-K
  • 计算机软件
  • 未融资
招聘中

数据采集工程师(A227744)

-K·薪
  • 计算机软件

职位详情

  • 上海
  • 1-3年
  • 本科
  • java爬虫
  • python爬虫
  • 自然语言处理

岗位职责: 1.负责爬虫软件工具和爬虫技术的选取; 2.负责爬虫采集器设计、开发、优化; 3.实现各种互联网来源的数据标准化处理入库; 任职要求: 1.本科及以上学历,能力优秀者可kanzhun放宽到大专学历; 直聘 2.精通HTTP协议,熟悉各种WEB认证机制,掌握nutch\solr\lu直聘cece\herkanzhunitrix等工具优先考虑; 3.一年以上JAVA/PYTHON使用开发BOSS直聘经验,熟悉数据库架构,在PDF文本化、表格提取、图像OCR、文本清理、智能识别某一方面有一定的特长; 4.工作认真负责,能够快速学习各种新技术,有强烈的专研精神和解决问题能力。

职位详情

  • 上海
  • 3-5年
  • 本科

岗位描述: 1、负责大模型相关数据采集,包括不限于海内外文本,图片,音视频kanzhun数据; 2、负责对目标网站或APP进行反爬突破、协议破解和提取关键数据; 3、负责反爬虫策略研究,代理、验证码识别等采集支撑服务建设; 4、参与大规模数据处理流程的设计与开发,包括但不限于数据采集、清洗、转换、存储等boss过程。 任职要求: 1、211/985本科及以上计算机相关专业,三年以上数据采集工作经验; 2、精通Js逆向,有主流站点web端大规模数据采集经验; 3、熟悉对APP进行脱壳、逆向、分析反编译; 4、具备验证码处理经验(滑块直聘直聘、点选,google recaptcha、旋转验证码); 5、具备AST反boss混淆Js代码能力,jsvm算法还原能力;

技能解析

专有技能
  • JAVA
  • 熟悉数据库
  • 熟悉数据
  • 开发经验
  • HTTP协议
  • 解决问题
  • PYTHON
  • 解决问题能力

    数据来自CSL职业科学研究室

    技能解析

    专有技能
    • 代码能力
    • 数据处理流程
    • 数据处理
    • 数据采集

      数据来自CSL职业科学研究室

      工作时间

      上午9:00   -   下午5:30
      双休弹性工作

      公司福利

      • 五险一金
      • 加班补助
      • 年终奖
      • 带薪年假
      • 员工旅游
      • 餐补
      • 节日福利
      更新于 2025-05-14