职位&公司对比

招聘中

爬虫工程师

-K
  • 大数据
  • A轮
招聘中

爬虫工程师

-K
  • 检测/认证/知识产权
  • 未融资

职位详情

  • 杭州
  • 1-3年
  • 本科
  • 数据挖掘
  • 后端开发
  • Java

岗位职责: 1、参与设计和开发爬虫系统 2、参与爬虫数据监控和数据分析系统的设计与开发 3、参与业务统支撑需求梳理与设计 职位来自BOSS直聘要求: 1、熟练掌握Python/Java等一到两种开发语言,具备开发爬虫来自BOSS直聘系统和相关支撑系统的能力 2、擅长各类爬虫分析策略设定和防屏蔽规则设计,熟悉爬虫IP管理池、分布式爬虫设计机制,对于爬虫效率和质量的控制具备一定的经验 3、熟悉各类开源爬虫组件机制工作原理,具备一定的二次开发能力 4、熟练掌握MySQL数据库设计和直聘开发经验,掌握一定的NOSQL数据库开发经验,诸如MongoDB,Hbase等数据来自BOSS直聘

职位详情

  • 杭州
  • 1-3年
  • 大专
  • python
  • 软件开发

岗位:Pybossthon数据开发工程师 职责: 1:负责电商平台(TB、JD、PDDboss、DYkanzhun、1688等)Web端的数据采集,包括商品详情、价格波动等信息; 2:负责数据解析、清洗(无效数据、重复数据来自BOSS直聘、空值等) 3:负责数据入库自动化程序研发和维护 4:参与团队Python项目设计、开发、优化,提升数据获取系统的稳定性、安全性和高效性。 任职要求: 1:1年以上工作经验 2:基础知识扎实,熟练使用Python,熟悉Linux开发环境及Git使用 3:熟悉MySQL、HBASE等主流数据库(关系型数据库、非关系型数据库等) 4:优秀的分析,问题解决能力,对处理未知,带有挑战性的问题充满激情 5:了解反爬机制,能独立解决常见反爬和封控 加分项: 1:有获取过电商平台商品数据经验优先 BOSS直聘2:有js逆向、拦截分析、封控解析、验证码处理等经验优先

技能解析

专有技能
  • 和数据分析
  • 数据分析
  • 数据监控
  • 二次开发
  • SQL数据库
  • 开发能力
  • 开发经验
  • 数据库开发
  • 系统的设计
  • NOSQL
  • 开发语言
  • 数据库设计

    数据来自CSL职业科学研究室

    技能解析

    专有技能
    • 问题解决能力
    • 项目设计
    • 商品详情
    • HBASE
    • 问题解决
    • 数据开发
    • 主流数据库
    • 优秀的分析
    • 独立解决
    • 商品数据
    • 开发环境
    • 关系型数据库
    • 数据采集
    • 解决能力

      数据来自CSL职业科学研究室

      工作时间

      上午09:00   -   下午06:00

      工作时间

      上午09:00   -   下午06:00
      双休不加班

      公司福利

      • 生日福利
      • 节日福利
      • 有无线网
      • 团建聚餐
      • 零食下午茶
      • 餐补
      • 带薪年假
      • 加班补助
      • 股票期权
      • 年终奖
      • 定期体检
      • 五险一金

      公司福利

      • 五险一金
      • 年终奖
      • 绩效奖金
      • 保底工资
      • 底薪加提成
      • 股票期权
      • 法定节假日三薪
      • 带薪年假
      • 员工旅游
      • 零食下午茶
      • 团建聚餐
      • 通讯补贴
      • 节日福利
      • 生日福利
      更新于 2025-05-14