职位&公司对比

招聘中

爬虫工程师

-K
  • 互联网
  • 天使轮
职位关闭

爬虫工程师

-K
  • 互联网
  • A轮

职位详情

  • 杭州
  • 1-3年
  • 本科
  • 数据采集
  • 数据抓取
  • python爬虫

1、主导爬虫系统的架构设计和开发; 来自BOSS直聘 2、主直聘导爬虫核心算法的直聘设计和优化; 3、指导项目团队成员的日常开发工作来自BOSS直聘,解决开发中的技术问题,满数据爬取需求。

职位详情

  • 杭州
  • 1-3年
  • 大专
  • 抖音
  • selenium
  • 小红书
  • scrapy

职位描述: 1.负责分布式网络爬虫系统的设计与开发 2.负责海量数据的爬取、清洗、解析、入库; 3.针对需要的数据,寻找网站或app内可用的接口 4.研究主流网站和app反爬机制,寻找应对方案; 5.不断的学习研究行业新技术,提升业务能力,并作团队分享 6.负责js、Android、kanzhunIOS应用的逆向工作,能正向还原关键算法(* 高阶) 职位要求: 1.大专BOSS直聘及以上学历,计算机相关专业; 2.熟悉linux开发环境,熟练掌握java或python编程语言,熟悉js语言; 3.熟练掌握来自BOSS直聘http协议,xpath、csspath、正则表达式,有使用scrapy经验优先; 4.有rmy来自BOSS直聘sql、mongodb、redis、rabbitmq、kafka使用经验; 5.熟悉selenium或Puppeteerr,appikanzhunum或airtest; 6.熟悉常用反爬手段及其对应方法、技巧; 7.有良好的责任心、沟通能力、学习能力、团队协作精神; 8.熟悉常用js防护手段及其对应的分析、调试技巧优先; 9.熟悉Android或IOS逆向技术优先;

技能解析

专有技能
  • 技术问题
  • 架构设计
  • 开发工作

    数据来自CSL职业科学研究室

    技能解析

    专有技能
    • 团队协作精
    • 业务能力
    • 海量数据
    • 沟通能力
    • 团队协作精神
    • 协作精神
    • 团队协作
    • 调试技巧
    • 编程语言
    • 学习能力
    • 系统的设计
    • 开发环境

      数据来自CSL职业科学研究室

      工作时间

      上午09:00   -   下午06:00
      双休弹性工作

      公司福利

      • 节日福利
      • 团建聚餐
      • 零食下午茶
      • 员工旅游
      • 带薪年假
      • 全勤奖
      • 股票期权
      • 年终奖
      • 定期体检
      • 五险一金
      更新于 2025-05-14