职位&公司对比

招聘中

爬虫工程师

-K
  • 移动互联网
  • A轮
招聘中

爬虫工程师

-K
  • 旅游/景区
  • 不需要融资

职位详情

  • 北京
  • 不限
  • 不限
  • Python

岗位职责: • 参与云合大数据分析平台的开发 • 网页爬虫kanzhun构架设计与核心技术开BOSS直聘发 •直聘 平台管理和运维 技能要求: • 算法和数据结构基础 • 至少熟悉Python、Java、C++、Perl等语言中的一种 • 网页爬虫开发经验 • 分布式系统经验 加分项来自BOSS直聘: • 大数据平台相直聘关经验,如Spark,Hadoop,Kafka、HBase等 • 数据可视化、数据建模、数据挖掘等经验

职位详情

  • 北京
  • 3-5年
  • 本科
  • 爬虫
  • python
  • scrapy
  • fiddler

1、负责多平台信息爬取和页面内容的提取分析,负责破解各类反来自BOSS直聘爬机制; 2、负责网页的数据抓取和爬取链路优化(包括逆向分析、脱壳、加密参数破解、抓取攻防等),提升抓取能力; 3、研究爬虫策略和防屏蔽规则,解决封账号、封IP、验证码来自BOSS直聘、页面跳转等难点来自BOSS直聘,提升网页抓取的效率和质量; 岗位要求: 1.3年及以上python爬虫经验,本科及以上学历,计算机相关专业 2BOSS直聘.熟悉掌握至少一种开源爬虫框架(scrapy、appium、selenium等); 3.精通动态网页抓取、浏览器模拟抓取、APP抓取等技术,熟悉使用fiddler或其他抓包工具。; 4.具有js逆向,app来自BOSS直聘逆向实际解决经验。熟悉js hook原理,熟悉各种反爬风控常见手段; 5.具有团队合作精神,有责任感,对工作认真负责,有较强的协调和沟通能力 6.有个人相关作品或个人技术站的优先考虑 薪资面谈 非外包单位,自研产品

技能解析

专有技能
  • 算法和数据结构
  • 结构基础
  • 大数据分析
  • 数据分析
  • 技术开发
  • 开发经验
  • 数据建模
  • 分布式系统
  • 数据结构
  • 数据可视化
  • 数据挖掘

    数据来自CSL职业科学研究室

    技能解析

    专有技能
    • 团队合作精神
    • 沟通能力
    • 抓包工具
    • 具有团队合作
    • 合作精神
    • 较强的协调
    • 协调和沟通
    • 团队合作

      数据来自CSL职业科学研究室

      工作时间

      上午09:30   -   下午06:30
      双休弹性工作

      工作时间

      上午09:00   -   下午06:00
      双休弹性工作

      公司福利

      • 餐补
      • 员工旅游
      • 带薪年假
      • 年终奖
      • 五险一金

      公司福利

      • 五险一金
      更新于 2025-05-16