职位&公司对比

招聘中

爬虫工程师

-K
  • 移动互联网
  • A轮
招聘中

python爬虫

-K
  • 电子商务

职位详情

  • 北京
  • 不限
  • 不限
  • Python

岗位职责: • 参与云来自BOSS直聘合大数据分boss析平台的开发 • 网页爬虫构架设计与核心技术开发 • 平台管理和运维 技能要求: • 算法和数据来自BOSS直聘结构基础 • 至少熟悉Python、Java、C++、Perl等语言中的一种 • 网页爬虫开发经验 • 分布boss式系统经验 加分项: • 大数据平台相关经验,如Spark,Hadoop,Kafka、HBase等 • 数据可视化、数据建模、数据挖掘等经验

职位详情

  • 北京
  • 不限
  • 不限
  • 爬虫

【岗位职责】 1、负责各大航空公司官网或者APP数据采集。 2、负责网页爬虫架构设计(包括基础资源,如代理池技术、反爬技术、浏览器采集技术等等)与核心技术研发。 3、负责API或者爬虫获取数据,数据解析和分析等功能的研发。 4、验证码、模拟票预定、出票等。 【任职资格】 1、熟boss直聘掌握至少2门编程语言,如Python、Java,1年以上实际的爬虫项目经验; 2、熟悉主流数boss据库,如MySQL、MongoDB、Redis等 3、熟悉TCP/IP、HTTP协议熟练掌握HTML/CSS/JavaScrip来自BOSS直聘t等Web技术; 4、独立解决各类网站的反爬措施(如代理IP、各种请求数据加密等) 5、实践过反JS防护、混淆、逆向分析,能解决常见滑块验证码 6、熟悉常见的App及Web反爬策略,能解决IP封禁、参数加密、字体反爬、验证码、账来自BOSS直聘号封禁等问题

技能解析

专有技能
  • 算法和数据结构
  • 结构基础
  • 大数据分析
  • 数据分析
  • 技术开发
  • 开发经验
  • 数据建模
  • 分布式系统
  • 数据结构
  • 数据可视化
  • 数据挖掘

    数据来自CSL职业科学研究室

    技能解析

    专有技能
    • 主流数据库
    • 独立解决
    • 掌握HTML
    • 编程语言
    • HTTP协议
    • 架构设计
    • HTML
    • 数据采集

      数据来自CSL职业科学研究室

      工作时间

      上午09:30   -   下午06:30
      双休弹性工作

      工作时间

      上午08:00   -   下午05:00
      排班轮休不加班

      公司福利

      • 五险一金
      • 年终奖
      • 带薪年假
      • 员工旅游
      • 餐补

      公司福利

      • 团建聚餐
      • 包吃
      • 员工旅游
      • 带薪年假
      • 全勤奖
      • 工龄奖
      • 夜班补助
      • 加班补助
      • 底薪加提成
      • 保底工资
      • 绩效奖金
      • 年终奖
      更新于 2025-05-07