职位&公司对比

招聘中

数据爬虫工程师

-K
  • 大数据
  • 不需要融资

职位详情

  • 上海
  • 3-5年
  • 本科
  • 爬虫

1、设计和开发分布式网络爬虫系统,并进行多平台信息抓取和分析kanzhun工作; 2、负责网页信息抽取、数据清洗等研发和优化工作; 3、负责抓取数据的深度提取和挖掘。 任职资格: 1、精通Java,三种编程语言中的至少一种; 2、精通scarpy网页抓取原理及技术,精通正则表达式,从结构化的和非结构化的数来自BOSS直聘据中获取信息; 3、熟sql server,有过数据库调优和海量数据存储经验优boss先; 4、具有大型web登录分析和搜索相关技术研发经验者优先; 直聘5、具有数据挖掘、自然语言处理、信息检索、机器学习背景者优先。

职位详情

  • 上海
  • 3-5年
  • 本科
  • 爬虫,Crawl4ai

招聘岗来自BOSS直聘位:爬虫网络工程师 岗位职责 1. 运用Deepseek、Grok和Crawl4ai等工具组合,设计并开发高效的网络爬虫系统,实现对各类网站数据的精准抓取。 2. 负责优化爬虫程序,提高数据采集的效率和质量,确保在复杂网络环境和反爬机制下仍能稳定运行。 3. 对采集到的数据进行清洗、整理和初步分析,为后续的数据分析和业务决策提供支持。 4. 与其他部门紧密合作,根据业务需求提供数据支持,协助解决数据相关的问题。 5. 关注行业技术动态,不断探索和引入新的爬虫技术和工具,提升团队的技术水平。 任职要求 1. 计算机相BOSS直聘关专业本科及以上学历,3年以上网络爬虫开发经验。 2. 熟练掌握Python、Java等至少一种编程语言,具备良好的编程习惯和代码规范。 3. 精通Deepseek、Grok和Crawl4ai工具的使用,能够灵活运用它们解决各种数据采集问题。 直聘4. 深入理解HTTP协议、HTML、CSS、JavaScript等前端技术,熟悉网页结构和数据交互原理。 5. 有丰富的应对反爬虫策略kanzhun的经验,如IP代理、验证码识别、动态页面解析等。 6. 具备良好的团队合作精神和沟通能力,能够承受一定的工作压力,有较强的学习能力和解决问题的能力。 薪资待遇 根据个人经验和能力,提供具有竞争力的薪资待遇,具体面议。 如果你认为自己具备以上能力和经验,欢迎投递简历至[直聘具体邮箱2875254337qq.com)期待你的加入!

技能解析

专有技能
  • 数据存储
  • 海量数据
  • 机器学习
  • 自然语言
  • 海量数据存储
  • 获取信息
  • 研发经验
  • 数据库调优
  • 数据挖掘
  • 数据清洗
相同技能
  • 编程语言

数据来自CSL职业科学研究室

技能解析

专有技能
  • HTML
  • 代码规范
  • 数据分析
  • 学习能力和
  • 紧密合作
  • 沟通能力
  • 开发经验
  • 合作精神
  • 数据相关
  • 行业技术
  • 编程习惯
  • 团队合作精神
  • 解决问题的能力
  • 提供数据支持
  • HTTP协议
  • 解决问题
  • 提供支持
  • 团队合作
  • 数据支持
  • 较强的学习
  • 前端技术
  • 网络工程
  • 技术水平
  • 学习能力
  • 数据采集
相同技能
  • 编程语言

数据来自CSL职业科学研究室

工作时间

上午09:00   -   下午06:00
双休弹性工作

公司福利

  • 五险一金
  • 加班补助
  • 年终奖
  • 带薪年假
  • 员工旅游
  • 通讯补贴
  • 交通补助
  • 节日福利
  • 零食下午茶
更新于 2025-04-28