职位&公司对比

招聘中

爬虫工程师

-K
  • 计算机软件
  • 未融资
招聘中
  • 互联网
  • 未融资

职位详情

  • 上海
  • 1-3年
  • 本科
  • java爬虫
  • python爬虫
  • 自然语言处理

岗位职责: 1.负责爬虫软件工具和爬虫技术的选取; 2.负责爬虫采集器设计、开发、优化; 3.实现各种互联网来源的数据标准化处理入库; 任职要求: 1.本科及以上学历,能力优秀者可放宽到大专学历; 2.精通HTTP协议,熟悉各种WEB认证机制,掌握nutch\solr\lucece\heritrix等工具优先考虑; 3.一年boss以上JAVA/PYTHON使用来自BOSS直聘开发经验,熟悉数据库架构,在PDF文本化、表格提取、图像OCR、文本清理、智能识别某一方面有一定的特长; 4.工作认真负责,能来自BOSS直聘够快直聘速学习各种新技术,有强烈的专研精神和解决问题能力。

职位详情

  • 上海
  • 1-3年
  • 本科
  • Android逆向
  • js逆向
  • 数据采集

职位薪资可聊,视面试综合评估定 【职位描述】 1、分析:可以熟练使用常见抓包工具,能够自主分析网站结构和API; 2、开发:保质保量完成负责平台的开发任务,对于不同种类的需求可以充分考虑其差异性并能够提出针对性的建议和解决方案,熟练掌握编写和调试爬虫代码基本技能,实现数据的抓取和解析入库; 3、维护优化:确保维护的平台稳定,能够全面监控,并能够做到备用方案及时切换,优化爬虫性能,提高数据采集效率和稳定性,确保不发生影响下游的爬虫问题; 4、技术攻关:能够通过各种技术手段逆向或破解部分网站或APP,必要时能够支持项目中其他开发人员; 5、数据质量:能够主动思考从爬虫层面上提高数据质量直聘的方法、接口并来自BOSS直聘提案或实行; 6、数据应用:了解数据的下游应用,能够主动思考并提供爬虫范围内对于应用的解决方案 7、持续学习:持续学习和研究新的网络爬虫技术和工具,不断提升自身技能。 【任职要求】 1、 本科或以上学历,计算机相关专业优先考虑; 2、 1-3年以上爬虫开发经验; 3、 熟练使用Python编程语言,具备良好的编码和调试能力,具备扎实的计算机网络基础知识,了解HTTP协议和相关技术; 4、 熟悉常见的爬虫框架和工具,如Scrapy、BeautifulSoup等,具备良好的数据分析和处理能力,熟悉常用的数据存储和处理工具,如MySQL、MongoDBkanzhun等; 5、 对于js逆向,Android逆向有一定了解和应用经验,对市面上主流验证方案有一定研究; 6、 具备良好的沟通能力和团队合作精神,快速准确理解业务需求; 7、 具备较强的问题解决能力和学习能力,能够独立思考和解决技术难题; 8、 有境外电商相关从业经验者优先考虑。

技能解析

专有技能
  • JAVA
  • 熟悉数据库
  • 熟悉数据
  • 解决问题
  • PYTHON
  • 解决问题能力
相同技能
  • 开发经验
  • HTTP协议

数据来自CSL职业科学研究室

技能解析

专有技能
  • 数据质量
  • 编程语言
  • 沟通能力和
  • 解决技术难题
  • 数据应用
  • 良好的数据分
  • 数据分析
  • 数据存储
  • 沟通能力
  • 技术难题
  • 抓包工具
  • 合作精神
  • 解决能力
  • 问题解决能力
  • 团队合作精神
  • 良好的数据分析
  • 开发任务
  • 团队合作
  • 问题解决
  • 解决方案
  • 独立思考
  • 好的沟通
  • 学习能力
  • 分析和处理
  • 综合评估
  • 数据采集
相同技能
  • 开发经验
  • HTTP协议

数据来自CSL职业科学研究室

工作时间

上午9:00   -   下午5:30
双休弹性工作

工作时间

上午09:00   -   下午06:00
双休弹性工作

公司福利

  • 五险一金
  • 加班补助
  • 年终奖
  • 带薪年假
  • 员工旅游
  • 餐补
  • 节日福利

公司福利

  • 五险一金
  • 补充医疗保险
  • 定期体检
  • 年终奖
  • 股票期权
  • 带薪年假
  • 餐补
  • 交通补助
  • 节日福利
  • 零食下午茶
  • 俱乐部
更新于 2025-05-16