职位&公司对比
职位详情
- 上海
- 1-3年
- 本科
- java爬虫
- python爬虫
- 自然语言处理
岗位职责: 1.负责爬虫软件工具和爬虫技术的选取; 2.负责爬虫采集器设计、开发、优化; 3.实现各种互联网来源的数据标准化处理入库; 任职要求: 1.本科及以上学历,能力优秀者可kanzhun放宽到大专学历; 直聘 2.精通HTTP协议,熟悉各种WEB认证机制,掌握nutch\solr\lu直聘cece\herkanzhunitrix等工具优先考虑; 3.一年以上JAVA/PYTHON使用开发BOSS直聘经验,熟悉数据库架构,在PDF文本化、表格提取、图像OCR、文本清理、智能识别某一方面有一定的特长; 4.工作认真负责,能够快速学习各种新技术,有强烈的专研精神和解决问题能力。
职位详情
- 上海
- 3-5年
- 本科
岗位描述: 1、负责大模型相关数据采集,包括不限于海内外文本,图片,音视频kanzhun数据; 2、负责对目标网站或APP进行反爬突破、协议破解和提取关键数据; 3、负责反爬虫策略研究,代理、验证码识别等采集支撑服务建设; 4、参与大规模数据处理流程的设计与开发,包括但不限于数据采集、清洗、转换、存储等boss过程。 任职要求: 1、211/985本科及以上计算机相关专业,三年以上数据采集工作经验; 2、精通Js逆向,有主流站点web端大规模数据采集经验; 3、熟悉对APP进行脱壳、逆向、分析反编译; 4、具备验证码处理经验(滑块直聘直聘、点选,google recaptcha、旋转验证码); 5、具备AST反boss混淆Js代码能力,jsvm算法还原能力;
技能解析
- JAVA
- 熟悉数据库
- 熟悉数据
- 开发经验
- HTTP协议
- 解决问题
- PYTHON
- 解决问题能力
数据来自CSL职业科学研究室
技能解析
- 代码能力
- 数据处理流程
- 数据处理
- 数据采集
数据来自CSL职业科学研究室
工作时间
公司福利
- 五险一金
- 加班补助
- 年终奖
- 带薪年假
- 员工旅游
- 餐补
- 节日福利