职位&公司对比
职位详情
- 北京
- 不限
- 不限
- Python
岗位职责: • 参与云合大数据分析平台的开发 • 网页爬虫kanzhun构架设计与核心技术开BOSS直聘发 •直聘 平台管理和运维 技能要求: • 算法和数据结构基础 • 至少熟悉Python、Java、C++、Perl等语言中的一种 • 网页爬虫开发经验 • 分布式系统经验 加分项来自BOSS直聘: • 大数据平台相直聘关经验,如Spark,Hadoop,Kafka、HBase等 • 数据可视化、数据建模、数据挖掘等经验
职位详情
- 北京
- 3-5年
- 本科
- 爬虫
- python
- scrapy
- fiddler
1、负责多平台信息爬取和页面内容的提取分析,负责破解各类反来自BOSS直聘爬机制; 2、负责网页的数据抓取和爬取链路优化(包括逆向分析、脱壳、加密参数破解、抓取攻防等),提升抓取能力; 3、研究爬虫策略和防屏蔽规则,解决封账号、封IP、验证码来自BOSS直聘、页面跳转等难点来自BOSS直聘,提升网页抓取的效率和质量; 岗位要求: 1.3年及以上python爬虫经验,本科及以上学历,计算机相关专业 2BOSS直聘.熟悉掌握至少一种开源爬虫框架(scrapy、appium、selenium等); 3.精通动态网页抓取、浏览器模拟抓取、APP抓取等技术,熟悉使用fiddler或其他抓包工具。; 4.具有js逆向,app来自BOSS直聘逆向实际解决经验。熟悉js hook原理,熟悉各种反爬风控常见手段; 5.具有团队合作精神,有责任感,对工作认真负责,有较强的协调和沟通能力 6.有个人相关作品或个人技术站的优先考虑 薪资面谈 非外包单位,自研产品
技能解析
- 算法和数据结构
- 结构基础
- 大数据分析
- 数据分析
- 技术开发
- 开发经验
- 数据建模
- 分布式系统
- 数据结构
- 数据可视化
- 数据挖掘
数据来自CSL职业科学研究室
技能解析
- 团队合作精神
- 沟通能力
- 抓包工具
- 具有团队合作
- 合作精神
- 较强的协调
- 协调和沟通
- 团队合作
数据来自CSL职业科学研究室
工作时间
工作时间
公司福利
- 餐补
- 员工旅游
- 带薪年假
- 年终奖
- 五险一金
公司福利
- 五险一金