职位&公司对比
职位详情
- 杭州
- 不限
- 本科
需要爬虫+java经验哦~纯爬虫无法胜任 职位描述 1、采集互联网公开的信息，满足各类业务数据需求； 2、负责分布式爬虫系统的建设，优化数据调度BOSS直聘、抓取、解析、存储全栈流BOSS直聘程； 3、帮助团队攻克各种爬boss虫技术难关，提升海量数据系统的抓取效果与性能。 职位要求 1、熟悉垂直搜索爬虫、分布式网络爬虫； 2、JAVA/Python基础扎实，熟悉io、多线程、集合等基础kanzhun框架，熟悉分布式、缓存、消息、搜索等机制优先； 3、熟悉主流爬取技术及爬虫框架工具来自BOSS直聘，如Selenium/Puppeteer/Scrapy/PhantomJS等； 4、熟悉常见反爬封禁策略，并具备相关的实战经验； 5、对网络层协议及网络技术熟悉者优先考虑； 6、有客户端APP经验者优先，有相关安全领域经验者优先
职位详情
- 杭州
- 不限
- 大专
- python
- 广告数据
- go
工作职责: 1、打造国内/外全域的短视频数据抓取和实时监控能力； 2、设计和优化分布式爬虫集群系统，高效的内容发现、解析和存储方案； 3、模拟真实用户行为，采用手机群控等创新技术突破爬取难题； 4、与其他团队紧密协作,集成爬boss虫输出,支持不同业务诉求。 任职要求: 1、大规模分布式系统和网络爬虫开发kanzhun经验； 2、精通Python、Go等编程语言,熟悉爬虫相关kanzhun框架和工具； 3、深入了解平台反爬虫策略及对应的防护和绕行方法； 4、熟悉手机群控、Rkanzhunoot手机等移动端爬虫前沿技术； 5、优秀的系统架构设计和性能优化能力； 6、数据质量管理意识,重视隐私、版权保护。
技能解析
专有技能
- JAVA
- 海量数据
- 业务数据
- 熟悉分布式
- 基础扎实
- 系统的建设
数据来自CSL职业科学研究室
技能解析
专有技能
- 优化能力
- 熟悉手机
- 系统架构设计
- 数据质量
- 编程语言
- 架构设计
- 系统架构
- 管理意识
- 质量管理
- 开发经验
- 性能优化
- 创新技术
- 分布式系统
- 用户行为
数据来自CSL职业科学研究室
工作时间
上午9:30 - 下午6:00
双休 、 偶尔加班
工作时间
上午10:00 - 下午07:00
公司福利
- 五险一金
- 补充医疗保险
- 定期体检
- 全勤奖
- 年终奖
- 带薪年假
- 免费班车
- 包吃
- 节日福利
公司福利
- 餐补
- 带薪年假
- 股票期权
- 年终奖
- 定期体检
- 五险一金
更新于 2025-05-11
电子营业执照
京公网安备11010502032801