职位&公司对比

职位详情

• 上海
• 1-3年
• 本科

本岗位不接受线上面试！ 岗位职责： 1、主导公司所需的爬虫系统架构设计和开发工作 2、负责整个主题爬虫系统架构和数据存储设计，应对各种互联网爬虫规则 3、对各网站、APP和社交媒体内容的爬取和维护 4、负责核心爬虫系统设计、数据库设计与实现 5、设计策略和算法，提升网页抓取的效率和质量 6、分析爬虫系统的技术缺陷，对策BOSS直聘略架构做出合理地调整和改kanzhun进  岗位要求： 1、熟悉爬虫系统整个生命周期的设计及实现，有负责核心框架建设和技术攻关能力 2、2 年及以上 Python 爬虫经验，扎实的BOSS直聘编程功底，良好的编码风格及编码能力  3、熟悉常用的信息抓取策略、js逆向、浏览器指纹、自动化技术和数据重组算法 4、熟练kanzhun使用Request、Scrapy、Celery等采集技术，Plabossywright、Puppteer、uiautomator2自动化技术 5、熟练使用Mysql、Mongodb、Redis、RabbitMq、Elasticsearch等中间件 6、掌握小红书数据采集的方案（必须），有抖音、微信公众号等数据抓取经验者更优 7、对人工智能、模型训练有一定的了解 8、对新技术有浓厚的学习欲望，有较强的独立处理问题的能力