职位&公司对比

职位详情

• 北京
• 1-3年
• 大专

• 爬虫
• python

全日制统招学历 岗位职责： 1.负责多平台信息爬取和页面内容的提取分析； 2.研究各种网站、APP、发现它们的特点和规律，实现数据的解析； 3.解决技术疑难问题，包括反反爬、压力控制，ip封控等常见反爬措施； 4.设计各种策略和算法，提升抓取效果，充分利用带宽资源，避免限制； 5.参与搭建通用爬虫系统。 岗位要求： 1.本科以上学历，计算机及相关专业，2年左右相关工作经验； 2.有音视频小说等数据采集相关经验优先； 3BOSS直聘.精通计算机网络，熟练掌握Python，HTML，JS/CSS等技术，熟悉Scrapy、Selenuim框架或其他的Web scbossraping framework； 4.精kanzhun通网页抓取原理及技术，有丰富的Linux系统使用经验，熟悉MySQL、Redis等，熟悉Internkanzhunet基本协议 (如TCP/IP、HTTP等) ; 5.能够解决封账号、封IP采集、验证码识别、图像识别等问题,解决网页抓取、信息抽取等问题，构建完善的网络信息收集平台； 6.有分布式爬虫架构经验者优先，有反爬虫反反爬虫经验者优先，爬虫系统