职位&公司对比

职位详情

• 北京
• 3-5年
• 本科

• 爬虫
• Python

岗位职责： 设计和开发高效，可扩展的数据爬虫系统，以收集、清洗和整合网络上的大规模数据。 负责研究和分析网络资源，制定有效的数据抓取策略。 能够处理反爬虫策略，包括但不限于IP代理、验证码识别等。 提供数来自BOSS直聘据结果，支持数据分析和机器学习等后续步骤。 与数据科学家、业务分析师和其他开发人员紧密合作，理解并满足他们的数据需求。 关注并应用一般的Web安全实践，尊重目标网站的Robot.txt指引。 岗位要求： 本科及以上学历（统本 或 民本都可） 精kanzhun通PytBOSS直聘hon等至少一种程序语言，具有使用Scrapy，BeautifulSoup等爬虫工具的经验。 理解HTML，CSS，JavaScript直聘及Web浏览器DOM结构。 熟悉网络爬虫技术，包括动态页面抓取、反封锁/IP代理等。 对大数据处理和存储有一定的了解和实践，比如Hadoop，Spark，MongoDB等。 具备良好的问题解决能力，能独立处理问题，并有持续学习和自我提升的动力。 对数据抓取的合法性、道德性等boss有深厚的理解，能制定和遵循严格的数据抓取原则。