职位&公司对比

职位详情

• 北京
• 3-5年
• 本科

• 爬虫

岗位职责： 设计和开发高效，可扩展的数据爬虫系统，以收集、清洗和整合网络上的大规模数据。 负责研究和分析网络资源，制定有效的数据抓取策略。 能够处理反爬虫策略，包括但不限于IP代理、来自BOSS直聘验证码识别等。 提供数据结果，支持数据分析和机器学习等后续步骤。 与数据科学家来自BOSS直聘、业务分析师和其他开发人员紧密合作，理BOSS直聘解并满足他们的数据需来自BOSS直聘求。 关注并应用一般的Web安全实践，尊重目标网站的Robot.txt指引。 岗位要求： 计算机科学、信息技术或相关专业的学士学位，或具有相关工作经验。 精通Python等至少一种程序语言，具有使用Scrapy，BeautifulSoup等爬虫工具的经验。 理解HTML，CSS，JavaScript及Web浏览器DOM结构。 熟悉网络爬虫技术，包括动态页面抓取、反封锁/IP代理等。 对大数据处理和存储有一定的了解和实践，比如Hadoop，Spark，MongoDB等。 具备良好的问题解决能力，能独立处理问题，并有持续学习和自我提升的动力。 对数据抓取的合法性、道德性等有深厚的理解，能制定和遵循严格的数据抓取原则。