职位&公司对比

职位详情

• 北京
• 3-5年
• 本科
• 完工结

• 爬虫
• python

**职位描述**： 作为我们的爬虫工程师，您将负责设计和开发高效、稳定且可靠的网络爬虫系统。 您将参与到数据采集、处理和分析的整个流程中，为我们的产品和服务提供强有力的数据支持。 **主要职责**： 1. 负boss责网络爬虫系统的设计、开发和来自BOSS直聘维护。 2. 使用Python进行网页数据的抓取和解析。 3. 对抗目标网站的反爬虫策略，进行JS逆向工程，破解和突破反爬机制。 4. 根据项目需求，制定高效的爬虫策略和算法。 5. 管理和优化爬虫性能，确保数据的准确性和完整性。 6. 分析和处理大规模数据集，为数据团队提供支持。 7. 跟踪最新的网络爬虫技术和反反爬技术发展。 **任职要求**： 1. 统招本科及以上学历，计算机科学、信息技术或相关领域。 2. 精通Python编程语言，熟悉常用的爬虫框架和库（如Scrapy、BeautifulSoup、Selenium等）。 3. 具有扎实的JavaScript基础，能够进行JS逆向工程。 4. 至少2年以上的大中型爬虫项目开发经验，有成熟的破解和突破反爬虫策略的经验。 5. 熟悉HTML、CSS和HTTP协议，了解Web页面结构和数据抓取技术。 6. 具备良好的数据结构和算法基础，能够解决复杂问题。 7. 有使用数据库（如MySQL、MongoDB等）的经验。 8. 具备良好的团队合作精神和沟通能力，能够承受工作压boss力。 **加分项**： - 有分布式爬虫系统开发经验。 - 对机器学习、自然语言处理来自BOSS直聘有一定了解。 - 有开源项目贡献或个人技术博客。