职位&公司对比

职位详情

• 杭州
• 3-5年
• 本科

• 爬虫
• 电商

1、根据需求进行海外相关行业的数据采集（爬虫）工作与相关系统的建设与维护，涉及PC、移动端。 2、熟练掌握 Python 语言，熟悉常用的数据爬虫框架，如 Scrapy、BeautifulSoup 等，能够独立完成爬虫程序的开发、调试和维护。 3、深入boss理解 HTTP/HTTPS 协议，熟悉网络请求、响应机制，能够处理各种网页数据的抓取和解析。 4、具备扎实的数据库知识，熟练使用 MySQL、MongoDB 等数据库进行数据存储和管理，能够进行数据的增删改来自BOSS直聘查操作。 5、熟悉代理 IP 的使用和管理，能够有效应对目标网站的反爬虫机制，确保爬虫程序稳定运行。 职位要求 1、有海外数据采集项目经验，熟悉海外主流网站（如 Facebook、Twitter、Amazon 等）的数据结构和反爬虫策略。 2、具备处理大规模数据的经验，能够优化爬虫程BOSS直聘序性能，提高数据采集效率和质量。 3、有互金、海外电商、酒旅平台经验优先