职位&公司对比

职位详情

• 北京
• 3-5年
• 本科

• 爬虫
• 商品数据
• 电商

工作职责： 1、负责分布式爬虫系统的架构设计与开发，负责设计并实现高效、稳定的爬虫系统，抓取各类互联网数据源（如新闻、社交媒体、电商平台等）； 2、研究反爬虫策略，以及采集支撑服务建设，保障数据获取能力，掌握常用 JavaScript 混淆的调试分析； 3、负责海量数据的爬取、清洗boss、解析、入库，维护抓取程序的监控和报警，并且快速修复问题； 4、遵守robots.txt协议和网站使用条款，确保爬虫操作符合法律法规； 5、熟悉数据库技术，如MySQL、MongoDB等，能够进行数据存储和查询优化。 任职要求： 1、计算机科学、软件工程或相关直聘专业本科及以上学历； 2、扎实的编程能力，精通Python/C++/Java等至少一种编程语言‌ 3、精通网页抓取原理及技术，能从结构化和非结构化的数据中获取信息； 4、掌握web/app常见的反爬机制，精通各种反爬破解，包括但不限于：hook，js调试，js补环境，浏览器引擎，混淆、逆向分析工程等技能； 5、熟悉TCP，Http协议原理；熟悉正则表达式，DOM，XPath等技术；