职位&公司对比

职位详情

• 苏州
• 3-5年
• 本科

• 爬虫
• Python

工作职责: 岗位职责 1、参与爬虫项目的架构设计、研发、编程工作，改进和提升爬虫效率； 2、设计爬虫策略和防屏蔽规则，提升网页抓取的效率和质量； 3、负责后台爬虫数据的分布式存储设计以及代码实现； 4、负责网来自BOSS直聘页采集任务的分析及采集方案设计； 5、负责分布式爬虫策略持续优化； 6、利用Java/Python抓取大量平台数据； 7、数据的计算清洗及存储 任职资格: 任职要求 1、掌握Python网络编程、科学计算、多线程、高并发、音视频流处理等相关框架和原理 2、熟悉linux、https协议、精通python来自BOSS直聘语言，熟悉主流的开发框架 3、熟悉正则表达式、html dom xpath等 4、具备丰富的js逆向经验 5、具备快速定位问题能力 6、3年以上Python实际开发工作经验 7、有解决复杂的反爬限制实践经验 8、有APP逆向爬虫kanzhun经验优先 本招聘信息为本科及以上学历，拥有三年以上的 Python 开发经验和至少一年的工作经验的 Java 10500 的爬虫工程师。该岗位的具体工作内容包括但不限于： 1.负责网站数据抓取、解析及存储； 2.根据业务需求进行数据的清洗与处理； 3.对采集到的数据进行分析和挖掘，提取有价值的信息并输出报告； 4.优化现有系统或设计新的自动化流程以提高效率。 5.与其他团队合作完成项目任务。 此外，我们还需要应聘者具备以下条件: - 本科及以上计算机相关专业毕业; - 3 本招聘信息为本科及以上学历，拥有三年以上的 Python 开发经验和至少一年的工作经验的 Java 10500 的爬虫工程师。该岗位的具体工作内容包括但不限于： 1.负责网站数据抓取、解析及存储； 2.根据业务需求boss进行数据的清洗与kanzhun处理； 3.对采集到的数据进行分析和挖掘，提取有价值的信息并输出报告； 4.参与产品的数据分析工作； 5.协助团队完成其他相关技术任务等。 我们期待您具备以下技能和能力: -扎实的编程基础,熟练掌握 Python 或 Java 等语言; -熟悉常用的