职位&公司对比

职位详情

• 上海
• 3-5年
• 本科

• 爬虫

岗位职责： 1、数据抓取与分析：负责从多种来源（包括网站、App、移动端等）抓取数据。 BOSS直聘2、反爬机制突破：针对目标网站或App的反爬机制，研究并实施解决方案, 熟悉Android 逆向，有脱壳和反混淆经验, 能够还原 so层加密算法或直接调用。 3、协议解析与逆向开发：解决复杂协议（如QUIC、WebSocket、JCE等）和加密算法的抓取难点，完成非HTTP协议的请求处理。 4、自动化工具开发：开发自动化工具，提升爬取效率和数据处理能力。 5、系统架构设计：参与爬虫系统的架构设计，优化任务调度、数据存储及处理流程，确保系统的高可用性和可扩展性。 6、各boss平台验证码突破：通过算法识别各类验证码，生成拟人轨迹，通过协议突破各类验证码。 任职要求： 1、教育背景：本科及以上学历，计算机相关专业优先。 2、工作经验：至少2年以上的爬虫开发经验，有丰富的多平台（Web、App）数据抓取经验。 3、编程能力：熟练掌握Python、Node.js、Go、Java中的一种或多种语言，具备高效的代码实现能力。 4、反爬与逆向技术：熟悉常见的反爬机制及解决方案，有JS逆向、Android/iOS逆向经验，熟悉boss使用Unidbg、Frida-RPC等工具完成加密算法还原或生成加密参数。 5、协议与加密处理：熟悉多种网络协议（如HTTP/HTTPS、QUIC、WebSocket等），了解SSL验证绕过、加密参数破解等技术。 6、学习能力：来自BOSS直聘对新技术有较强的学习能力，能够快速适应复杂多变的BOSS直聘项目需求。 7、工作态度：具备较强的责任心和团队合作精神，能够承受一定的工作压力，具备独立解决问题的能力。