职位&公司对比

职位详情

• 苏州
• 1-3年
• 本科

• 全职

中级数据采集工程师 岗位职责： 1.负责Web/APP多端爬虫的开发，解决加密参数算法还原、风控等难点； 2boss.研究优化爬虫算法，提升爬虫系统的稳定性、可扩展性； 3.独立解决实际开发过程中碰到的各类产品数据需求和接口问题。 职位要求： 熟练使用Python/JAVA/Golang语言（任意一种）； 熟练使用MySQL、Redis、Mongo等数据库； 熟练使用Scrapy、Pyspider等主流爬虫框架， 能够独立解决验证来自BOSS直聘码、JS逆向、网页限制爬取等问题，独立解决封账号、封IP等风控； 熟悉Android端安全技术，掌握常见的静态分析、动态调试、协议抓包、HbossOOK等技术原理和框架应用； 熟悉Charles、Reqable等抓包工具，熟悉网页抓取原理及技术，熟悉正则表达式，熟练从结构化和非结构化数据中获取信息； 熟练使用XPath或RE正则等常用模直聘块，了解指纹浏览器、无头浏览器的工作原理，具来自BOSS直聘备扎实的编程功底，具有良好的程序设计能力； 具备良好的沟通表达能力，有一定的产品意识。