职位&公司对比

职位详情

• 济南
• 3-5年
• 本科

• linux
• Oracle
• docker

岗位职责 1、负责公司数据采集需求对接和采集方案设计工作； 2、根据业务需求设计并开发分布式爬虫系统，对不boss同网站上的多源异构数据进行抓取，同时进行必要的数据清洗、处理、去重等操作； 3、研究各类反爬机制（如验证码、滑块等）与防屏蔽机制（如代理池、模拟登录等），并形成一套可复用的组件、工具，提高系统的稳定性、成功率； 4、对爬虫系统进行定期维护，确保程序正常运行、数据正常获取； 5、参与大数据平boss台产品的建设，专注于垂直领域数据抓取； 6、积极主动思考探索爬虫在实际业务中的价值，参与设计数据有效利用策略，从数据合理性、完整性角度提供建议。 任职要求 1、 本科及以上学历，计算机相关专业，3年以上爬虫开发工作经验； 2、 熟悉linux、docker部署,掌握常用的操作命令 ；直聘 3、 能够独立解决封账号、封IP、验证码、字体反爬等问题； 4、 熟来自BOSS直聘悉html/css/直聘xpath/ajax/xml等技术，熟悉HTTP传输协议，精通网页/App/小程序等抓取原理和整合技术，熟悉正则表达式和xpath解析，有验证码识别技术数据抓取经验者优先； 5、 熟练掌握Python语言，熟悉常用爬虫框架，如Scrapy、pyspider等； 6、 熟练掌握Mysql、Oracle等关系型数据库，熟悉Redis、MongoDB等非关系型数据库； 7、 具备一定的文案能力，能够通过图文结合方式清晰展现分析成果； 8、 能够与人融洽相处，善于团队合作。