职位&公司对比

职位详情

• 上海
• 1-3年
• 本科

• 爬虫工程师
• Python
• 爬虫开发经验
• 反爬策略和实践经验

岗位职责： 1、负责公司日常数据采集任务开发，解析，清洗，存储工作 2、不断完善和重构现有的数据采集集群，通过对抓取，解析，调度，存储模块拆分和优化，逐步完善统一的数据采集服务平台 3、必须熟悉一套爬虫框架；例如Scrapy，Feapder框架等 任职资格BOSS直聘： 1、计算机相关专业本科及以上学历，2年以上工作经验 2、熟练掌握Python语言，对数据敏感，具有良好的逻辑分析能力 3、熟悉Cookie登录原理，熟练掌握xpath，CSS，正则等常用的信息抽取技术 4、熟练掌握SBOSS直聘QL语言，熟悉主流数据库开发，有使用MySQL,ElasticSearch,Redis经验 5、学习能力强，能够独立解决问题，并且善于总结分享 6、拥有良好的团队合作及沟boss通能力 7、有一定的JS逆向能力，APP数据采集能力（加分项） 8、有相关数据平台工作经验 后端工程师： 1、1~3年python开发经验 ，熟练掌握语法和第三方库 2、熟练使用Mysql、Mongodb、redis等数据库 3、掌握基本数据机构和算法 4、可以独立开发web网站 5、熟练使用django、djangorestframework、 flask等框架 6、熟练使用c直聘elery等异步框架 7、掌握服务器性能调优和慢查询优化 8、熟悉linux服务器、掌握一些基本命令 9、熟练使用git管理工具 10、掌握docker的使用 11、熟悉编译原理 12、英语阅读能力良好