职位&公司对比
职位详情
- 杭州
- 1-3年
- 本科
- 数据挖掘
- 后端开发
- Java
岗位职责: 1、参与设计和开发爬虫系统 2、参与爬虫数据监控和数据分析系统的设计与开发 3、参与业务系统支撑需求梳理与设计 职位来自BOSS直聘要求: 1、熟练掌握Python/Java等一到两种开发语言,具备开发爬虫来自BOSS直聘系统和相关支撑系统的能力 2、擅长各类爬虫分析策略设定和防屏蔽规则设计,熟悉爬虫IP管理池、分布式爬虫设计机制,对于爬虫效率和质量的控制具备一定的经验 3、熟悉各类开源爬虫组件机制工作原理,具备一定的二次开发能力 4、熟练掌握MySQL数据库设计和直聘开发经验,掌握一定的NOSQL数据库开发经验,诸如MongoDB,Hbase等数据来自BOSS直聘库
职位详情
- 杭州
- 1-3年
- 大专
- python
- 软件开发
岗位:Pybossthon数据开发工程师 职责: 1:负责电商平台(TB、JD、PDDboss、DYkanzhun、1688等)Web端的数据采集,包括商品详情、价格波动等信息; 2:负责数据解析、清洗(无效数据、重复数据来自BOSS直聘、空值等) 3:负责数据入库自动化程序研发和维护 4:参与团队Python项目设计、开发、优化,提升数据获取系统的稳定性、安全性和高效性。 任职要求: 1:1年以上工作经验 2:基础知识扎实,熟练使用Python,熟悉Linux开发环境及Git使用 3:熟悉MySQL、HBASE等主流数据库(关系型数据库、非关系型数据库等) 4:优秀的分析,问题解决能力,对处理未知,带有挑战性的问题充满激情 5:了解反爬机制,能独立解决常见反爬和封控 加分项: 1:有获取过电商平台商品数据经验优先 BOSS直聘2:有js逆向、拦截分析、封控解析、验证码处理等经验优先
技能解析
- 和数据分析
- 数据分析
- 数据监控
- 二次开发
- SQL数据库
- 开发能力
- 开发经验
- 数据库开发
- 系统的设计
- NOSQL
- 开发语言
- 数据库设计
数据来自CSL职业科学研究室
技能解析
- 问题解决能力
- 项目设计
- 商品详情
- HBASE
- 问题解决
- 数据开发
- 主流数据库
- 优秀的分析
- 独立解决
- 商品数据
- 开发环境
- 关系型数据库
- 数据采集
- 解决能力
数据来自CSL职业科学研究室
工作时间
工作时间
公司福利
- 生日福利
- 节日福利
- 有无线网
- 团建聚餐
- 零食下午茶
- 餐补
- 带薪年假
- 加班补助
- 股票期权
- 年终奖
- 定期体检
- 五险一金
公司福利
- 五险一金
- 年终奖
- 绩效奖金
- 保底工资
- 底薪加提成
- 股票期权
- 法定节假日三薪
- 带薪年假
- 员工旅游
- 零食下午茶
- 团建聚餐
- 通讯补贴
- 节日福利
- 生日福利