职位&公司对比
职位详情
- 北京
- 1-3年
- 本科
- Python
- Scala
- Spark
- Flume
- Storm
- Kafka
- Hadoop
- Impala
岗位职责: 1、负责离线数来自BOSS直聘仓架构设计及ETL任务开发和维护; 2、负责提升基于HIve、Hbase数据存储集群的高可用性、高性能、高扩展特性; 3、负责设计和建立基于Flink或Spark实时数据处理框架; 4、研究Hadoop/Spark/Hbase/Hive/Flink等开源项目,对线上任来自BOSS直聘务进行调优,并开发通用组件; 5、负责数据接口服务的设计及开发; 6、负责技术攻关和创新技术引用,开发具有数据分析、数据挖掘能力的创新型产品; 任职资格: 1、本科及以上,计算机、软件工程、统计学、数据挖掘、机器学习等相关专业,3年以上大数据相关工作经验; 2、熟练使用java、scala、python等开发语言中的一直聘种; 3、有hadoop和spark、hive、flink实际开发经验。了解大数据组件的使用限制和应用场景,如hdfs,yarn,hbase,hiBOSS直聘ve,flume,k来自BOSS直聘afka,zk,impala,kylin,kudu,ES,Storm、MongoDB等。 4、熟悉mysql、oracle、ElasticSearch、Redis等关系型或NoSQL数据库,了解应用场景和使用限制; 5、熟悉linux操作系统及常用命令; 6、熟悉HDFS分布式文件系统架构,熟练掌握Hadoop/Hive/hbase的运维和调优方法; 7、熟练使用过azkaban、airflow、apache dolphin等开源调度工具优先。
职位详情
- 北京
- 5-10年
- 本科
- HDFS原理/源码
- Storm
- 要求数据开发经验
- Spark原理/源码
- 医疗行业经验
- Flink原理/源码
- 数据建模经验
- Kafka
- MySQL/SQL Server
- 实时数仓开发经验
- Flink
- Shell
- Hive原理/源码
- Kylin
- 数据仓库开发经验
- Python
- Java
- Kafka原理/源码
- Scala
- 大数据引擎开发经验
- 非外包类
- Flume
- Oracle原理/源码
- 计算机相关专业
- 数据平台开发经验
- Impala
- SQL
- 数据库内核开发经验
- Hive
- MySQL原理/源码
- 其他数据开发经验
- Spark
岗位需求:解决公司公司医保违规筛查大数据应用产品的医院数量增多、业务数据规模变大带来的自动化数据接入、数据治理、入仓、违规智能筛查与数据分析后台任务的并发性与数据处理和模型计算的效率、违规筛查结果的实时性、准确性与完整性等问题的挑战。到目前为止,该产品依赖的大数据云平台并没有做深入到具体大数据组件任务级别的性能优化,只做了部分平台级的参数调优与人工测试。需要这个角色解决这些问题。 岗位职责: (1)负责BOSS直聘公司医疗大数据SAAS应用服务产品的大数据采集、大数据治理,并构建离线与实时大数据仓库,支撑医疗大数据应用体系对医疗大数据的离线批处理与实时性流式处理与分析业务; (2)负责公司医疗大数据SAAS应用服务产品的大数据与人工智能模型和算法(包括知识图谱、NLP、机器学习与深度学习模型与算法)设计与开发,满足医疗大数据OLTP应用体系对智能化业务的实际需求; (3)对公司医疗大数据SAAS应用服务产品的医疗大数据进行特征分析与大数据挖掘, 能根据业务特点选择最合适的大数据挖掘算法,满足医疗大数据分析平台对核心业务分析指标与模型评估的计算要求; (4)负责公司医疗大数据SAAS应用服务产品的业务核心指标体系设计、开发、监控与跟踪分析,并对异常波动情况进行分析和问题定位,满足医疗大数据OLAP应用体BOSS直聘系对大数据分析与挖掘的实际需求; (5)负责公司医疗大数据平台及其SAAS应用服务的优化方案与性能测试方案设计、实施与持续性能优化。 任职要求: (1)统计学、数学、计算机等专业,性别不限,5年以上工作经验,3年及以上大数据挖掘、大数据分析实际工作经验; (2)具有良好的职业素养,为人诚实、上进、有积极的工作态度,在业内无不良口碑,有吃苦耐劳的精神,能够承担压来自BOSS直聘力,并具有较强的学习能力、实际操作能力、良好的团队意识和敏锐的思维,能够快速分析问题和解决问题; (3)至少3年以上数据仓库建模经验,有较强敏感性;精通多维度数据仓库建模,形成完整数据平台体系; (4)至少精通Java、Scala、Python语言中的一种,熟练使用开源项目的大数据分析平台与工具(如Apache Kylin大数据分析平台、Davinci大数据可视化分析工具等),能熟练使用SQL进行数据库操作; (5)熟练掌握统计学、数据挖掘相关技术,具备机器学习的理论和实践基础; (6)熟悉Hadoop/Spark平台下的大数据分析技术,有Hive、Flink等离线与实时大数据仓库设计开发经验; (7)精通数据指标提取,可以根据业务需求提供数据模型; (8)具备CDH或HDP大数据管理平台下Hadoop HA集群Tez MR批量处理任务对医院HIS系统熟悉、Hive大数据仓库、Kafka、Flume、 Spark、Storm等集群流式处理任务、Flink流式数仓、Impala数仓即席boss查询任务等常用大数据组件的实际调优经验。 (9)对商业和业务逻辑敏感,有一定的Java Web应用开发经验。
技能解析
- 数据处理框架
- SQL数据库
- 实时数据
- 架构设计
- 软件工程
- 系统架构
- 数据存储
- 数据挖掘能力
- 创新技术
- 数据相关
- 高可用性
- 有数据分析
- 开发语言
- 数据分析
- 机器学习
- 开发经验
- 数据处理
- 数据挖掘
数据来自CSL职业科学研究室
技能解析
- 应用开发经验
- 大数据分析
- 方案设计
- 使用SQL
- 数据仓库
- 业务数据
- 性能测试
- 仓库设计
- 建模经验
- 数据应用
- 业务分析
- 测试方案
- 数据挖掘算法
- 分析问题
- 优化方案
- 数据库操作
- 数据模型
- 性能优化
- 设计开发经验
- 数据管理
- 应用开发
- 分析工具
- 深度学习
- 跟踪分析
- 解决问题
- 设计开发
- 团队意识
- 知识图谱
- 数据可视化
- 较强的学习
- 大数据可视化
- 良好的团队意识
- 数据可视化分析
- 业务逻辑
- 数据治理
- 学习能力
- 数据仓库建模
- 数据采集
- 数据分析
- 机器学习
- 开发经验
- 数据处理
- 数据挖掘
数据来自CSL职业科学研究室
工作时间
工作时间
公司福利
- 五险一金
- 定期体检
- 年终奖
- 带薪年假
- 餐补
- 包吃
- 节日福利
公司福利
- 五险一金
- 年终奖
- 带薪年假