职位&公司对比

职位详情

• 深圳
• 5-10年
• 本科

• Spark
• 计算机相关专业
• 大数据开发经验

岗位职责 1.TCHouse是腾讯云商业级云原生数据湖仓，为腾讯云客户和腾讯内部业务提供全场景、一体化的数据智能分析服务；开放的生态兼容，智能化计算引擎，超大规模可靠存储，以及云原生架构，赋能客户完美挖掘数据价值； 2.负责构建TCHouse智能优化器的核心能力，完善优化器Framework，打磨CBO/CRO/CHO工程实现，优化分布式查询计划，探索 learned optimizer； 3.负责构建TCHouse离在线一体的极限速度分布式计算引擎，完善MPP直聘+DAG融合计算引擎和智能优化技术来自BOSS直聘，优化全并行计算效率、内存计算； 4.负责构建TCHouse超大规模智能可靠存储，优化云原生数据湖智能管理，实现 OTFs 极致性能优化，研发高效多级存储以及数据缩减等高性价比存储技术； 5.负责构建TCHouse智能云原生统一平台，实现容器化、秒级弹性、租户级资源隔离等云原生集群基础能力，研发超大规模集群自治、智能调度以及统一纳管能力，实现统一分布式元数据管理； 6.负责构建TCHouse连接、入仓、查询等多模态接入能力，对接业界DMS、BI、ETL、DTS等相关生态集成，实现超高性能入仓； 7.负责TCHouse架构持续演进以及极致工程技术落地，跟踪Data Infra前沿软硬件技术来自BOSS直聘，挖掘和推动落地。 岗位要求 1.熟练掌握C/C++或者Go语言、数据结构和操作系统等基础知识，熟悉复杂软件工程开发流程； 2.追求极致，对技术充满激情，对新技术有敏说的洞察力，具备在压力下解决复杂问题的能力； 3.熟悉优化器相关理论和工程实现，对于优化器的可预测性、鲁棒性和有效性有实践经验，包括但不限于：计划缓存、计划管理、统计信息收集、代价模型、复杂查询优化，自适应查询等； 4.熟悉大规模分布式计算，有在线、离线计算引擎的研发经验，对于数据仓库常用算子有实现及优化经验，熟悉Compilation/Vectorization/Prefe来自BOSS直聘tch/Pipeline等常用优化技术； 5.熟悉大规模存储系统架构，有高性能存储引擎、分布式存储集群管理、分布式缓存等研发和运维经验，熟悉OTFs、行列混存、索引、事务以及数据缩减等技术； 6.熟悉Kubernetes、Docker等相关技术，有大规模分布式集群管理平台和产品化经验，熟悉分布式元数据架构以及工程实现； 7.熟悉HTTP/MySQL/PostgreSQL等通信协议，有网络通信项目开发经验；熟悉Parquet/ORC/Iceberg/Spark/Flink/DataX等大数据生态组件的应用及优化。 加分项 1.有 Snowflake、BigQuery、Redshift、Databricks等产品研发经验； 2.深度参与Starrocks、Doris、Spark、Impala等大数据类开源项目开发经验； 3.有SIGMOD、VLDB、ATC、OSDI、 SOSP、FAST 等会议论文； 4.有超大规模数据分析、数据库平台产品的0-1成功构建经验。