职位&公司对比

职位详情

• 上海
• 不限
• 本科

• 深度学习
• 模型加速/性能优化
• 分布式训练
• 团队管理经验
• AI 训练基础设施
• 大模型训练优化
• GPU 加速 算子优化
• RLHF（PPO 训练）优化
• AI 计算平台

职位描述 负责构建和优化大规模 AI 训练基础设施，提升大模型训练效率与性能。你将主导分布式训练系统的架构设计与优化，研发高效的计算来自BOSS直聘加速方案，确保系统的扩展性和稳定性，并推动大模型训练策略的持续优化。 岗位职责 1. 分布式训练基础设施开发 o 设计并实现分布式机器学习训练框架，优化数据处理、分布式计算和通信效率。 o 负责 AI 计算平台的架构与优化，提升系统扩展性和稳定性。 2. 大模型训练优化 o 研发混合并行（TP、PP、DP、MOE 等）技术，提高训练吞吐量和计算效率。 o 优化超大规模 MOE（Mixture of Expert直聘s）训练策略，实现低 Drop 率、高通信效率的 Router 设计。 o 设计高效的通信感知（Communication-Aware）计算优化方案，如 Parallel Linear。 3. GPU 计算加速与工具开发 o 研究 GPU 加速技术，优化 AI 计直聘算平台的性能，开发相应的高性能计算工具和库。 o 负责 Triton 算子优化、CUDA Kernel 开发及大规模训练加速方案。 4. 超长序列预训练与 RLHF 训练优化 o 负责 128k+ 超长序列预训练优化，提升 Attention 计算效率。 o 研究并优化 RLHF（PPO 训练），提高 Training & Generation 并行效率boss，优化 KV Cache Offload-Prefetch 机制。 5. 性能分析与优化 o 深入分析训练性能，精准定位并解决计算、通信、存储瓶颈，充分挖掘硬件资源潜力。 o 复现并优化最新大模型架构（LLaMA、DeepSeek、InternLM、FLUX 等），跟进前沿研究并推动落地。 任职要求 1. 教育背景与经验 o 本科及以上学历，计算机、人工智能等相关专业，5 年以上 AI 相关开发经验。 o 有大规模分布式计算、存储和训练系统开发经验，具备大模型训练优化经验者优先。 2. 技术能力 o 深度学习框架：精通至少一种训练框架的底层架构，如 PyTorch（优先）、DeepSpeed、Megatron-LM、FSDP、FairScale 等。 o 并行训练：熟悉 TP、PP、DP、MOE、FSDP 等大规模分布式训练方法，具备优化经验者优先。 o 计算优化：具备 GPU 计算优化能力，熟悉 CUDA、Triton、NCCL、RDMA、通信优化等技术。 o 系统架构：了解 AI 计算平台的架构，熟练掌握 AI 相关网络技术、容器化技术（Docker、Kubernetes）。 3. 综合能力 o 具备良好的数据分析和问题解决能力，能够精准优化训练效率。 o 具备优秀的业务理解能力，能够结合业务需求优化训练策略。 o 紧跟 AI 领域最新研究进展，并能快速复现、落地相关论文。 加分项 • 具备超长序列 Transformer 训练优化经验（如 Mamba、RWKV）。 • 参与过千亿级参数大模型训练项目，有 FSDP、ZeRO、Activation Checkpointing 经验。 • 具备 RLHF（PPO 训练）优化经验，熟悉 Offload 及异步