职位&公司对比

职位详情

• 上海
• 1-3年
• 本科

• 分布式技术
• Python

岗位职责 1、负责实现和优化大模型分布式训练以及在线推理系统，提升训练效率和推理性能，包括不限于：架构设计、算子开发、数据处理加速、Checkpoint保存与加载、通信优化等； 2、研究和优化大规模异构加速集群调度、存储、通信互联、监控、Profiling等组件，提升整体硬件利用效率； 3、研究并实现各种模型并行策略（DP/TP/PP/EP/CP）、混合精度、Zero、FSDP、MOE、FP8等技术，加速模型训练，优化显存开销； 4、设计和开发高效的离线、在线推理系统，优化TensorRT-LLM、ONNX-Runtime、vLLM等推理框架，加速整体推理性能； 任职要求 1、本科及以上学历，具有扎实的计算机基础，熟悉操作系统和网络，熟悉C/C++和Python编程语言，对数据结构&算法设计有较深刻的理解； 2、熟悉至少一种主流的深度学习框架，如Tensorflow或Pytorch；熟悉至少一种主流的模型推理框架，如TensorRT-LLM； 3、熟悉CUDA编程，掌握TensorRT、Cutlass、cuDNN等加速库，有内核级优化经验者优先； 4、具备大型分布式系统开发经验，熟悉MPI、直聘NbossCCL、Megatron-LM、Deepspeed、FSDP等相关技术； 5、责任心强，思路清晰，技术视野开阔，对业界新技术敏感，喜欢钻研，具有良好的学习能力并注重团队合作； 加分项 1、有大规模的大模型训练和推理优化经验者优先； 2、熟悉算子开发，有算子优化（如CUDA/Triton）经验者优先； 3、熟悉大模型算法设计，熟悉Transformer架构及其优化方法（如FlashAttention、PagedAttention）者优先； 4、了解Kubernetes以及分布式存储，有相关开发经验者优先； 5、有大型互联网系统（如搜索、推荐、广告）开发经验者优先； 6、有发表OSDI/MLSys等顶会论文，或ACM/ICPC等编程比赛获奖经历者优先；