职位&公司对比

职位详情

• 北京
• 5-10年
• 硕士

• 大模型算法
• 机器学习
• 强化学习
• 模型加速/性能优化
• Python

岗位职责： 降本增效：负责深度学习框架底kanzhun层的性能优化工作，解决大模型大数据集大计算难点，提升多机训练效率，提升GPU利用率到90%以上，降低GPU消耗，缩短训练时间，包括： 1. 研发profiler工具，定位和分析IO通讯、CPU/GPU计算、内存/显存瓶颈。 2. 研发模型并行、流水并行等训练策略，支持预训练/多任务/多模态大模型的多机训练。 3. 优化计算速度和显存消耗，如图编译优化、OP Fusion、Mixed Precision、Gradient Checkpoint。 4. 优化Data Input Pipeline（数据IO、预处理、Host2Device）性能。 5. 优化多机多卡通信性能，提升单机、多机训练加速比。 基本要求： 1. 本科及以上学历，计算机/软件工程/人工智能等相关专业优先。 2. 良好的编程风格和文档撰写能力，有多人协作开发及Code Review经验，对代码有严格的质量要求。 3. 熟悉Python/C/C++多线程开发和调试，对各种内存管理技术有一定了解。 4. 熟悉CUDA计算，有1年以上高性能计算经验，有训练速度和显存优化经验的优先。 5. 有深度学习框架研发经验的优先，如TensorFlow、PyTorch、MxNet、Paddle、MegEngine。 6. 有CV、NLP等深度学习算法研发经验的优先。 7. 有较强的发现、分析、解决问题的能力，负责、自驱、细致、好奇、耐心，优秀的沟来自BOSS直聘通协作能力。 加分项： 1. 熟悉PyTorch、Oneflow、DeepSpeed、Megatron-LM、PatrickStar等框架中的多卡并行训练原理。 2. 熟悉常见CV算法，如Objection Detection、Semantic SegmBOSS直聘entation、Multitask Learning。 3. 熟悉分布式缓存来自BOSS直聘技术，如redis等。 4. 熟悉分布式计算框架，如MPI、NCCL、OPENMP等。 5. 熟悉GPU多卡通信算法，如Ring Allreduce等。 6. 熟悉并行训练加速库，如快手Bagua、GPipe、Horovod等。 7. 熟悉Parameter Server等并行计算架构。 8. 有开源项目开发贡献经验。 9. 熟悉PyTorch-Lightning、Detectron2等算法框架/包的原理及底层实现。 10. 熟悉TVM、XLA等AI编译器中的图优化和OP Fusion技术。 11. 熟悉异构编程环境的相关研发，如CUDA、OPENCL等。