职位&公司对比

职位详情

• 杭州
• 不限
• 本科

• 训练/推理加速
• C/C++、Python
• 模型训练、推理优化

职位描述直聘 1、参与大模型超大规模任务离线训练的效率和稳定性提升的工作； 2、参与大模型在线inference吞吐/延迟优化，boss提升inference性价比的工作； 3、参与上述算力加速软硬件及平台体系化的设计和建设工作，支撑大模型能力建设和落地应用； 职位要求 1. 精通C/C++、Python等至少一门编程语言，以及Linux下的系统开发经验 2. 熟悉常用机器学习算法，对文本/多模态大模型相关领域模型，有极佳的工程实现能力，熟悉TF/Pytorch/Jax等深度学习框架，有相关模型训练和模型效果优化者优先 3. 熟悉大模型MegatronLM/Deepspeed/Colkanzhunossal分布式训练框，深入了解模型量化、蒸馏、剪枝等模型优化原理和策略，有文本、语音、以及多模态模型相关训练、效果调优经验优先 4. 熟练使用包括vllm/sglang/tgi/tensokanzhunrrtLLM/lmdeploy等一种以上模型推理服务框架，有代码分析及实践经验优先 5. 对于GPU/ASIC芯片等熟悉了解硬件系统架构，能够针对性的编写高性能的算子实现，有分析及调优能力者优先 6. 有Bert、语音TTS/ASR，以及SD等模型训练、推理优化经验者亦可 7. 在训练/推理加速相关领域的研究和成果发表者优先