职位&公司对比

职位详情

• 杭州
• 不限
• 本科

• 推理
• 训练
• 算子
• 模型量化
• 剪枝
• 模型压缩
• TensorRT
• 开源

职位描述 1、模型压缩kanzhun和推理框架开发：推理加速的研究，包括但不限于模型量化、剪枝、TensorRT、TensorRT-LLM推理、Batch推理、算子优化优化等； 2、提升模型服务的稳定性，吞吐量； 3、技术输出：定期分享训练和推理优化技术，赋能业务，沉淀BOSS直聘专利和论文。 职位要求 1、扎实的机器技术基础，了解前沿的AI技术，有不错的工程实践经验优先，了解 RPC、HTTP Server 等； 2、了解模型推理加速的研究和技术进展，包括kanzhun但不限于模型量化、剪枝、TensorbossRT、Flash Attention 推理优化等； 3、了解业界常用的大语言模型推理加速框架，如vLLM，TensorRT-LLM等； 4、在深度学习框架上不错的研究，了解 CUDA，熟悉常用的分布式加速库包括但不限于：Megatron，DeepSpee来自BOSS直聘d等，有较强的实践能力，在框架优化上做过研究的优先； 5、熟悉常用的深度学习代码库包括 Hugginface/Transformers 等，并且有丰富的开发经验； 6、熟悉 TensorFlow/PyTorch 模型的训练和部署，了解混合精度训练、分布式训练等训练加速方法优先。