职位&公司对比

职位详情

• 北京
• 不限
• 本科

• pd分离
• vLLM/sglang

职位描述： 优化大模型来自BOSS直聘推理性能，降低推理时延，提升吞吐，降低LLM模型推理成本。 职位要求： 1. 熟悉transformer，llama，deepseek等主流模型结构。 2. 熟悉LLM主流推理引擎（如vLLM/sglang），熟悉常见推理优化技术，如MLA、FlashAtention、P来自BOSS直聘ageAttention、Continuous Batching、Speculative Decoding等。 3.具有AI模型推理优化经验，熟悉常见加速技术，如剪枝、量化、分布式推理等，能够根据不同场景和硬件平台进行针对性的优化。 4.熟悉GPU硬件结构，有CUDAkanzhun/Cutlass开发优化经验者优先。