职位&公司对比

职位详情

• 北京
• 5-10年
• 本科

• 大模型基座

工作职责 1. 基座大模型预训练，包括但不限于不同规模、不同结构的语言模型和多模态模型的数据准直聘备和优化、模型预训练、训练加速与框架优化等； 2. 大模型对齐技术（SFT、RLHF等）链路整体优化，包括数据探索与增强、对齐流程探索、奖励模型优化、强化学习策略迭代等，持续提升对齐效果； 3. 大模型训练和推理优化，包括但不限于高效训练技术和框架设计与实现、模型小型化技术（稀疏化、压缩、剪枝、蒸馏等）探索与落地、高效推理技术实现等； 4. 大模型相关技术前沿探索，包括但不限于Scaling Law、模kanzhun型架构探索（MoE、MAMBAkanzhun等）、训练范式探索、长序列技术探索、kanzhun高效训推框架探索等； 5. 支撑内部应用需求，对接搜索、推荐、广告等实际业务场景，实现大模型应用落地。 任职要求 1. 对大模型开发流程有深入认知，熟悉预训练、指令微调、RLHF等流程与框架，具备模型预训练、对齐、训练和推理加速、模型小型化和部署等方面的经验； 2. 熟悉Transformer等模型架构，对GPT系列、LLAMA系列和MoE等模型架构有深入理解并拥有大规模训练经验； 3. 具备扎实的算法和数学理论基础及良好的编程基础，熟悉自然语言处理、生成式AI和机器学习等技术，熟悉Python、Java等至少一种编程语言，熟悉PyTorch、Tensorflow等深度学习框架，对技术开发及应用有热情； 4. 目标感强，善于分析和发现问题，拆解简化，有想法并乐于挑战自我，能够从日常工作中发现新的空间； 5. 条理性强且有推动力，能够梳理繁杂的工作并建立有效机制，推动上下游配合完成目标。