职位&公司对比

职位详情

• 北京
• 3-5年
• 本科

• 大模型算法
• 深度学习
• Python
• 分布式训练
• 大数据处理工具(Spark/Hadoop/Hive)
• 大数据平台
• 云原生

工作职责 1、打造业界领先的大数据+AI云平台产品，参与公司内基于Ray的分布式计算场景的方案设计以及研发，包括机器学习、图等场景，满足大模型时代的数据处理及应用需求； 2、参与云平台的架构设计和研发，包括数据处理、资源调度、模型/算子管理、模型部署服务等； 3、基于K8S体系构建大kanzhun规模任务处理系统，并负责GPU、CPU等多种异构资源的编排调度优化； 4、参与Ray内核/Kuberay以及相关上层生态框架的功能开发&性能优化； 5、参与Ray在K8S上的弹性/潮汐资源集群稳定性直聘/可观测性/平台化对接等能力建设； 6、负责充分利用各种异构计算（GPU、CPU、其他异来自BOSS直聘构硬件）、存储（各种云存储）、网络（VPC、RDMA）等资源，支持主流的PyTorch、Megatron、TensorFlow等训练框架，支持大规模 LLM 预训练、Finetuning、强化学习等各种训练范式，支持大模型、生信计算等各种业务场景下算法需求； 7、负责训练系统的boss产品化落地，打造算法工程师友好的、体验一流的公有云训练平台； 8、完成领导交办的其他工作事项。 任职资格 1、拥有扎实的计算机基础和良好的编程能力，熟练掌握Linux环境下的Go/Java/Python等1-2种语言； 2、熟悉K8S工作原理、云原生AI/大数据生态常用的开源组件，或熟悉RAY、Spark等分布式数据处理框架； 3、有深度学习、大模型、LLM应用等平台开发经验，或熟悉LangChain、Dify等开源Agent框架； 4、熟悉大模型领域数据处理流程/算法Kubernetes 架构和生态； 5、熟悉 Docker/Containerd/Kata 等容器技术，有丰富的云原生机器学习系统实践和开发经验； 加分项： 1、有机器学习、大数据平台的工程架构落地经验，熟练掌握常见的分布式训练、计算框架（pytorch/tensorflow/ray/spark/flink）原理及工程实现，熟悉GPU、大模型相关软硬件技术栈； 2、有计算产品落地经验（最好是tob、tog paas/saas 项目或公有云项目，深度使用经验也可行）； 3、熟悉NLP、CV相关的算法和技术，熟悉大模型训练、RL算法者优先； 4、有以下某一方向领域的经验：CUDA，RDMA，AI Infrastructure，HW/SW Co-Design，High Performance Computing，ML Hardware Architecture (GPU, Accelerators, Networking)，ML for System，Distributed Storage。