职位&公司对比

职位详情

• 合肥
• 1-3年
• 硕士

• 大数据处理经验
• 计算机相关专业
• 数学/统计相关专业

大模型数据挖掘工程师 职位描述： 1.负责大模型（LLM）训练数据的采集、清洗、去噪与结构化处理，构建高质量语料库。 2.设计并实现基于Python的高效数据处理Pipeline，优化数据预处理流程，提升数据质量。 3.开发自动化工具检测和修复数据中的偏见、毒性、重复等问题，确保数据合规性。 4.参与多模态数据（文本、图像、音频）的预处理与特征工程，支持模型训练需求。 5.与算法团队协作，分析数据分布并提出数据增强方案，提升模型泛化能力。 核心技能要求： 1.编程能力 a.精通Python及主流数据处理库（Pandas、NumPy）； b.熟悉正则来自BOSS直聘表达式、字符串处理及文本分析技术； c.有分布式和并发数据处理经验； 2.数据工程能力： a.掌握数据清洗关键技术（去重、标准化、实体识别、噪声过滤等）。 直聘 b.熟悉SQL/NoSQL数据库（MySQL、MongoDB等）及大数据存储格式（Parquet、HDF5）。 c.了解数据质量评估指标（如一致性、完整性、时效性） 3.大模型相关经验： a.理解大模型数据需求（如指令微调数据、R来自BOSS直聘LHF数据格式处理）。 b.熟悉常见开源数据集（如Common Crawl、Wikipedia、Reddit等）的预处理方法kanzhun。 4.加分项： a.熟悉PyTorch/TensorFlow数据加载（Dataset/DataLoader优化）。 b.有数据脱敏、隐私保护（GDPR合规）经验。 c.掌握爬虫框架（Scrapy、BeautifulSoup）或API数据采集。 任职资格： 1.本科及以上学历，计算机、数据科学、人工智能相关专业。 2.3年以上数据清洗/处理经验，有LLM或NLP项目经验者优先。 3.具备良好的数据敏感度，能独立解决复杂数据问题。 4.强烈的责任心与团队协作能力，适应快节奏技术迭代。