数据集工程（Dataset Engineering）

1. 是什么

• 根据模型训练目标，获取、生成、处理和验证数据，构建能够改善模型表现的数据集
  • 不同训练阶段的数据要求和目的
    • 预训练
      • 数据格式
        • 原始文本等序列数据
      • 目的
        • 让模型获得通用知识与基础能力
    • 后训练
      • 监督微调（SFT）
        • 数据格式
          • 指令与响应数据
        • 目的
          • 让模型学会按照指令完成任务
      • 偏好微调
        • 数据格式
          • 提示词、胜出响应、落败响应
        • 目的
          • 让模型输出更符合人类偏好
      • 奖励模型训练
        • 数据格式
          • 提示词、胜出响应、落败响应
          • 或提示词、响应、评分
        • 目的
          • 训练一个能够评价响应质量的奖励模型
• 核心思想是Data-centric AI
  • Data-centric AI（以数据为中心的AI）
    • 通过优化训练数据来改善模型性能
  • Model-centric AI（以模型为中心的AI）
    • 通过优化模型架构、训练方法和超参数来改善模型性能

4. 如何优化

• 1. Data Curation（数据策展）
  • 优化数据质量
    • 完善标注指南
    • 人工复核
    • AI辅助标注
    • 自动化验证
  • 优化数据覆盖度
    • 识别缺失场景
    • 针对性补充样本
    • 针对性合成数据
  • 优化数据量
    • 小样本实验
    • 根据学习曲线决定是否增加数据
    • 使用数据剪裁筛选高价值样本
• 2. Data Acquisition & Synthesis（数据获取与合成）
  • 优化数据获取成本
    • 优先复用现有数据
    • 结合人工与AI生成数据
    • 通过真实业务反馈持续积累数据
  • 合成数据的局限
    • 质量问题
      • 可能包含事实错误或错误标签
    • 表层模仿
      • 模型可能只学会表达形式而没有学到实际能力
    • 模型坍塌（Model Collapse）
      • 是什么
        • 递归使用模型生成数据训练后续模型，可能导致数据分布退化和模型性能下降
      • 原因
        • 模型倾向于生成高概率内容
        • 罕见模式可能在反复生成中逐渐消失
      • 缓解方式
        • 混合使用真实数据和合成数据
        • 验证合成数据质量
        • 保留数据分布的多样性
      • 注意
        • 不是使用合成数据就必然导致模型坍塌
    • 数据溯源问题
      • 原始数据来源可能不透明
      • 可能存在版权风险
      • 可能引入基准测试污染
• 3. Data Processing（数据处理）
  • 优化数据处理效率
    • 先执行成本较低且筛除效果好的操作
    • 全量处理前先进行小规模试运行
    • 保留原始数据
    • 避免直接覆盖原始数据

2. 为什么需要

• 背景
  • 模型通过训练数据学习知识与行为
  • 训练数据的质量和分布影响模型最终表现
• 没有数据集工程会怎样
  • 数据质量无法保证
    • 原始数据可能存在错误
    • 重复数据可能引入偏差
    • 标注不一致可能影响模型学习
  • 数据覆盖不足
    • 真实数据可能集中于少数常见场景
    • 缺少边界场景和罕见任务的样本
    • 模型可能无法充分学习目标任务的行为
  • 数据获取困难
    • 专业领域数据稀缺
    • 人工标注成本高
    • 真实数据可能受到隐私和版权限制
  • 原始数据不一定能直接用于训练
    • 需要符合特定训练目标
    • 需要符合模型要求的数据格式
• 引入后有什么改善
  • 提高数据质量
    • 通过检查、去重、清理和标注获得可靠数据
  • 改善数据覆盖度
    • 通过数据策展和数据合成补充目标场景
  • 满足训练要求
    • 根据训练目标构建相应的数据格式
  • 控制数据成本
    • 在数据质量、覆盖度、数量和预算之间权衡

3. 如何实现

• 整体流程
  • 数据策展 → 数据获取与合成 → 数据处理 → 数据验证
  • 训练模型并评估效果 → 根据结果迭代数据集
• 详细流程
  • 1. Data Curation（数据策展）
    • 职责
      • 根据模型训练目标，确定数据集的质量、多样性和数量要求
    • 质量（Quality）
      • 衡量指标
        • 相关性与任务符合率
          • 符合目标任务和预期行为的样本占比
        • 正确率
          • 内容或标签正确的样本占比
        • 一致性
          • 不同标注员对相同样本的标注一致程度
        • 格式合格率
          • 符合数据格式要求的样本占比
        • 重复率
          • 重复或近似重复的样本占比
        • 合规率
          • 满足隐私、版权等要求的样本占比
      • 衡量方法
        • 规则校验
        • 人工抽样检查
        • AI辅助评估
        • 去重检测
    • 多样性（Coverage / Diversity）
      • 衡量指标
        • 场景覆盖率
          • 已覆盖目标场景数 / 目标场景总数
        • 样本分布
          • 各场景的样本数量和占比
        • 场景覆盖充分性
          • 关键场景是否具有足够的有效样本
      • 衡量方法
        • 根据训练目标定义场景分类
        • 统计各场景样本数量
        • 识别缺失或样本不足的场景
    • 数量（Quantity）
      • 衡量指标
        • 有效样本数
          • 清理、去重后符合要求的样本数量
        • 学习曲线（Learning Curve）
          • 不同数据规模下的模型性能变化
        • 边际收益
          • 增加数据后带来的性能提升
      • 衡量方法
        • 统计有效样本数量
        • 使用不同规模的数据集进行训练实验
        • 绘制学习曲线
        • 综合性能提升与数据成本确定目标规模
  • 2. Data Acquisition & Synthesis（数据获取与合成）
    • 是什么
      • 获取或生成满足训练目标的数据
    • 如何获取数据
      • 现有数据
        • 公开数据
          • Hugging Face Datasets
          • Kaggle
          • Google Dataset Search
        • 专有数据
          • 企业内部文档
          • 专业领域数据
        • 真实业务数据
          • 用户输入
          • 系统运行数据
          • 用户反馈
      • 数据增强与数据合成
        • 是什么
          • 数据增强（Data Augmentation）
            • 基于已有真实数据创建新的变体
          • 数据合成（Data Synthesis）
            • 人工生成数据以补充或替代真实数据
        • 为什么需要
          • 增加数据量
          • 提高数据覆盖度
          • 改善部分场景的数据质量
          • 缓解真实数据获取困难
        • 如何实现
          • 数据增强（Data Augmentation）
            • 1. 基于规则
              • 原理
                • 根据预定义规则变换原始样本
              • 技术方法
                • 图像旋转与裁剪
                • 词典驱动的同义词替换
                • 模板替换
                • 规则扰动（Perturbation）
              • 特点
                • 简单、低成本、可控性高
                • 灵活性与多样性受规则限制
            • 2. 基于AI
              • 原理
                • 利用AI模型理解并变换原始样本
              • 技术方法
                • Paraphrasing（改写）
                • Translation（翻译）
                • Back-translation（回译）
              • 特点
                • 灵活性高、表达多样
                • 可能产生语义漂移或错误内容
          • 数据合成（Data Synthesis）
            • 生成方法
              • 1. 基于规则
                • 原理
                  • 按照预定义规则或模板直接构造数据
                • 技术
                  • 模板生成
                  • 随机字段填充
                  • Faker
              • 2. Simulation（模拟）
                • 原理
                  • 通过模拟环境中的交互和状态变化产生数据
                • 技术
                  • 环境建模
                  • 行为执行
                  • 状态更新
                  • 结果验证
              • 3. 基于AI
                • 原理
                  • 利用AI模型生成训练数据
                • 技术
                  • Self-Instruct
                  • Instruction Backtranslation
                  • Self-play
            • 生成的数据类型
              • 指令数据
                • 用于SFT
              • 偏好数据
                • 用于偏好优化或奖励模型训练
              • 工具使用数据
                • 用于训练模型的工具调用能力
            • 注意
              • 三种生成方法可以组合使用
              • 同一种数据类型可以通过不同方法生成
    • 数据标注（Data Labeling）
      • 是什么
        • 为样本提供符合任务要求的标签或目标输出
      • 实现方式
        • 人工标注
        • AI辅助标注
      • 标注指南（Annotation Guidelines）
        • 定义正确响应和高质量响应
        • 提供正确与错误示例
        • 保证标注一致性
        • 复用第4章的评估标准
  • 3. Data Processing（数据处理）
    • 职责
      • 将原始数据加工为符合模型训练要求的数据
    • 整体流程
      • 数据检查 → 数据去重 → 数据清理与过滤 → 数据格式化
      • 执行顺序可以根据数据特点和处理成本进行调整
    • 1. Data Inspection（数据检查）
      • 是什么
        • 先了解数据
      • 为什么需要
        • 不了解原始数据的质量和分布，就无法判断后续需要做哪些处理
        • 需要提前发现数据异常、标注冲突及潜在风险
      • 实现方法
        • 1. 数据来源检查
          • 原理
            • 通过元数据了解数据的来源、处理历史和使用限制
          • 具体方法
            • 检查数据来源
              • 公开数据、内部数据、用户数据或合成数据
            • 检查数据处理历史
              • 是否已经去重、清理或标注
            • 检查使用限制
              • 版权、隐私及数据许可
        • 2. 统计分析（Statistical Analysis）
          • 原理
            • 通过描述性统计了解数据集的规模、结构与分布
          • 具体方法
            • 数量统计
              • 统计样本数量和Token数量
            • 长度分布
              • 统计输入、响应长度
              • 通过直方图、分位数识别过短或过长样本
            • 类别分布
              • 统计任务类型、主题领域、语言等分布
              • 识别覆盖不足或过度集中的类别
            • 分组统计
              • 按来源、时间、标注员等维度分析
              • 识别不同分组的数据质量差异
        • 3. 异常检测（Anomaly Detection）
          • 原理
            • 识别明显偏离正常数据分布或预期规则的样本
          • 具体方法
            • 规则检测
              • 检查缺失字段、异常长度及非法取值
            • 统计异常检测
              • 识别异常评分、异常Token长度等
            • 标注冲突检查
              • 识别相同或高度相似输入对应相互矛盾的标签
              • 分析是否存在标注错误或合理的上下文差异
        • 4. 人工抽样检查（Manual Inspection）
          • 原理
            • 通过人工阅读样本发现自动化统计难以识别的问题
          • 具体方法
            • 随机抽样
              • 从数据集中随机选择样本
            • 分层抽样
              • 从不同任务、来源和质量等级分别抽样
            • 人工复核
              • 检查内容、标签和目标行为是否合理
              • 核查部分事实性内容
    • 2. Data Deduplication（数据去重）
      • 是什么
        • 消除不必要的重复
      • 为什么需要
        • 避免重复数据扭曲训练分布和引入偏差
        • 减少训练资源浪费
        • 防止训练集与评估集发生数据污染
      • 重复类型
        • 完全重复
          • 内容完全相同
        • 近似重复
          • 内容高度重叠，仅存在少量差异
        • 语义重复
          • 文字不同，但表达高度相似的含义
      • 实现方法
        • 1. Pairwise Comparison（成对比较）
          • 原理
            • 计算两个样本之间的相似度，根据阈值判断是否重复
          • 具体方法
            • 精确匹配（Exact Matching）
              • 直接比较标准化后的样本内容
              • 适用于完全重复
            • n-gram相似度
              • 将文本拆分为连续的n个词或字符组成的片段
              • 比较两个样本中片段的重叠程度
              • 适用于近似重复
            • 模糊匹配（Fuzzy Matching）
              • 通过编辑距离等指标计算文本差异
              • 适用于少量字符或词语变化
            • 语义相似度（Semantic Similarity）
              • 比较文本所表达的含义是否相近
              • 适用于表达不同但含义相似的文本
          • 局限
            • 对所有样本两两比较的成本通常为O(N²)
            • 大规模数据集需要减少候选比较数量
        • 2. Hashing（哈希）
          • 原理
            • 将样本映射为哈希值或签名，快速定位可能重复的数据
          • 具体方法
            • 普通Hash
              • 先对样本进行必要的标准化
              • 计算样本哈希值
              • 通过哈希表识别重复候选
              • 对哈希匹配结果核对实际内容
              • 适用于完全重复
            • MinHash
              • 原理
                • 使用短签名近似估计两个集合的Jaccard相似度
              • 执行流程
                • 将文本转换为n-gram集合
                • 计算MinHash签名
                • 通过签名筛选高相似度候选
                • 根据需要进一步比较
              • 适用于
                • 大规模文本近似去重
            • Bloom Filter（布隆过滤器）
              • 原理
                • 使用位数组和多个哈希函数判断元素是否可能出现过
              • 执行流程
                • 样本经过多个哈希函数映射到位数组
                • 插入时设置对应位置
                • 查询时检查这些位置
              • 特点
                • 空间开销较低
                • 允许假阳性
                • 可能存在的结果不能直接当作确定重复
              • 适用于
                • 流式数据的快速重复候选检测
        • 3. 向量表示与降维
          • 原理
            • 将文本映射到向量空间，通过距离或相似度查找语义相近的样本
          • 具体方法
            • Embedding
              • 使用向量模型将文本转换为向量
            • 向量相似度
              • 使用余弦相似度等指标比较向量
            • 向量检索
              • 使用近似最近邻搜索寻找相似候选
            • Dimensionality Reduction（降维）
              • 按需降低向量维度
              • 减少后续计算和存储成本
            • 候选验证
              • 根据相似度阈值和实际语义判断是否删除
          • 适用于
            • 语义重复检测
          • 局限
            • 语义相似不一定代表冗余
            • 不能仅凭相似度高就删除所有样本
    • 3. Data Cleaning & Filtering（清理与过滤）
      • 是什么
        • 保留有价值的数据
      • 为什么需要
        • 原始数据可能包含噪声、错误或无关内容
        • 原始数据可能存在隐私、版权或安全问题
        • 低价值样本可能增加训练成本而不改善模型表现
      • 实现方法
        • 1. 数据清理（Data Cleaning）
          • 原理
            • 修复或移除样本中不符合要求的内容
          • 具体方法
            • 无关格式清理
              • 移除无关HTML标签
              • 移除冗余Markdown标记
              • 处理异常空白字符和乱码
            • 数据规范化
              • 按任务要求统一字段名称、编码和内容格式
            • 不合规数据处理
              • 识别个人敏感信息（PII）
              • 删除或脱敏受限制的信息
              • 移除不符合许可与安全要求的数据
          • 注意
            • 不能清理模型实际需要学习的内容
            • 例如代码模型可能需要保留Markdown代码块及HTML语法
        • 2. 数据过滤（Data Filtering）
          • 原理
            • 按照质量标准判断样本是否应该保留
          • 具体方法
            • 规则过滤（Rule-based Filtering）
              • 使用预定义条件过滤样本
              • 例如缺失必填字段、长度异常、格式错误
            • 功能正确性验证
              • 通过可执行测试判断样本输出是否正确
              • 例如执行代码并运行单元测试
            • AI辅助过滤
              • 使用模型判断相关性、任务符合度及内容质量
              • 根据评分和阈值筛选样本
            • 人工审核
              • 检查规则或AI无法可靠判断的样本
              • 复核边界样本和争议样本
        • 3. Data Pruning（数据剪裁）
          • 为什么需要
            • 数据规模可能超过训练预算
            • 部分样本训练价值较低
          • 是什么
            • 在已有数据集中选择更有价值的训练样本子集
          • 实现方法
            • Active Learning（主动学习）
              • 原理
                • 优先选择预计最有助于模型学习的样本
              • 典型方法
                • 根据模型不确定性选择样本
                • 兼顾代表性和多样性
              • 适用场景
                • 有限标注预算下选择待标注样本
            • Importance Sampling（重要性采样）
              • 原理
                • 根据样本的重要性分配采样概率
              • 执行流程
                • 估计样本重要性
                • 设置采样权重
                • 优先采样高价值样本
              • 注意
                • 重要性采样不一定需要永久删除低权重样本
            • 基于样本质量或价值的筛选
              • 为样本计算质量分数
              • 根据预算和覆盖要求选择子集
          • 注意
            • 剪裁可能造成长尾样本缺失
            • 需要兼顾质量、多样性和数量
    • 4. Data Formatting（数据格式化）
      • 是什么
        • 转换成可训练格式
      • 为什么需要
        • 原始数据结构可能不符合目标模型的训练接口
        • 不同训练任务需要不同的数据组织方式
        • 训练格式与推理格式不一致可能影响模型表现
      • 实现方法
        • 1. 确定训练数据结构
          • 原理
            • 根据训练目标组织输入与目标输出
          • 具体方法
            • 预训练
              • 使用文本等原始序列
            • SFT
              • 组织指令与目标响应
            • 偏好训练
              • 组织提示词、偏好响应等信息
        • 2. 适配Chat Template（对话模板）
          • 原理
            • 按照目标模型规定的对话格式组织消息
          • 具体方法
            • 组织消息角色
              • System
              • User
              • Assistant
              • 按模型要求组织工具调用消息
            • 使用目标模型提供的Chat Template
            • 将结构化消息序列化为训练输入
          • 示例
            • User：读取config.yaml
            • Assistant：调用read_file并传入path参数
        • 3. 适配Tokenizer（分词器）
          • 原理
            • 使用与目标模型兼容的Tokenizer将输入转换为Token ID
          • 具体方法
            • 加载目标模型对应的Tokenizer
            • 检查Token长度
            • 按训练要求进行截断或分段
            • 根据训练框架决定是否预先完成Tokenization
        • 4. 处理特殊Token
          • 原理
            • 通过模型规定的特殊Token标识消息边界或其他结构信息
          • 具体方法
            • 处理消息起止标记
            • 处理序列结束标记（EOS）
            • 按模型要求处理工具调用相关标记
          • 注意
            • 使用Chat Template时避免重复手动添加特殊Token
        • 5. 格式正确性验证
          • 检查必填字段
          • 检查角色、消息顺序和特殊Token
          • 检查数据是否能够被训练框架正常解析
          • 检查训练与推理输入格式是否兼容
    • 工程实践注意
      • 处理前保留原始数据
      • 先使用少量样本验证处理脚本
      • 根据成本和数据特点调整处理顺序
      • 记录处理前后的样本数量与质量变化
  • 4. Data Validation（数据验证）
    • 职责
      • 验证数据是否满足预定质量要求
    • 整体流程
      • 确定验收标准 → 执行验证 → 统计结果 → 判断是否合格 → 反馈修复
    • 1. 数据质量验证（Data Quality Validation）
      • 是什么
        • 检查数据内容、标注和格式是否满足预定质量标准
      • 为什么需要
        • 经过数据处理不代表数据一定正确
        • 人工标注和AI合成数据都可能存在错误
        • 错误数据可能导致模型学习错误行为
      • 实现方法
        • 规则检查（Rule-based Validation）
          • 原理
            • 根据预定义规则自动判断样本是否符合要求
          • 具体方法
            • 检查必填字段是否存在
            • 检查JSON Schema或数据类型
            • 检查长度范围和取值范围
            • 检查是否符合目标任务的格式要求
          • 适用场景
            • 格式规范性检查
            • 能够通过明确规则判断的问题
          • 局限
            • 无法判断复杂语义是否正确
        • 功能正确性测试（Functional Correctness）
          • 原理
            • 执行样本中的操作或结果，通过实际行为判断其正确性
          • 具体方法
            • 代码生成
              • 编译代码
              • 运行单元测试
              • 检查测试结果
            • 工具调用
              • 检查工具名称和参数
              • 在隔离环境执行工具调用
              • 检查工具执行结果
            • 数学问题
              • 使用确定性计算或符号工具验证结果
          • 适用场景
            • 存在明确、可执行的正确性标准
          • 特点
            • 验证结果相对客观
            • 验证成本取决于执行环境
        • 事实核查（Fact Checking）
          • 原理
            • 将样本中的事实性陈述与可信依据进行比较
          • 具体方法
            • 提取需要验证的事实
            • 查找可信参考资料
            • 比较陈述和参考资料是否一致
            • 标记正确、错误或无法确认的内容
          • 适用场景
            • 知识问答
            • 事实性内容生成
          • 局限
            • 参考资料本身可能存在错误
            • 无法确认不等于内容一定错误
        • AI裁判（LLM-as-a-Judge）
          • 原理
            • 使用模型根据预定标准评估数据质量
          • 具体方法
            • 定义评估标准（Rubric）
              • 正确性
              • 相关性
              • 符合任务要求
              • 一致性等
            • 输入待评估样本
            • 要求模型输出评分或合格判断
            • 根据阈值筛选低质量样本
          • 适用场景
            • 开放式响应
            • 难以使用确定性规则验证的数据
          • 局限
            • 可能出现评估偏差和错误判断
            • 需要人工抽样校准
        • 人工复核（Human Review）
          • 原理
            • 通过人工判断样本是否符合预定质量标准
          • 具体方法
            • 随机抽样
            • 按任务类别分层抽样
            • 重点复核低分及争议样本
            • 检查标注是否符合指南
            • 多标注员交叉验证
          • 适用场景
            • 复杂语义判断
            • 高风险或自动化难以验证的数据
          • 局限
            • 成本较高
            • 可能存在主观偏差
      • 衡量指标
        • 样本合格率
          • 通过质量检查的样本数 / 检查样本总数
        • 标签正确率
          • 正确标注样本数 / 已核查样本总数
        • 标注一致性
          • 不同标注员对相同样本的判断一致程度
        • 格式合格率
          • 符合格式要求的样本数 / 检查样本总数
    • 2. 数据覆盖度验证（Data Coverage Validation）
      • 是什么
        • 检查数据集是否充分覆盖目标任务及其使用场景
      • 为什么需要
        • 数据质量高不代表场景覆盖充分
        • 样本可能集中在少数常见任务
        • 缺失场景可能导致模型在实际应用中表现不足
      • 实现方法
        • 场景覆盖检查
          • 原理
            • 将数据集覆盖情况与预先定义的目标场景进行比较
          • 具体方法
            • 根据训练目标建立场景清单
            • 将样本映射到对应场景
            • 统计已覆盖和未覆盖场景
          • 衡量指标
            • 场景覆盖率
              • 已覆盖目标场景数 / 目标场景总数
        • 样本分布分析
          • 原理
            • 统计不同任务、领域和输入输出形式的样本比例
          • 具体方法
            • 按照任务类型分组统计
            • 按照主题领域分组统计
            • 按照输入和输出形式分组统计
            • 分析不同场景的样本分布
          • 衡量指标
            • 各场景样本数量与占比
            • 关键场景的有效样本数量
        • 缺失场景识别
          • 原理
            • 对比目标场景与当前数据分布，找出覆盖不足的部分
          • 具体方法
            • 识别完全缺失的场景
            • 识别样本数量不足的场景
            • 识别缺少异常和边界条件的场景
            • 根据缺口制定数据补充计划
      • 注意
        • 场景覆盖率高不代表每个场景都有足够样本
        • 不需要追求与目标任务无关的多样性
        • 关键场景可以设置更高的覆盖要求
    • 3. 数据量验证（Data Quantity Validation）
      • 是什么
        • 检查有效数据规模是否满足预定训练要求
      • 为什么需要
        • 原始样本数量不等于有效样本数量
        • 去重和过滤可能使数据规模明显下降
        • 不同任务和训练方法的数据需求不同
      • 实现方法
        • 有效样本统计
          • 原理
            • 统计经过质量检查、去重和过滤后仍可用于训练的样本
          • 具体方法
            • 统计原始样本数
            • 统计无效或重复样本数
            • 统计最终有效样本数
          • 衡量指标
            • 有效样本数
            • 数据保留率
        • 数据规模要求检查
          • 原理
            • 将实际有效样本量与数据策展阶段的目标规模比较
          • 具体方法
            • 检查总样本数
            • 检查关键场景的样本数
            • 检查训练集、验证集和测试集是否具有足够的数据
          • 注意
            • 没有适用于所有模型和任务的固定样本数量
    • 4. 数据合规与污染检查（Compliance & Contamination）
      • 是什么
        • 检查数据使用是否合法合规，以及是否存在影响评估可信度的数据泄漏
      • 为什么需要
        • 训练数据可能包含敏感信息或受限制内容
        • 训练集与评估集重复可能导致评估结果虚高
        • 合成数据可能存在来源不透明的问题
      • 实现方法
        • 隐私与合规检查
          • 原理
            • 根据法律、许可及内部政策检查数据的使用条件
          • 具体方法
            • PII检测
              • 使用规则或实体识别模型检测个人敏感信息
            • 数据来源审查
              • 检查公开数据、专有数据的许可与使用范围
            • 合成数据溯源
              • 记录生成模型、原始数据来源及生成过程
          • 验收结果
            • 识别不合规样本
            • 决定删除、脱敏或限制使用
        • 数据污染检查（Data Contamination）
          • 原理
            • 检查训练数据是否与独立评估数据存在不应有的重叠
          • 具体方法
            • 精确重复检查
              • 通过Hash等方法识别相同样本
            • 近似重复检查
              • 通过MinHash、文本相似度等识别高度重叠内容
            • 语义重叠检查
              • 按任务需要检查不同表达但答案高度重合的样本
            • 合成数据溯源检查
              • 分析合成过程是否可能引入评估数据
          • 注意
            • 无法仅凭去重保证完全没有数据污染
            • 评估集应尽可能独立于训练数据构建流程
    • 验收与反馈
      • 汇总验证结果
        • 质量指标
        • 覆盖度指标
        • 有效数据量
        • 合规与污染检查结果
      • 判断是否满足预定标准
        • 满足要求
          • 输出通过验收的数据集
        • 不满足要求
          • 质量问题
            • 返回数据处理或数据标注阶段
          • 覆盖不足
            • 返回数据获取与合成阶段
          • 数量不足
            • 补充有效样本
          • 合规或污染问题
            • 隔离、删除或重新构建相关数据
    • 下游反馈
      • 使用数据集训练模型
      • 在独立评估集上评估模型表现
      • 根据训练效果调整数据要求和处理策略
    • 注意
      • 数据验证应贯穿数据获取、合成和处理过程
      • 最终验收不代表数据一定能改善模型性能
      • 训练效果评估是验证数据实际价值的下游反馈