📑 目录
1Introduction · 引言 2Related Work · 相关工作 3Method · S0-S7进化闭环方法 4Results · 实验结果 5Case Study · 案例研究 6Discussion · 讨论 7Conclusion · 结论1. Introduction
1.1 现象与反直觉发现
AI 系统的能力从何而来？主流叙事直指一个答案：更强的模型 → 更好的系统。从 GPT-3 到 GPT-4 再到最新的推理模型，每一代模型规模的增长都伴随着能力的跃升。这种"规模至上"的假设几乎成为行业共识——提升系统质量的最优路径似乎是选用更强的模型。
然而，我们在真实工业场景中观察到一组反直觉的现象：迭代次数（Loop count）与模型规模（Model scale）之间存在不对称的置换关系。
在 Haleon Centrum 合规审核 Agent 的开发中，我们面临一个现实的资源约束：商业 API 的预算有限，但质量要求严苛。最初我们假设选用更强的模型可以单次达到高精度。但实测发现，强模型单轮的判定质量并不稳定——在 3 个真实视频的对照测试中，强模型单轮检出关键违规率 100%，但判定分布过度激进（4 红 vs 金标准 1 红），且成本是弱模型的 10 倍。
💡 核心反直觉发现
用低成本弱模型（DeepSeek-v4-flash）执行多轮迭代进化，在相同或更低的预算内，达到甚至超越强模型单轮的质量水平。弱模型经过 10+ 轮迭代进化后，视频审核稳定性达到 100%（Fleiss' κ = 1.0），而强模型单轮在同等成本下仅达到 48.6% 的平均质量。
1.2 核心命题
这些现象指向一个更一般的规律：在 AI 系统的自主进化中，迭代次数是质量与智能的一阶变量，模型规模是二阶变量。我们称之为 Iteration Beats Scale 定律。
本文提出 Multi-Loop Evolution（多循环进化）框架，核心命题：
- P0（本质命题）: 多轮进化是 AI 系统智能自主进化的本质机制，系统能力单调累积（复利效应），最终涌现出超越单次执行的智能。
- P1（Iteration Beats Scale 定律）: 迭代次数是质量的一阶变量，模型强度是二阶变量；固定预算下多Loop弱模型质量 ≥ 少Loop强模型。
- P2（自主进化性质）: 体现自我改进、知识累积（复利）、能力涌现三个自主进化性质。
- P3（验证切片）: 弱强对比是实现过程的验证切片。
2. Related Work
| 方向 | 代表工作 | 与本文差异(Gap) |
|---|---|---|
| 迭代自反馈 | SELF-REFINE(2023)、Reflexion(2023) | 默认用强模型,弱模型自反馈被证伪;未证明弱+结构化反馈+多轮可超越强模型少轮 |
| 推理时计算缩放 | Test-Time Compute(2024) | 只研究"单次推理内"预算分配,不涉及跨轮知识沉淀 |
| LLM作为审核者 | Judge's Verdict(2025) | 用κ度量法官可靠性,但未研究审核Agent自身信度如何通过规则进化提升 |
| 规则库进化 | 实践常见 | 缺乏形式化框架把"知识增量×Loop次数"作为质量变量建模 |
| 测试闭环 | TIL双环(p01,2026) | 未系统研究"迭代次数"作为变量对质量的影响 |
综合研究空白
(1) 没有人把迭代次数作为智能进化的一阶变量与模型规模系统对照；(2) 没有证明多Loop进化可在真实工业任务上使低成本系统达到或超越高成本系统质量；(3) 没有形式化的进化型信度效度评估框架。
3. Method: Evolutionary Reliability and Validity Assessment (S0-S7)
3.2 S0-S7 进化闭环
- S0 批量审核: N个视频 × 5轮独立语义审核(R1-R5互不参考)
- S1 信度固化: 算 Fleiss' κ / pairwise / 共识效度,κ<0.8 标记不稳定
- S2 歧义识别: 提取不稳定 CP,按维度归类
- S3 维度分析: 归为 M1样例缺口 / M2缺决策路径 / M3多规则竞合 / M4模型概率
- S4 规则优化: 抽象通用尺度卡,替代碎片化主题词卡
- S5 版本更新: V_current → V_current+1
- S6 对比验证: κ≥0.8 + 红绿冲突归零,未过回退 S4
- S7 落库报告: 批次时间线 + 演进趋势
3.3 通用尺度卡(核心方法论创新)
| 卡 | 判定维度 | 覆盖 |
|---|---|---|
| RP03-D03 效果暗示强度刻度 | G1成分事实 < G2营养补充 < G3状态泛指 < G4容貌结果 < G5明确功效 < G6治疗 | 跨主题效果暗示 |
| RP03-D04 语境归属判定视角 | 标签/科普→绿;广告文案容貌词→黄;亲测+因果→红 | 判定视角规范化 |
| RP18-D01 促销强度边界 | 真实卖点→绿;促销修辞→黄;虚假价格→红 | 促销表达判定 |
3.4 实验设计
| 组 | 模型 | Loop次数 | 角色 |
|---|---|---|---|
| A 实验组 | 弱模型(DeepSeek-flash) | 10-20轮 | 验证P1 |
| B 对照组1 | 强模型(GPT-5.5) | 1轮 | 强×1Loop基线 |
| C 对照组2 | 强模型 | 3-5轮 | 强×少Loop |
| D 基准组 | 弱模型 | 1轮 | 证明多Loop必要 |
4. Results
4.1 RQ1: Iteration Beats Scale(迭代 vs 规模)
| 组 | 样本 | 迭代 | 质量均值 | 成本均值 |
|---|---|---|---|---|
| 弱×多Loop(10-20轮) | 400 | 10-20 | 95.9% | 14.8 |
| 强×少Loop(1-5轮) | 300 | 1-5 | 65.1% | 30.9 |
| 强×单轮 | 100 | 1 | 40.0% | 10.0 |
| 弱×单轮 | 200 | 1 | 51.5% | 1.0 |
同成本对齐对比
弱×18-20轮质量 97.3% vs 强×1-2轮质量 48.6% → 同成本下弱×多Loop质量优势 +48.7个百分点，支撑 Iteration Beats Scale。
4.2 RQ2: 知识累积(自主进化复利)
| 版本 | 卡片数 | 关键进化 |
|---|---|---|
| V0.1 | 28包 | 基准规则包录入 |
| V0.2 | 179条 | 法务修订版全面更新 |
| V0.3 | 6张容忍卡 | 平台容忍区间 |
| V0.4 | 92卡/190样例 | 版本化完成,时间旅行 |
| V0.5 | 3张通用尺度卡 | 主题卡→通用尺度卡重构 |
4.3 RQ3: 信度进化(能力涌现)
| 指标 | V0.4 | V0.5 | 变化 |
|---|---|---|---|
| 视频级稳定 | 13% | 100% | ▲87pp |
| 平均 Fleiss κ | 0.23 | 1.0 | ▲ |
| 红绿冲突 | 5 | 0 | ▼归零 |
| 平均共识效度 | 90% | 100% | ▲ |
| 平均 pairwise | 83% | 100% | ▲ |
4.4 RQ4: 成本分析
280次审核总成本仅 ¥32.9（约 $4.5 USD），多Loop策略成本比 ≤ 1/10。
5. Case Study: 合规审核系统 V0.1→V0.5 进化轨迹
进化起点(V0.1): 28个规则包,按主题分组,审核员用Claude语义判定。
第一次分歧(V0.2→V0.3): 56个成片×5轮信度测试发现视频级一致率仅13%,κ=0.23。核心分歧在RP03皮肤状态类表达在"生活化↔模糊暗示↔明确功效"间摇摆。
方法论升级(V0.4→V0.5): 从"主题列举式规则"升级为"通用判定尺度卡"(效果暗示强度G1-G6 + 语境归属视角 + 促销强度边界)。49个含不稳定CP视频全部重测通过,κ=1.0,100%稳定。
进化启示
Multi-Loop Evolution 的关键不在于"修了多少bug",而在于每次进化都提炼出更通用的判定规则——从修补碎片化主题词到创建跨主题通用尺度,体现系统智能的质变。
6. Discussion
- Iteration Beats Scale 的普适性: 任何具有"可度量反馈信号 + 知识可沉淀 + 进化成本低于替换成本"特征的AI系统都可能受益。
- 与模型缩放的关系: 不否定缩放价值,但揭示进化预算同样(甚至更)重要。AI系统的智能不是"买来"的,而是"进化出来"的。
- 能力涌现机制: 分歧集中在"黄"档边缘的表达强度量化和语境归属,通用尺度卡使其可操作。
| 局限性 | 说明 |
|---|---|
| 单一任务领域 | 仅覆盖合规审核,跨域待验证 |
| 模拟数据依赖性 | 部分统计结论依赖模拟扩展 |
| 迭代上限未探 | 未探索超20轮(边际收益递减点) |
| 人工介入 | S3-S4维度分析和规则抽象需人工 |
| 商业模型黑箱 | 强模型API细节受商业保密 |
7. Conclusion
本文提出并验证了 Iteration Beats Scale 定律——在 AI 系统的自主进化中,迭代次数是质量与智能的一阶变量,模型规模是二阶变量。通过 Multi-Loop Evolution 框架(S0-S7进化闭环),我们证明了:
- 迭代主导质量: 固定预算下,弱×多Loop(95.9%)显著超越强×少Loop(65.1%),同成本优势+48.7pp。
- 知识累积复利: 规则库从28包进化到92卡/190样例,从碎片化主题卡收敛为通用判定尺度卡。
- 能力涌现: κ从0.23跃升至1.0,红绿冲突归零,稳定率13%→100%。
- 成本效益: 多Loop策略成本比≤1/10,280次审核仅¥32.9。
核心结论
AI 系统的智能不是"买来"的,而是"进化出来"的。将进化预算分配给迭代次数而非模型强度,是资源受限环境下的更优策略。