Research · Models
一致性指南可将智能体的可靠性差距减半
IBM研究团队提出一致性指南，可将智能体可靠性差距减半。在AppWorld基准上，使用GPT-4.1的ReAct智能体平均成功率为77.4%，但仅53.0%的任务在五次重复中全部成功。应用指南后，Pass^5提升至69.0%，Mean@5提升至81.0%，差距从24.4个百分点缩小到12.0个百分点。
阅读 Hugging Face 原文为什么重要
智能体在重复任务中的一致性是实际部署的关键瓶颈。该研究提供了可操作的改进方法，有助于提升AI智能体在真实应用中的可靠性。
关键事实
事实 1
在AppWorld上，使用GPT-4.1的ReAct智能体平均成功率为77.4%，但仅有53.0%的任务在五次重复运行中全部成功，存在24.4个百分点的差距。
来源与依据
On AppWorld, a ReAct agent using GPT-4.1 succeeded on 77.4% of runs across five repetitions. But it succeeded in all five runs for only 53.0% of tasks — a 24.4-point consistency gap.
事实 2
一致性指南将总体的Pass^5从53.0%提高到69.0%，而Mean@5从77.4%提高到81.0%，将差距从24.4个百分点缩小到12.0个百分点。
来源与依据
Aggregate Pass^5 rises 53.0% → 69.0% while Mean@5 rises 77.4% → 81.0%, narrowing the gap between "looks capable" and "can be counted on" from 24.4pp to 12.0pp.
事实 3
在较弱模型gpt-oss-120b上，同一任务的Pass^5从10.1%提高到16.1%，提升了6.0个百分点。
来源与依据
Same-task Pass^5 rose +6.0pp from a much lower baseline (10.1% → 16.1%)