主题颜色
模型能力公开信号
模型能力公开信号是外部排名、盲测比较、价格表、速度测量和置信区间，用于在围绕某模型构建产品或智能体工作流前做选择。
核心机制
不应根据品牌声誉、社交媒体热度或厂商声明选择模型。只有当评测设置难以被针对性优化，且足够接近真实用户偏好时，公开排行榜才有价值。
当任务依赖主观输出质量时，匿名两两竞技场比非匿名静态基准更有价值：用户比较两个匿名输出并选择更好者，ELO 风格分数再把大量相对胜负转成持续变化的模型实力估计。
决策循环
把公开信号当作过滤循环，而非神谕：
- 确定实际任务模态：文本、代码、图像、视频、语音或更窄子任务。
- 比较相关排行榜或模态页面，而不是只看总分。
- 检查分差与置信区间；差距小且区间重叠时，通常应视为实际同等。
- 能力足够接近后再比较价格、延迟和提供商可用性。
- 投入生产前运行本地、任务专用测试。
这个循环把基准阅读连接到氛围编程的商业验证：最佳模型不一定是能力最强者，而是在产品约束下足够好、且可持续成本最低者。
信号质量
| 信号 | 何时有用 | 失效方式 |
|---|---|---|
| 匿名两两竞技场 | 人类偏好或多模态输出质量重要时。 | 热门提示或投票者口味可能不匹配产品任务。 |
| 静态公开基准 | 任务有明确正确性标准时。 | 模型可能针对基准调优，基准也可能遗漏真实用法。 |
| 置信区间 | 分数接近时。 | 用户过度解读微小排名差异。 |
| 价格与延迟表 | 能力足够接近时。 | 公布价格可能不同于实际路由或批量条款。 |
| 提供商可用性 | 模型必须通过 API 上线时。 | 最高排名模型可能不在所选平台提供。 |
与智能体工作的关系
对智能体 Harness 工程而言，模型选择是框架设计，而非一次性偏好。排行榜略强的模型若更慢、更贵、难路由或无法接入工具栈，仍可能是更差的组件。
对 AI 编程工程循环而言，公开信号应触发实现前的小型评估：选候选模型，在真实任务上测试，再记录质量、成本和延迟的权衡。