KEEL · 龙骨 · A CURRICULUM FOR THE AI ERA

02. 怎样把工作流变成可验收结果? — keel 龙骨

Discovery 确认了“初步诊断耗时长”,还不能直接进入实现。你需要把当前流程和目标流程画出来,并把“更快、更准”变成可以在发布会上做决定的指标。

Discovery 确认了“初步诊断耗时长”,还不能直接进入实现。你需要把当前流程和目标流程画出来,并把“更快、更准”变成可以在发布会上做决定的指标。

As-is 和 To-be 都要画异常路径

只画 happy path 会隐藏真正成本。As-is 要标记等待、重复录入、权限切换和返工;To-be 要标记模型不确定、证据缺失、人工复核和外部系统失败。

To-be:
事件进入 -> 授权检索 -> 生成带证据草稿
        -> 置信/规则门禁
        -> 低风险交给值班员确认
        -> 高风险或证据不足升级人工

Metric Tree

北极星指标可以是“从告警到可行动初步结论的中位时间”,但必须配保护指标:关键证据召回率、citation precision、错误自动化率、跨租户泄漏、人工升级率、成本和 p95 延迟。

输入指标不能替代结果指标。调用次数、token 和登录数说明系统被使用,却不能证明客户流程改善。

Acceptance Criterion 是五元组

metric + threshold + dataset/window + owner + failure action

例如:citation_precision == 1.0,在冻结的 30 条上线集上由 incident owner 确认,失败则阻止 rollout。没有 owner 和失败动作的阈值只是报表。

本章实践

在示例的 EngagementBrief 上增加三个接受条件:一个业务结果、一个模型/检索质量、一个安全硬门禁。然后故意让安全指标通过、业务指标失败,观察 Launch Gate 为什么仍不能宣称成功。

本章交付物

自测

下一章:客户系统怎样接进来而不失控?

进入 keel 阅读