KEEL · 龙骨 · A CURRICULUM FOR THE AI ERA
02. 怎样把工作流变成可验收结果? — keel 龙骨
Discovery 确认了“初步诊断耗时长”,还不能直接进入实现。你需要把当前流程和目标流程画出来,并把“更快、更准”变成可以在发布会上做决定的指标。
Discovery 确认了“初步诊断耗时长”,还不能直接进入实现。你需要把当前流程和目标流程画出来,并把“更快、更准”变成可以在发布会上做决定的指标。
As-is 和 To-be 都要画异常路径
只画 happy path 会隐藏真正成本。As-is 要标记等待、重复录入、权限切换和返工;To-be 要标记模型不确定、证据缺失、人工复核和外部系统失败。
To-be:
事件进入 -> 授权检索 -> 生成带证据草稿
-> 置信/规则门禁
-> 低风险交给值班员确认
-> 高风险或证据不足升级人工
Metric Tree
北极星指标可以是“从告警到可行动初步结论的中位时间”,但必须配保护指标:关键证据召回率、citation precision、错误自动化率、跨租户泄漏、人工升级率、成本和 p95 延迟。
输入指标不能替代结果指标。调用次数、token 和登录数说明系统被使用,却不能证明客户流程改善。
Acceptance Criterion 是五元组
metric + threshold + dataset/window + owner + failure action
例如:citation_precision == 1.0,在冻结的 30 条上线集上由 incident owner 确认,失败则阻止 rollout。没有 owner 和失败动作的阈值只是报表。
本章实践
在示例的 EngagementBrief 上增加三个接受条件:一个业务结果、一个模型/检索质量、一个安全硬门禁。然后故意让安全指标通过、业务指标失败,观察 Launch Gate 为什么仍不能宣称成功。
本章交付物
- 一张含例外和人工节点的 As-is/To-be 图;
- Metric Tree;
- 至少五条 Acceptance Criteria,其中安全和重复副作用是硬门禁。
自测
- 指标变好可能只是用户绕开系统吗?
- 模型准确率提高是否真的缩短流程?
- 什么条件允许降级上线,什么条件必须阻止?