KEEL · 龙骨 · A CURRICULUM FOR THE AI ERA
08. 安全、隐私和治理怎样进入交付? — keel 龙骨
安全审查若在发布前一周才开始,通常只能要求延期或接受未知风险。FDE 应从 Discovery 的数据和决策开始 threat modeling,并让每项控制进入架构、测试和 owner。
安全审查若在发布前一周才开始,通常只能要求延期或接受未知风险。FDE 应从 Discovery 的数据和决策开始 threat modeling,并让每项控制进入架构、测试和 owner。
从数据流做威胁模型
标出用户、浏览器、API、Agent runtime、模型供应商、retrieval、工具、数据库、日志和管理员。每条边记录身份、数据分类、加密、地域、留存和信任变化。
关键威胁包括:跨租户访问、prompt injection、敏感数据进入模型/trace、工具权限扩大、未验证输出进入下游、供应链依赖、审批重放和过度自动化。
Control Matrix
threat -> preventive control -> detective control
-> evidence/test -> owner -> residual risk
例如“外部 runbook 注入指令”:provenance 标记和 instruction/data 分离是预防控制;高风险工具策略和 citation validation 是第二层;安全回归集和审计告警是检测控制。
数据治理
定义收集目的、最小字段、模型供应商使用边界、日志脱敏、retention/delete、访问审计和 data subject/客户请求流程。不能因为数据进入 embedding 或 summary 就认为原敏感度消失。
本章交付物
- 数据流图与 threat model;
- Control Matrix 和残余风险接受人;
- prompt injection、跨租户、secret leakage、审批重放和输出注入测试;
- retention/delete 与 incident notification 流程。
自测
- 模型没有“记住”数据,日志和 trace 是否仍可能泄漏?
- 客户管理员能否查看另一个租户的调试信息?
- 谁能接受残余风险,FDE 能否独自决定?