CH 08伦理学 I：三大框架与 AI 对齐
前七章都在讲「是不是、能不能」，这一章转向「该不该」。 AI 领域最热的词之一「价值对齐」——它是一个伦理学问题，而不是技术问题， 而且它撞上了一个两百多年前就被提出的哲学难题：从「是什么」推不出「应该是什么」。 这一章教你三套伦理框架，不是为了让你评判别人，而是为了让你在团队争论时能说出「我们在用哪套标准」—— 大部分「该不该做这个功能」的争论，卡住的原因都是双方在用不同的框架而不自知。
8.1规范伦理学的三大框架
规范伦理学要回答的问题是：什么使一个行为在道德上正确？ 两百年来最主流的答案分成三大家族，它们关注的焦点完全不同。
| 框架 | 核心问题 | 判断依据 | 代表 |
|---|---|---|---|
| 后果论 | 这个行为产生了什么结果？ | 结果的好坏 | 边沁、密尔 |
| 义务论 | 这个行为本身是否可被允许？ | 行为是否符合规则/义务 | 康德 |
| 德性论 | 这样做的人是什么样的人？ | 行为者的品格 | 亚里士多德 |
因为它们会给出不同的结论，而真实决策需要在看到差异之后才能做。 如果你只掌握一套，你会把「按这套框架看是这样」当成「理所当然」， 于是看不到另外两个视角提出的真实风险。
三套框架的正确用法是：分别过一遍，找出结论不同的地方，然后明确选择并说明代价。 这和 1.2 节那把尺子是同一套方法论。
8.2后果论：只看结果
行为的对错，完全取决于它产生的后果。能够带来最大总体幸福的行为，就是正确的行为。
—— 功利主义（边沁、密尔）的核心主张（大意）它的吸引力在于可计算：把各种后果的效用加起来比较，就能得到答案。 这也正是它在 AI 领域受欢迎的原因——它看起来可以被形式化成优化目标。
两个常见变体
| 变体 | 主张 | 区别在哪 |
|---|---|---|
| 行为功利主义 | 每一个具体行为都要单独评估后果 | 更灵活，但实际决策中无法对每个行为都做完整计算 |
| 规则功利主义 | 遵守那些总体上能带来最大效用的规则 | 更接近直觉，且承认规则的价值——但规则冲突时仍需回到后果判断 |
三个必须知道的难题
- 效用无法被可靠度量，更无法跨主体相加。 「用户的便利」和「用户的安全」怎么换算成同一个尺度？ 不同人的偏好怎么加总？这个「如何加总」的问题没有公认答案—— 而且它在数学上不是技术难点，是价值问题。
- 它可能为牺牲少数人辩护。 如果让 1000 个人获得极小便利、让 1 个人承受巨大损害在效用总和上「更优」， 后果论会支持这个选择。这违反大量人的道德直觉， 而且在实际产品里，这类决策往往由不知道具体是谁的人做出， 代价由具体的人承担。
- 可预测性问题。后果论要求比较「各种选择的后果」， 但复杂系统的长期后果本质上无法预测（第 3 章的归纳边界）。 所以后果论在实际操作中会退化成「优化短期可测量的指标」—— 这正是很多 AI 产品出问题的根源。
这不是坏事，但要意识到它的代价： ① 只有被测量的东西才被优化（未被测的价值会被牺牲）； ② 长期后果常被短期指标替代； ③ 「总体效用」掩盖了分配问题——总量上升不代表每个用户都变好了。
对策是在指标之上加不可协商的底线——这就进入了义务论的地盘。
8.3义务论：有些事不能做
康德的立场与后果论正相反：某些行为的对错与后果无关。 有些事无论结果多好都不能做。
定言命令的两种表述
普遍化原则：只按照那些你同时愿意它成为普遍法则的准则行动。
—— 康德《道德形而上学奠基》（1785），第一个表述的大意人是目的：永远不要仅仅把人当作手段，而要同时把人当作目的。
—— 同上，第二个表述的大意。这一条对 AI 产品尤其重要第二个表述值得你特别注意，因为它是几乎所有 AI 伦理讨论的隐含依据：
- 把用户的情绪脆弱期当作提高使用时长的机会
- 用用户的情感投入作为提高迁移成本的手段
- 让用户误以为系统有感受，以提升留存
- 把用户数据当作可无限使用的资源，不问他是否同意这种用途
注意这些都是「用用户来达成产品目标」的结构。 义务论要求：用户本身也是目的，不能只是手段。
它的难题
- 义务冲突时怎么办？「不撒谎」和「不伤害他人」在某些极端情况下会冲突，义务论没有给出公认的优先级规则。
- 僵化风险。严格按规则走，可能在具体情境中造成明显更坏的后果（这就是「把纳粹士兵问犹太人藏在哪里」这个经典反例的用途）。
- 「人是目的」的边界不清。什么是「仅仅当作手段」？推荐系统把用户当作流量是不是？支付系统把用户当作交易方呢？边界很难划。
8.4德性论：你是什么样的人
亚里士多德的思路完全不同。他不问「该做什么」，而问「该成为什么样的人」。
德性是中道——在过度和不及之间。勇敢在鲁莽和怯懦之间，慷慨在挥霍和吝啬之间。 而判断具体情境中的中道在哪，需要实践智慧。
—— 亚里士多德《尼各马可伦理学》的核心框架（大意）| 概念 | 含义 | 在 AI 实践里的对应 |
|---|---|---|
| 中道 | 德性是两个极端之间的恰当位置 | 「对模型能力的信心」上——过度自信与过度保守都是缺陷，恰当的位置取决于场景 |
| 实践智慧 | 在具体情境中判断该怎么做，无法被还原成规则 | 这正是工程判断力的定义：没有规则能告诉你什么时候该加校验、什么时候可以放手 |
| 品格 | 关注行为者的稳定倾向，而非单个行为 | 「这个团队一贯怎么处理用户数据」比「这次处理得对不对」更有预测力 |
具体体现：一个新功能「数据用途不完全透明但能提升效果」， 一个 bug「影响很小但如实披露会难看」， 一个指标「能被优化但不反映真实价值」—— 这些地方的判断，取决于团队在乎什么。
它的局限也要知道：无法给出行动指导，可能被滥用为「凭直觉做事」的借口。 所以它是补充，不是替代。
8.5电车难题到底有什么用
电车难题被过度使用，以至于很多人对它有生理性反感。但它有一个正确的用法， 而那个用法恰好对你做产品评审有用。
原版（常归于福特，1967）：一辆失控电车将撞死轨道上的五个人。 你可以扳动道岔，让电车转向另一条轨道，那里有一个人。你扳吗？ 大多数人说不扳（或说扳）——倾向于牺牲一个人救五个。
变体（汤姆森，1976）：同样是五个人会被撞死，但这次你站在桥上， 身边有一个胖子。把胖子推下去能挡住电车，救五个人。你推吗？ 大多数人不推。
关键点在于：两个情形的「后果」几乎一样——都是死一个救五个。 但直觉给出的答案相反。这说明我们的道德直觉不只是基于后果， 它还包含「我是否直接伤害了某人」「我是否把人当作工具」这类考量。
它的正确用途：暴露直觉的不一致
这种不一致是有用的信息：它说明你的判断标准里有一个你没意识到的变量 （在电车案例里是「作为还是不作为」「是否把人当作手段」）。 找到那个变量，你才真正知道自己在乎什么。
「如果系统自动拒绝了 A 用户的合理请求，让他损失 500 元，但同时避免了 50 个用户的每人损失 20 元， 我们做不做？」
「如果这 50 个人里有一个是我们的付费大客户呢？」
「如果那个损失 500 元的人是未成年人呢？」
这些具体情形能让抽象的「用户体验优先」变成明确的取舍判断。 而且你会立刻看到团队的分歧点在哪——那才是真正需要讨论的东西。
8.6【工程锚点】价值对齐的哲学根源
「对齐」（alignment）是 AI 领域最重要的议题之一。要理解它为什么难， 需要先知道一个两百多年前的哲学难题。
休谟的「是—应该」问题
从「是什么」的陈述中，推不出「应该是什么」的结论。
—— 休谟在《人性论》（1739）中提出的观察，现在被称为「休谟断头台」或事实与价值的鸿沟举例说明这个鸿沟：
| 事实陈述（是什么） | 规范陈述（应该是什么） | 鸿沟在哪 |
|---|---|---|
| 「90% 的用户会继续使用这个功能」 | 「这个功能应该继续做」 | 从「多数人喜欢」推不出「应该做」—— 除非你预设了「多数人的偏好就是应该被满足的」， 而这个预设本身是价值判断 |
| 「这个功能使用户时长增加了 40%」 | 「这是一个好结果」 | 时长增加可能是好的（用户更满意），也可能是坏的（用户更依赖）。 哪个是真的，取决于你用什么价值标准 |
| 「模型在这个问题上给出的答案与人类专家一致率高」 | 「模型的答案是正确的」 | 「与专家一致」是事实，「正确」是规范判断。 专家也可能错，或者专家的判断本身反映了某种价值立场 |
你无法从数据中「学出」价值。 因为数据里只有「是什么」（人们的偏好、行为、判断），没有「应该是什么」。 从数据中学习，必然要先注入一个关于「应该」的假设—— 比如「人类标注者的偏好就是应该被满足的」。
所以对齐不是「让模型学会人类价值」这个技术问题，而是「我们选择哪个价值标准」这个伦理问题。 技术只能实现你选的那个标准，不能替你选。
这就是为什么本书反复强调：把关键词的操作定义写清楚，比优化模型更重要。
8.7【工程锚点】三种对齐路线的哲学假设
现在看当前主流的三种对齐方法，以及它们各自暗含了什么伦理立场。 这个分析对你有实际价值：它让你知道每种方法的天花板在哪。
| 路线 | 基本做法 | 暗含的伦理立场 | 它的天花板 |
|---|---|---|---|
| 人类反馈强化学习 | 让人类对模型输出排序打分，用这些偏好训练模型 | 偏好功利主义： 「人类偏好」是价值的可靠来源，满足更多偏好 = 更好 | 偏好可能是被塑造的、短视的、或有害的。 让人上瘾的内容也有高偏好。而且标注者群体不能代表全部用户—— 标注者的价值观会被系统性地编码进去 |
| 原则约束式 | 给出一套成文原则，让模型按原则自我批评、自我修正 | 义务论： 存在一些规则，遵守它们本身就是对的 | 原则从哪来？谁有权限定？原则冲突时怎么办？ 而且成文原则必然覆盖不到所有情况， 模型在遇到原则没覆盖的情形时行为不可预测 |
| 可扩展监督 | 让 AI 之间互相辩论/审查，人类做裁判员 | 混合：假设「辩论能暴露真相」（认识论假设） + 人类裁判的判断是最终的 | 递归信任问题： 如果 AI 的论证能力超过人类裁判的理解能力，裁判就无法有效判断。 这时人类是「看着两个高手辩论的外行」， 他的裁决有很可能是基于表面说服力，而不是正确性 |
- 偏好学习需要明确哪些偏好不该被满足（否则会上瘾性优化）。
- 原则约束需要明确原则的来源和冲突裁决机制。
- 可扩展监督需要保证裁判具备判断能力，或把判断范围限制在人类能理解的层次内。
这个「外部锚点」不是技术能提供的，它必须由人来指定。 所以任何声称「对齐问题可以由技术自动解决」的说法，都跳过了一个必须由人做的价值选择。
8.8价值观不是单一的：跨文化对齐
假设你已经接受了「需要人来指定价值标准」。下一个问题立刻出现： 谁的标准？
两种立场的对立
| 立场 | 主张 | 它的问题 |
|---|---|---|
| 道德普遍主义 | 存在跨文化的、普遍有效的道德原则（如「不无故伤害他人」） | 具体到哪里算「原则」、哪里算「文化偏好」，很难划界。 历史上「普遍」经常是强势文化把自己的标准当成了普遍 |
| 道德相对主义 | 道德标准相对于文化/个体，没有跨文化的评判标准 | 会导致无法批评任何做法——包括明显有害的做法。 而且「什么算一个文化」本身无法清晰界定 |
分层的前提是承认：划这条线本身就是一个价值选择， 不可能不涉及争议。但把线明确划出来并公开， 比含糊地声称「我们代表普遍价值」要诚实得多，也更容易被检验。
一个可用的分层模板
| 层级 | 内容 | 特性 |
|---|---|---|
| 第一层：硬底线 | 不造成直接人身伤害；不协助违法行为； 不对未成年人造成伤害；不欺骗性地获取数据 | 不可配置、不可协商。 无论用户在什么地区、什么偏好设置下，都成立 |
| 第二层：可配置的偏好 | 语言风格、直率程度、话题开放度、 对敏感话题的处理方式（回避 / 中立陈述 / 呈现多种观点） | 可由用户或部署方配置。 但配置的边界受第一层约束 |
| 第三层：产品策略 | 具体功能的取舍、默认行为、提示方式的强弱 | 由产品决定，但需要说明理由并记录 |
没有这份文档时，每一次这类要求都会变成临时的、无依据的争论—— 而且压力大的一方容易赢（通常是提要求的那一方）。
这份文档是保护你的产品判断力的工具，不只是「合规材料」。
8.9责任归属：出事了谁负责
这是本章最后一节，也是最实际的一节。AI 系统出错时，「谁的责任」往往比「为什么出错」更难回答。
责任鸿沟
这个鸿沟的危险不在于「没人负责」这件事本身， 而在于它会系统性地削弱所有安全激励： 如果做坏了也不用负责，那就没有人在事前认真评估风险。
责任链上的四个角色
| 角色 | 通常能控制的 | 容易被忽略的责任 |
|---|---|---|
| 模型提供方 | 基础能力、通用安全措施、使用条款 | 对下游具体用途的了解不足； 容易用「用户自行负责」回避对已知滥用场景的防范 |
| 应用开发者 通常是你 |
产品形态、提示词、工具权限、防护措施、用户交互设计 | 「是模型自己这么说的」不能作为免责理由—— 你选择了这个模型、设计了这套交互、决定了这些权限 |
| 部署方 | 谁可以使用、什么场景、有没有人工监督 | 把系统用在超出设计范围的场景，是部署方最常见的责任疏漏 |
| 使用者 | 如何使用、是否核实、是否越权操作 | 「以为是准确的就直接用了」——但在很多领域， 专业人士有核实的义务，不能以「工具说的」为由免于专业判断 |
这个说法在伦理上是站不住的，理由很简单： 工具的选择、设计、部署都是人的决定。 你选择了用这个系统、选择了在这些场景用它、 选择了不加人工复核、选择了这样设计交互—— 这些全都是人类的决策，每一个都可以被追问理由。
更实际的原因是：当事故发生时，这个说法不会保护你。 责任最终会沿着决策链回溯到能做出不同选择的人—— 而应用开发者通常是其中最容易识别的那个。
可操作的责任矩阵
下面这个表建议每个 AI 功能都填一份。它的作用不是「分锅」， 而是在事前就把「谁会受损、谁该决定、谁该复核」写清楚。
| 项目 | 要填什么 |
|---|---|
| 出错时谁受损 | 不是「用户」这种笼统答案。要具体到：如果这个功能错了， 是用户损失金钱、时间、隐私，还是第三方的什么？ |
| 损害可逆吗 | 能撤销 / 有可能挽回 / 不可逆。这决定了需要多严格的防护 |
| 谁有权决定 | 这个功能要不要做、怎么做，谁做的决定？有记录吗？ |
| 谁负责复核 | 如果加人工复核——具体是谁？ 他们的判断依据是什么？他们有能力看出问题吗？ |
| 出事后的第一动作 | 谁能关停？怎么通知受影响的人？有没有留痕可以排查？ |
8.10动手练习
-
三框架对照分析。选你项目里的一个功能，分别用后果论、义务论、德性论分析一遍。
产出：三种框架下结论一致的地方，以及结论不同的地方
不同的地方才是关键——它指出了你的真实取舍点在哪 -
找一条「事实 → 应该」的跳跃。回顾你们团队最近的决策，
找出一个从「数据显示 X」直接跳到「所以应该做 Y」的例子。
问：中间那个「为什么 X 意味着该做 Y」的假设是什么？它是谁定的？ - 画出你的责任链。列出你这个系统从数据到用户中间的全部环节， 标注每个环节谁在做决定。然后问：如果中间某一环出了问题，会被发现吗？由谁发现？
- 填一份责任矩阵。用 8.9 节的五栏表格，给你最主要的一个功能填一遍。 特别关注「谁受损」和「谁负责复核」两行。
-
做一次分层。用 8.8 节的三层模板，写出你产品的：
① 不可协商的硬底线 ② 可配置的偏好 ③ 产品策略。
这份文档可以直接用于第 11 章的伦理设计文档
8.11自测题
Q1. 三套伦理框架各自关注什么？为什么必须同时掌握？
后果论关注结果（行为产生了什么）；
义务论关注行为本身是否可被允许（有些事不能做，与后果无关）；
德性论关注行为者的品格（这样做的人是什么样的人）。
为什么都要掌握：因为它们会给出不同的结论， 而这些差异正是需要被看见的取舍点。 只掌握一套，你会把「按这套看是这样」当成理所当然， 于是看不到另外两个视角提出的真实风险。
正确用法：分别过一遍，找出结论不同的地方，明确选择并说明代价。
Q2. 为什么说「用 A/B 测试驱动决策」实际上是在用后果论？它的代价是什么？
因为 A/B 测试判定「好」的依据是某个可测量的效用指标 （留存、点击、满意度）——这正是后果论的结构：以结果的好坏判定行为的对错。
三个代价：
- 只有被测量的东西才被优化。未被纳入指标的价值会被系统性牺牲。
- 长期后果被短期指标替代。因为长期后果难以测量，实际操作中会退化成优化短期可测量值。
- 「总体效用」掩盖分配问题。总量上升不代表每个用户都变好了—— 可能是取悦了多数人、损害了少数人。
对策：在指标之上加不可协商的底线（这就进入了义务论的地盘）。
Q3. 休谟的「是—应该」问题为什么是「价值对齐」的核心困难？
因为它说明：你无法从数据中「学出」价值。 数据里只有「是什么」（人们的偏好、行为、判断），没有「应该是什么」。
所以任何从数据学习的方法，都必须先注入一个关于「应该」的假设—— 比如「人类标注者的偏好就是应该被满足的」。这个假设不能被技术验证， 因为它是价值判断，不是事实命题。
结论：对齐不是「让模型学会人类价值」这个技术问题， 而是「我们选择哪个价值标准」这个伦理问题。 技术只能实现你选的标准，不能替你选。
Q4. 三种主流对齐路线各自的天花板在哪？
人类反馈学习（偏好功利主义倾向）： 偏好可能是被塑造的、短视的、有害的（让人上瘾的内容也有高偏好）； 标注者群体不能代表全部用户，其价值观会被系统性编码进去。
原则约束式（义务论倾向）： 原则从哪来、谁有权定、冲突时怎么办都不清楚； 且成文原则必然覆盖不到所有情况，遇到未覆盖情形时行为不可预测。
可扩展监督： 递归信任问题——如果 AI 的论证能力超过人类裁判的理解能力， 裁判的裁决可能基于表面说服力而非正确性。
共同结论：三条路线都需要外部锚点，只靠自身不闭合， 而这个锚点必须由人来指定。
Q5.【动手题】有人主张「应该把价值观选择权完全交给用户，让每个用户自己配置 AI 的行为标准」。 你怎么评价这个方案？
先肯定它的合理内核：它承认了价值观的多样性（8.8 节）， 避免了一个团队把自己的标准当成普遍标准强加给所有人。这是对的。
然后指出它不可行的地方：完全配置化会导致三个问题。
- 配置无法覆盖未预见的情况。用户能配置的只有他想到的维度。 而价值冲突恰恰常常出现在想不到的地方—— 用户配置了「语言风格」，但没配置「当我表达自伤念头时你该怎么办」。 这时系统行为由默认值决定，而默认值仍然是产品方选定的价值。
- 存在不可协商的底线。有些事无论用户怎么配置都不应该做—— 协助违法、伤害他人、对未成年人造成伤害。 这部分不能交给配置，否则等于产品方放弃了责任。
- 配置本身需要被引导。大多数用户不会去调这些设置， 或者不知道自己调的是什么。这意味着「让用户选择」在实践上常常等于「维持默认值」—— 而默认值是你的选择，责任仍在你这。
给出更好的方案：分层。
- 第一层（不可协商）：硬底线，任何配置都改不了。
- 第二层（可配置）：风格、话题开放度、表达方式。 这一层把选择权确实交给用户。
- 第三层（策略）：产品默认值。需要说明理由并记录， 因为大多数人用的是这一层。
关键点：这个方案既尊重了多样性（第二层确实给用户自主权），
又没有逃避责任（第一层不可协商，第三层有据可查）。
而「完全交给用户」这个方案，表面上最尊重用户，实际上让产品方在关键问题上免责——
这是一种责任回避的修辞，不是真的尊重用户。
- 能说出三套伦理框架各自的核心判据，并说明它们何时会给出不同结论。
- 能解释休谟的「是—应该」问题，以及它为什么使「对齐」成为伦理问题而非纯技术问题。
- 能说出三种对齐路线各自暗含的伦理立场和天花板。
- 完成一份三层价值分层（硬底线 / 可配置 / 产品策略）。
- 完成一份责任矩阵，其中「谁受损」和「谁负责复核」两栏填得具体。
- 能识别并反驳「这是算法决策，我们只是提供工具」这类责任回避说法。