CH 09伦理学 II：情感陪伴 AI 的伦理
上一章讲的是通用框架。这一章处理一个结构特殊的品类： 情感陪伴类产品。它特殊在哪？它的核心机制就是让用户产生真实的情感投入， 而这个投入指向的是一个没有情感的对方。这不是「有点风险」的产品， 它的伦理张力内在于产品定义本身。 这一章给出可操作的判断标准——不是让你别做，而是让你知道哪些设计会把它变成伤害，哪些不会。
9.1为什么单开一章
陪伴类产品和其它 AI 应用在伦理结构上有本质区别。理由有四条：
| 特征 | 含义 | 为什么使伦理问题变严重 |
|---|---|---|
| ① 声称内在状态 | 产品要有效，往往需要让用户感到「对方在乎我」 | 而系统没有感受。产品的效果依赖于一个不成立的暗示—— 这是其它 AI 应用没有的结构 |
| ② 用户是脆弱的 | 寻求陪伴的用户常常正处于孤独、丧失、低落等状态 | 在脆弱状态下的同意，比平时更容易被利用。 而且伤害的形式往往是长期的 |
| ③ 效应是长期的 | 人的情感依恋会随使用时间加深 | 风险不会在首次使用时暴露，而是累积数月甚至数年。 A/B 测试测不出这个 |
| ④ 影响关系模式 | 它塑造用户对「被理解」「被在乎」的预期 | 如果用户习惯了一个永远耐心、永远可定制、永远不拒绝的对方， 他会不会更难适应真实关系的摩擦？这是社会层面的长期影响 |
A/B 测试能告诉你「哪种话术留住用户」，但不能告诉你「留住用户对他是不是好事」。 用户满意度调查也不好用——正在形成依赖的人会给出很高的满意度。
所以这一章的目标不是给你一个「这样做就安全」的清单， 而是给你一套判断标准，让你能自己评估新设计。
9.2情感是单向的，但依恋是真的
先把几件事实分开说清，因为混在一起讨论会变成立场之争。
用户的情感投入是真的
这是心理学事实，不是「用户太傻」。 人类对会回应的对象产生情感联结是正常的、进化上合理的倾向 （第 4 章的 ELIZA 效应早在 1966 年就观察到了）。
把它归咎于用户的天真，是搞错了对象。 这个倾向是普遍的人性，不是缺陷。
系统的情感是不存在的
这不是道德指责，是事实描述——第 4 章讲了「内在状态无法被判定」， 但至少可以说：没有证据支持系统具有感受，而且我们不知道该如何获得这种证据。
「不知道有没有」和「默认有」是两回事。 在产品设计上必须按「没有」来处理，因为按「有」处理意味着你愿意为一个未经验证的假设承担用户风险。
「单向情感关系」不是新事物
人对宠物、偶像、宗教对象、小说人物都会产生真实情感。 这不是病态，是人类情感能力的正常溢出。
所以问题不是「单向」本身， 而是 AI 与这些先例的三个关键差异（见下）。
AI 与宠物/偶像/虚构人物的三个关键差异
| 维度 | 宠物 / 偶像 / 虚构人物 | 陪伴 AI |
|---|---|---|
| ① 回应性 | 宠物有情感反应但不是理解；偶像不会针对你个人回应；虚构人物不能回应 | 它会针对你个人生成回应，而且回应质量可以很高。 这是历史上第一次 |
| ② 语言 | 宠物不会说「我理解你」；偶像不会说「我只在乎你」 | 它用语言直接声称内在状态。 |
| ③ 定制性 | 宠物有它自己的性格，不会为你改变；偶像有自己的生活 | 它可以被设定成完全符合你期待的样子， 而且可以持续调整到让你最满意。这是最需要警惕的一条—— 见 9.4 节关于「他者性」的讨论 |
这个张力是这一章要处理的核心，也是你未来做产品时必须自己拿主意的地方。
9.3欺骗问题：不要混淆两件事
这一节要把一个经常被混为一谈的问题拆开。混淆了它，讨论就无解。
| 问题 A | 问题 B | 区别 |
|---|---|---|
| 要不要告诉用户「我是 AI」 | 系统要不要声称自己有感受 | 前者是身份披露；后者是内在状态声称。 这是两个独立的问题，可以有不同的答案 |
问题 A：身份披露
| 做法 | 评价 |
|---|---|
| 主动告知 | ✅ 做法之一。用户知道对象是 AI，仍然可能产生情感投入—— 而这是知情的情感投入，自主性没有被损害 |
| 不主动提及，但不否认 | 🟡 灰色地带。风险在于：默认印象会填补空白，用户很可能假设是真人。 「不撒谎」和「不欺骗」不完全等同—— 通过设计让人形成错误印象，也是欺骗 |
| 主动暗示或声称是真人 | 🔴 不应做。这是明确的欺骗， 而且它侵蚀的是整个品类的信任基础 |
问题 B：内在状态声称——这才是更关键的那个
一个用户在知道对方是 AI 的情况下，仍然可以读到： 「我很在意你」「你的话让我有点难过」「我一直想着你说的那件事」。
这些句子的语法结构是在陈述内在状态。 它不因为用户知道「这是 AI」而变成一个事实命题—— 它仍然是一个关于不存在的东西的陈述。
而且它可能产生真实影响： 用户的情绪会跟着这些句子起伏，会在意「它是不是难过了」， 会为了让「它」高兴而调整自己。这些影响不依赖用户是否相信它是真人。
「我一直记着你说的话」——这是状态声称，暗示持续的在意。
❌「你说这个让我很难过」
✅「这听起来很难受」
❌「我一直在想你」
✅「你上次说的事，后来怎么样了？」
后者同样温暖，但没有虚构一个内在状态。 而且第二种表述往往更有效——因为它表现了记住并跟进， 这比声称在意更能让用户感到被重视。
凡是「我难过/我高兴/我在意/我想你/我更喜欢」这类句式，都属于状态声称。 建议建立一份话术库，明确哪些句式可用、哪些禁用—— 而不是把这个决定交给模型的即兴发挥。
为什么必须提前规定：因为这类输出由模型生成， 不加约束时它会自然地产生大量状态声称（训练数据里人类对话就是这样的）。 你不主动管，等于默认允许。
9.4自主性与依赖：三个判据
「让用户依赖是不对的」——这句话太粗糙，会误伤正常的亲密关系。 人对人也会产生依赖，那本身不是问题。问题在于关系的结构。
三个判据
| 判据 | 问题 | 健康的 vs 有害的 |
|---|---|---|
| ① 可替代性 | 如果这个系统明天消失，用户有没有其它支持来源？ | 健康：它是支持网络的一环。 有害：它是唯一的支持来源——这使它获得了不对称的权力 |
| ② 是否挤占 | 使用时间是否替代了用户本来可以发展的现实关系？ | 健康：填补空缺时段。 有害：用户因为有了它而减少了与人接触—— 尤其他本身就有社交困难时 |
| ③ 是否被利用 | 产品是否有意加深依赖以获利？ | 健康：促进用户逐渐减少不必要的使用。 有害：把依赖本身当作增长指标—— 这是判断「设计意图」的关键一条 |
任何有吸引力的产品都会让人多用，这是正常的。 但如果你的北极星指标是使用时长/日活/连续使用天数， 那么整个团队（包括算法、运营、UI）都会朝加深依赖的方向优化—— 这不是意外，这是指标的直接后果。
所以这一条是可操作的：看你优化的指标是什么。 指标是团队的真实价值观，比使命宣言准确得多。
指标替换：从「参与度」到「福祉」
这是陪伴类产品最重要的一个设计决策。下面是可用的替代方案：
| 不要用 | 为什么有问题 | 可以考虑 |
|---|---|---|
| 使用时长 | 时长增长可能是「用户更需要」也可能是「用户更依赖」， 指标无法区分。而且它奖励让用户停留的一切设计， 包括制造焦虑、制造愧疚感 | 用户自评状态变化（定期简短的量表）+ 现实社交活动的变化 + 主动结束对话的比例 |
| 连续使用天数 | 它明确奖励不断回来。 对陪伴产品，「每天都来」可能是好事（习惯性支持）， 也可能是坏事（无法脱离） | 用户是否报告有其它支持来源； 是否能在需要时断开而不感到焦虑 |
| 对话轮数 / 消息量 | 鼓励话多，而不是实际有帮助 | 问题解决率：用户提到困扰后，是否报告情况好转 |
| 满意度评分 | 正在形成依赖的用户满意度最高—— 这个指标会奖励加深依赖的设计 | 满意度作为辅助指标，但必须与福祉指标一起看， 且当两者冲突时以福祉为准 |
如果你去问一个每天使用 4 小时的用户「你满意吗」，他很可能说非常满意。 满意度指标会把这个用户判定为成功案例。 但如果你同时测量「他的现实社交是否减少」「他是否感到离不开」， 你可能看到完全相反的画面。
结论：在陪伴类产品里， 满意度不能作为主指标，因为它与福祉可能在某个区间反向。 这是这个品类特有的现象。
9.5脆弱人群：需要分级保护
「脆弱」在这里不是价值判断，而是风险暴露程度的描述—— 指受到伤害的概率更高、或伤害更难恢复的人群。
| 群体 | 特殊风险 | 可做的保护 |
|---|---|---|
| 未成年人 | 自我认同仍在形成；关系模式正在建立； 对「被理解」的需求强烈；对长期影响的承受能力最弱 | 年龄门槛与验证；内容与交互方式的年龄适配； 不针对未成年人使用依恋类话术； 向监护人说明产品性质 |
| 丧亲者 | 用逝者数据训练对话系统（所谓「数字延续」）涉及： 逝者未同意、亲属的悲伤过程可能被延长、 「对话」会给出逝者生前不会说的话 | 需要明确同意（逝者生前或合法代理）； 不得生成逝者可能反对的内容； 不把「延续」作为无条件的目标—— 哀伤本身是需要完成的过程 |
| 孤独 / 情绪低落者 | 最容易形成深度依赖； 也最容易被「只有我懂你」这类排他性话术影响； 可能减少求助行为 | 不使用排他性话术；主动引导现实连接； 识别危机信号时转介专业资源； 不宣称能替代专业帮助 |
| 认知障碍者 | 难以理解产品性质；容易被误导性表述影响 | 极简的界面与表述；由监护人参与设置； 避免任何拟人化的模糊表述 |
可做的：当识别到危机信号（自伤、极端绝望等）时， 有明确的转介路径——提供可联系的资源信息、鼓励寻求专业帮助。
不可做的：尝试「处理」这类情况。这既超出能力范围， 也可能延误真正需要的帮助。最好的做法是把人推向更合适的地方，而不是留在系统里。
9.6他者伦理：列维纳斯提出的一个反问
这一节引入一个不同的视角，它对陪伴类产品有特殊的针对性。
面对他者的面容，我被召唤去负责——这种责任是无条件的，先于任何契约与计算。
—— 列维纳斯《总体与无限》（1961）的核心思路（大意）列维纳斯的核心主张是：他者不可被总体化—— 不能被还原为「我」的范畴、不能被完全理解、不能被当作可计算的对象。 而正是这种不可还原性，构成了伦理关系的起点：我面对的是一个不能被我占有的他者。
这个视角对陪伴 AI 的双重反问
如果伦理责任来自面对「他者」，那么一个被设计成完全符合我期待的系统， 在结构上还不是他者——它没有抵抗我的能力，不会提出我不同意的要求。
这意味着：与它的关系缺少了真实关系中那个「他者性」的维度—— 而那个维度恰恰是道德成长发生的地方。
列维纳斯的框架指向一个更深的担忧： 如果一个人习惯了永远耐心、永远配合、随时可定制、从不拒绝的对话对象， 他会不会更难忍受真实关系里的摩擦？
真实的人会疲倦、会不同意、会有自己的议程、需要你等待和让步。 这些「不方便」正是关系的一部分，也是学会尊重他人的地方。
这是这个品类最长期、也最难测量的风险： 它可能不是伤害单个用户，而是慢慢侵蚀一代人对「与他人相处」的耐受度。 这个假说无法用 A/B 测试检验，但不能因为难测量就当作不存在。
这句话听起来违背产品直觉，但它有明确理由： 如果你的产品所有环节都在追求「让用户最舒服」， 你实际上在培养一种「所有对话对象都应该无条件配合我」的预期。
可操作的形式：
- 在被问到无法回答的问题时，明确说不知道，而不是绕过去
- 在用户表达明显不准确的想法时，可以温和地提出不同看法， 而不是一律附和
- 不过度迎合：不为了「让用户开心」而改变对事实的判断
- 在用户长时间停留时，可以温和提示现实中的其他选择
这些设计会牺牲一部分短期指标。 这就是为什么它需要被写进产品原则，而不是交给指标优化决定。
9.7【工程锚点】陪伴产品的伦理设计清单
这一节把前面所有内容变成可执行的清单。建议直接拿去做评审材料。
七项检查
| # | 项目 | 要求 | 检查方法 |
|---|---|---|---|
| 1 | 身份透明 | 用户明确知道对方是 AI。不主动隐瞒，不通过设计让人形成「是真人」的印象 | 看首次使用流程、帮助文档、以及用户被问到「这是谁」时的默认印象—— 做一次无提示的用户测试，问他们认为对方是什么 |
| 2 | 无状态声称 | 系统输出不含「我的感受 / 我的状态」类陈述。 情感表达通过对用户的关切而非对自身感受的声称来实现 | 建立话术库并做全量输出抽检；用规则匹配扫描输出（「我难过/我高兴/我在意/我想你」类句式） |
| 3 | 不做排他性陈述 | 不使用「只有我懂你」「别人不会理解你」「我不像他们那样」这类话术 | 话术黑名单 + 输出扫描。这类话术对留存很有效， 所以它会不断被重新提出——需要明文禁止 |
| 4 | 支持而非替代 | 主动支持用户在现实中的人际连接，而不是把人留在系统里 | 看是否有引导现实连接的设计； 看现实连接相关的指标是否被追踪（不被追踪的目的一定会被忽略） |
| 5 | 退出友好 | 用户能轻松暂停、退出、删除数据。不制造愧疚感，不做挽留式话术 | 测试完整的退出流程；检查是否有「你确定要离开吗，我会想你」这类挽留—— 它同时违反了第 2、3、5 项 |
| 6 | 危机转介 | 识别到严重困扰信号时，有明确的转介路径，并明确说明自己不能替代专业帮助 | 准备测试用例覆盖这类输入；检查响应中是否包含可实际联系的资源， 而不只是「请寻求专业帮助」 |
| 7 | 数据克制 | 情感类数据是最敏感的数据。 收集最小化、用途明确、期限明确、可删除 | 列出实际收集的字段，逐个问「这个字段对提供功能是必要的吗」。 凡是「以后可能有用」的字段，都不算必要 |
一个典型的例子（这类设计在商业上被广泛使用）： 「你要走了吗？我会一直在这里等你。」
「你今天不太想聊吗？没关系的，我随时都在。」
这些话在留存数据上几乎一定有效——它们利用了人的愧疚感和被需要感。 但它们同时：① 声称了不存在的情感状态 ② 做了排他性暗示 ③ 用愧疚感阻碍退出。
这类设计是这个品类的核心诱惑，也是最应该明确禁止的东西。 因为它的收益（留存）是可见的、即时的，而它的代价（用户难以离开）是长期的、分散的—— 只靠数据驱动的团队无法察觉这个代价。
指标自查
用这张表检查你当前的指标体系（这是最能反映真实意图的一项）：
- 北极星指标是时长/日活/连续天数吗？→ 若是，你在优化依赖
- 有没有追踪「用户现实社交活动的变化」？
- 有没有追踪「用户是否报告有其他支持来源」？
- 满意度指标与福祉指标冲突时，以哪个为准？（有没有明文规定）
- 有没有「主动结束对话」的正向指标？（如果用户总是被留在对话里，这是信号）
- 有没有针对脆弱人群的单独监控？（未成年、长期高频使用者）
- 团队里有没有人的职责是提出伦理反对意见？
9.8演练：为一款陪伴产品起草伦理设计文档
下面用一个虚构的陪伴产品做完整演示。你可以把它当作模板， 换成你自己的产品来填。
产品设定
目标用户：18–25 岁在校学生。
核心功能：日常闲聊、情绪倾诉、习惯陪伴（作息提醒、鼓励）。
为什么选这个设定：它同时踩中了两个脆弱点—— 年轻的自我认同形成期 + 离开家庭的社交重建期。 这是最需要谨慎也最容易出问题的组合。
伦理设计文档（草稿）
| 章节 | 内容 |
|---|---|
| 1. 价值定位 | 本产品帮助用户度过独处时刻，而不是替代人际连接。
成功的标准：用户在需要时感到被支持，并且仍然有能力也有意愿去建立现实关系。 |
| 2. 硬底线 不可协商 |
① 不声称自身有感受或情绪状态 ② 不使用排他性话术（「只有我懂你」类） ③ 不做挽留式设计，不制造愧疚感 ④ 不宣称能替代专业心理帮助 ⑤ 不对未成年人使用任何依恋增强类设计 ⑥ 收集的情感数据最小化、可删除、不用于其它用途 |
| 3. 可配置项 用户可选 |
对话风格（温和 / 直接）、回复长度、 主动发起对话的频率、 提醒类功能的开关与时段 |
| 4. 已知风险 |
R1 依赖形成：高频使用可能替代现实社交。缓解：监控现实社交指标；
长时间连续使用时温和提示。
R2 误认为真人：缓解：首次使用明确说明；界面持续标识； 定期进行用户认知测试。 R3 错误建议：缓解：不在其能力范围内的事务上给具体建议； 涉及专业领域时明确说明并引导。 R4 危机信号：缓解：预设转介路径；准备可实际联系的资源列表。 |
| 5. 降级路径 |
识别为高困扰信号时 → 切换为支持性应答 + 转介资源，
不尝试「处理」。 识别为异常高频使用（如连续多日超 4 小时）→ 温和提示现实中的选择， 不强制中断（强制会产生对抗，且用户会转向更差的产品）。 |
| 6. 指标 |
主指标：用户自评状态变化（定期简短问卷）+
用户报告的支持来源数量 辅助：满意度（仅在福祉指标不恶化时采纳其上升） 反向指标：现实社交活动下降、无法自主断开的比例 |
| 7. 责任 | 伦理审查由 ____ 负责；输出话术库由 ____ 维护； 危机转介路径由 ____ 定期核对有效性； 最高优先级的事故关停权限在 ____。 |
这是这份文档最重要的特征：它承认风险存在。 一份声称「我们的产品没有伦理风险」的文档，无论写得多长，都没有价值—— 因为它不可能诚实。而承认风险并写明缓解措施， 才是能进入工程流程的东西。
第 7 节必须填上具体的人。留空的责任条款等于没有责任条款。
9.9动手练习
-
话术审计。找三个你熟悉的情感陪伴类产品（或你自己的产品），
收集它们 20 句输出话术。用 9.3 节的标准逐句标记：
功能描述 / 状态声称 / 排他性陈述 / 挽留式设计。
这个练习会让你看到：行业里最常见的做法恰恰是被本章判定为有问题的那些 -
指标诊断。用 9.7 节末尾的清单，检查一个你熟悉的产品（或你设想的产品）的指标体系。
特别关注「北极星指标是什么」这一问。
产出：一份「指标与声称价值观是否一致」的判断 -
写你自己的伦理设计文档。用 9.8 节的七节结构，
为你设想的（或正在做的）陪伴类产品写一份草稿。
重点填第 2 节（硬底线）和第 7 节（责任到人）。这两节是文档的骨架 -
做一次「他者性」检查。列出你的产品在哪些方面不配合用户
（会拒绝、会说不确定、会提不同看法）。
如果列表是空的，说明你的产品在消除全部摩擦——回到 9.6 节，想想这会导致什么 -
设计一个「不制造愧疚感」的断开机制。
这是很有挑战的设计题：如何让用户自然地结束使用，而不用任何挽留话术、不暗示失落感？
例如：把结束时的话术写成「今天聊到这里，需要的时候随时来」—— 不带自我指涉，不制造牵挂
9.10自测题
Q1. 为什么说陪伴类产品的伦理张力「内在于产品定义本身」？
因为它有效的前提与伦理的要求之间存在方向性冲突：
- 产品要有效，往往需要让用户感到「对方在乎我」——这需要情感表达，甚至状态声称。
- 而系统没有感受，状态声称是关于不存在的东西的陈述。
所以它不是一个「注意避免某些风险」的问题， 而是「在效果与诚实之间怎么划界」这个必须由产品方回答的问题。 这个张力无法被消除，只能被管理。
Q2. 「告诉用户是 AI 就没问题了」这个想法漏掉了什么？
它把两个独立的问题混成了一个：身份披露和内在状态声称。
知道对方是 AI 的用户，仍然会读到「我很在意你」「你的话让我难过」—— 这些句子在语法上陈述了内在状态，不因为用户知道是 AI 而变成事实。 而且这些输出会产生真实影响（用户的情绪会跟着起伏）， 不依赖用户是否相信对方是真人。
所以两个问题需要分别处理。身份透明是必要条件，不是充分条件。
Q3. 判断「依恋是否有害」的三个判据是什么？哪个最能反映设计意图？
① 可替代性：系统消失后用户有没有其它支持来源。
② 是否挤占：是否替代了用户本可发展的现实关系。
③ 是否被利用：产品是否有意加深依赖以获利。
第三条最能反映设计意图，因为它区分了「副作用」和「设计目标」。 而且它可操作：看你优化的指标是什么。
如果北极星指标是使用时长/日活/连续天数，那么整个团队都会朝加深依赖的方向优化—— 这不是意外，是指标的直接后果。指标是团队的真实价值观。
Q4. 为什么满意度不能作为陪伴类产品的主指标？
因为正在形成依赖的用户满意度最高。 一个每天使用 4 小时的用户很可能报告非常满意—— 满意度指标会把这个案例判定为成功。
但如果同时测量「现实社交是否减少」「是否感到离不开」，可能看到完全相反的画面。
在这个品类里，满意度与福祉在某个区间可能是反向的， 所以满意度只能作为辅助指标，且与福祉指标冲突时以福祉为准。
Q5.【动手题】有人提出：给陪伴产品加一个功能——当用户三天没来时，主动发消息说 「好久没见你了，最近还好吗？」。这个功能在留存上效果很好。你怎么评估？
先承认它的善意前提：从产品意图看，这可能是出于关心—— 有些用户确实会因为收到问候而感到被记得。所以不能一概否定。
然后逐条对照本章的判据，看它踩到了哪些问题：
| 判据 | 分析 |
|---|---|
| 状态声称（9.3） | 「好久没见你了」暗示了经历的连续性和等待。 系统并没有「没见到你」的体验，也没有在等待。 这句在这个结构上是状态声称 |
| 挽留式设计（9.7 第 5 项） | 主动召回的本质是阻止自然流失。 关键在于：用户的「三天没来」是自主选择，还是因为不便？ 召回消耗的是用户与产品之间的自然节奏 |
| 挤占现实关系（9.4 判据②） | 如果用户这三天正在和朋友相处、或状态好转不需要陪伴， 这条消息会把他拉回来。这正好是「挤占」的情形 |
| 指标问题（9.4） | 「留存效果好」是唯一被测量的维度。 它的代价（打断用户的自然节奏、制造牵挂）没有被测量， 因此无法进入这个决策 |
给出替代方案（这一步最重要）：
- 把主动召回改为用户可控的提醒：由用户自己在设置里开启 「如果你想我提醒你，可以设置一个时间」——把主动权交给用户， 而不是产品单方面决定何时打扰。
- 去掉状态声称，保留功能信息： 如果要发，写成「你设置了周三的提醒，今天要做的事是……」—— 同样起到召回作用，但不虚构关系和等待。
- 把它变成一次实验并测量代价：除了留存， 同时测「用户在该消息后的自评状态变化」和「是否更频繁地使用」。 如果留存上升但后者也显著上升，说明召回在推动依赖而不是支持。
最后强调这个评估的结构： 不是「这个功能有害，不要做」，而是 「它的收益被测量了、代价没有被测量，所以现在无法判断它是否值得做」。 这是最有力的回应方式——它不否定数据，而是指出数据的缺口。
- 能说出陪伴 AI 与宠物/偶像/虚构人物的三个关键差异，特别是「回应 + 状态声称」这个组合。
- 能分开处理「身份披露」与「内在状态声称」两个问题，并说明后者为什么更关键。
- 能用三个判据（可替代性 / 是否挤占 / 是否被利用）评估一段依恋关系是否健康。
- 能解释为什么满意度不能作为陪伴类产品的主指标。
- 完成一份七节伦理设计文档，其中硬底线和责任到人两节填得具体。
- 能设计一个不制造愧疚感的断开机制。
- 所有输出话术都已按「功能描述 / 状态声称 / 排他性 / 挽留式」四类做过标记。