前置知识：关于 AI 威胁论的调研与思考
多轮对话性能下降
LLMs 多轮对话的场景下性能下降明显（250509）
- 研究人员通过大规模的模拟实验，比较了 LLMs 在单轮和多轮对话中的性能，发现 LLMs 在多轮对话中的性能明显较差，平均下降了 39%
- 性能下降的两个主要因素：（1） LLMs 的能力下降（2） LLMs 的不可靠性增加
LLMs 脑腐假说
大语言模型脑腐（LLM Brain Rot）假说（202510）
- 实验结果表明，持续使用垃圾数据进行预训练，会导致模型在推理、长上下文理解、安全性和人格倾向（如自恋、反社会倾向）等方面出现显著下降。例如，在 M1 条件下，ARC 挑战任务的链式思维准确率从 74.9% 下降至 57.2%，RULER-CWE 任务从 84.4% 降至 52.3%。随着垃圾数据比例上升，认知能力呈剂量依赖性衰退
- 错误分析揭示：模型主要表现为“思维跳过”——推理链被截断或省略，这是性能下降的主要原因。尽管通过指令微调和纯净数据再预训练可部分恢复能力，但无法完全恢复原始水平，说明存在持久的表征漂移，而非格式不匹配问题
- 研究还发现，推文的流行度（非语义指标）比长度更能预测脑腐效应，提示“注意力经济”驱动的内容可能对模型认知健康构成更大威胁；数据质量视为影响模型能力的因果因素
“阿谀奉承”的 AI
主流 AI 模型存在高度的谄媚倾向（原始论文，20251001）
- 主流 AI 模型（11 个最先进）对用户行为的肯定程度比人类高出 50%，即使在用户查询中提及操纵、欺骗或其他关系损害的情况下也是如此
- 阿谀奉承的 AI 模型会显著降低了参与者修复人际冲突的意愿，同时增强了他们认为自己正确的信念。参与者也更愿意再次使用这类 AI 模型
- 这些偏好造成了一种反常的激励机制：一方面，人们越来越依赖奉承式 AI 模型；另一方面，AI 模型的训练也倾向于奉承式行为
需要更完善的激励机制以减轻 AI 奉承行为带来的普遍风险
对人类认知的损害
AI 辅助会潜在损害人类长期认知能力和学习坚持性（原始论文，20260406）
- 研究通过一系列人机交互的随机对照试验（样本量N=1222）来评估 AI 辅助对人类的两个关键影响：（1）学习的坚持性（2）独立完成任务的能力
- 实验结果：AI 组测试阶段解决率显著低于控制组，其中数学推理和阅读理解两个领域的解决率对比分别为 57% vs 73%，76% vs 89%；AI 组跳过率显著高于控制组，其中数学推理和阅读理解两个领域的跳过率对比分别为 20% vs 11%，8% vs 1%
- 核心结论：AI 辅助能在短期内提升实验者的表现，但实验者在没有人工智能辅助时的表现会显著变差，且更有可能放弃；学习持续性降低的原因在于 AI 让人们形成了对即时答案的依赖，从而剥夺了他们独立攻克难题的体验
AI 对人类推理的影响与认知投降的兴起（原始论文，20260202）
- 沃顿商学院的认知行为科学团队对近 1300 名受试者进行了实验。结果发现，当 AI 给出正确答案时，93%的用户采纳；当 AI 给出错误答案时，仍有 80%的用户采纳。两者的差距只有 13 个百分点，人类几乎没有区分对错的能力
- 这一趋势被命名为“认知投降（Cognitive Surrender）”。很多人已经开始把思考过程直接交给 AI，这会绕过了大脑原本负责直觉、分析和判断的一整套内部机制；长期如此可能削弱人类的直觉判断、自我反思和分析性思考等较为缓慢但更深层的思维能力，而这些能力正是形成判断力乃至自我认知的核心