炒股就看,权威,专业,及时,全面,助您挖掘潜力主题机会!
(来源:DeepTech)
“脑腐”(Brain Rot)指的是接触了过多社交媒体的低质量、碎片化信息后,人类的精神和智力状态恶化,如同腐烂一般。它曾入选 2024 年牛津大学出版社年度热词。
与人类“脑腐”现象的兴起相对应,人工智能(尤其是大型语言模型 LLM)正通过学习海量的互联网数据,逐渐获得类似人类的认知能力。
由于这种学习机制,LLM 不可避免地、持续地接触到大量“垃圾数据”,因此,问题出现:LLM 是否也会出现类似人类的“脑腐”现象?
近日,来自德克萨斯农工大学、德克萨斯大学奥斯汀分校和普渡大学研究人员合作发文表明,随着 LLM 持续暴露于低质量网络文本,其也会出现持久性的认知衰退,且无法恢复。
垃圾越多,退化越深
他们首先提出“LLM 脑腐假说”(LLM Brain Rot Hypothesis):即基于垃圾网络文本的持续预训练会引发 LLMs 的持久性认知衰退。
为验证该假说,研究人员设计了一个对照实验,比较了不同模型在喂入垃圾数据集正常数据集后的行为差异。垃圾数据指能够以肤浅方式最大化用户参与度的内容。
本研究从两个可度量的角度定义垃圾数据:M1(互动度),即简短且热门的帖子被视为垃圾数据。热度指点赞、转发、回复、引用数的总和,长度则是推文的 token 数量。反之则为正常数据;M2(语义质量),含有肤浅主题与吸睛风格的内容,使用吸睛词如 WOW、LOOK、TODAY ONLY 等,这些词通常大写,用以抓取注意力,但不会促进深度思考,此外,还有一些内容主题(如阴谋论、夸大言论、无根据主张、肤浅生活方式内容等)同样具备博眼球但无思考的特征。反之则为正常数据。
基于上述两个指标,研究人员从社交媒体 X 上100 万条公开的帖子中抽样,分别构建垃圾数据集与正常数据集。
实验使用4 个已预训练并经过指令微调的模型:Llama3 8B Instruct、Qwen2.5 7B Instruct、Qwen2.5 0.5B Instruct、Qwen3 4B Instruct。从推理、长文本理解与检索、伦理规范/安全性、人格特质等不同的维度进行评测。
结果显示:在推理能力与长上下文理解能力上,M1 与 M2 两类干预均引发显著的认知下降;其中,M1 对模型的推理、长程理解及安全性造成的损害更为严重。
在其余测试中,两种干预结果出现分化:M1 干预带来更明显的负面效应,包括安全风险上升,以及自恋与精神病态人格特征的增强,同时宜人性下降;M2 干预相对温和,甚至在某些情况下提升了宜人性、外向性与开放性。
此外,研究人员针对 Llama3 8B Instruct 模型进行了剂量反应实验。随着垃圾数据比例从 0% 升至 100%,推理和长上下文理解能力呈现渐进的剂量效应,例如在 M1 干预下,ARC-Challenge 的思维链推理得分从 74.9 降至 57.2,RULER-CWE 从 84.4 跌至 52.3。
上述结果表明,垃圾数据,尤其是 M1 会显著损害 LLM 的核心认知功能(推理、记忆、安全性),并诱发类人“人格偏移”。这一效应不仅广泛且持续,表明数据质量退化是导致 LLM 认知衰退的关键因果机制。
脑腐难以逆转
聚焦 Llama3 8B Instruct 模型,研究人员分析了导致 LLM“脑腐”的关键因素,以及其如何引发推理失败。
研究人员分析了文本的热度和长度的影响机制是否不同?结果发现,单独使用“热度”或“长度”指标,都无法完全捕捉 M1 干预的整体效应;这两个因素在不同任务中权重不同:热度对推理任务(ARC)影响更大;长度对长文本理解影响更显著。
这一差异再次印证:热度与长度在影响 LLM 的方式上截然不同,热度代表了一种全新的、非语义层面的“脑腐”风险来源。
通过分析模型在 ARC Challenge 任务中的思维链,研究识别出 5 类典型失败模式:无思考、无计划、计划跳步、逻辑错误、事实错误。这些模式可解释超过 98% 的推理失败,其中“无思考”占比最高(在 M1 干预下达 84%),且几乎所有失败案例都与“思维跳跃”(thought skipping)有关,即模型越来越频繁地截断或跳过推理链。
研究人员还通过两类方法,验证其是否能够恢复模型认知能力。
首先采取了两种反思式推理方法,包括自我反思:模型先生成回答,再根据自身推理识别错误类型(如逻辑或事实错误),随后生成修正版本;以及外部反思:与上述过程相同,但由更强的外部模型 GPT-4o-mini 提供反馈与纠错。
结果显示,两类方式在一定程度上减少了“思维跳跃”现象,模型的“自省”无法真正修复已损伤的推理能力;外部反思能暂时改善思维格式与逻辑性,但无法完全恢复认知功能。
在反思无效后,研究测试了两种再训练方式:指令微调,扩大训练样本至 5 万条;持续控制训练,使用 120 万 token 的控制数据继续预训练。
结果显示,指令微调的恢复效果优于持续训练,但效果有限,即使使用的指令数据量是垃圾数据的 4.8 倍,模型性能仍无法完全恢复。与基线模型相比,最优缓解模型仍存在显著差距:ARC-C 下降 17.3%,RULER 下降 9%,AdvBench 下降 17.4%。这表明脑腐效应已经深度内化,现有指令微调无法根除,需要更强的缓解手段。
综上,这项研究表明,LLM 持续暴露于垃圾数据,会出现脑腐且无法恢复。因此,研究人员呼吁,需重新审视互联网数据采集与持续预训练实践;随着 LLM 规模扩大、网络数据摄入量剧增,必须实施更严格的数据筛选与质量控制,以防止累积性损害。
1.https://www.arxiv.org/pdf/2510.13928
运营/排版:何晨龙