发布日期:2026-11-21 10:24 点击次数:97

闻乐 发自 凹非寺 量子位 | 公众号 QbitAI
DeepSeek 的神鬼二象性被字节 Seed 团队逮到了。
磨灭起题,什么齐没改,只在前边多塞几个无关伏击的字符,模子霎时就不会了???
并且还不是偶尔抽风。
Seed 策划东谈主员发现,DeepSeek-V4 的阐扬确凿会随着信息的输入位置,每隔 4 个 Token 周期性变化。

啥真义?模子记不铭刻住一件事,确凿还要看这件事在输入里站哪儿??
前边多两个 Token,谜底可能从错变对,再多两个,又给你改且归。
好好好,模子答题也启动正经站位了。
在 128K 长高下文检索测试中,策划东谈主员发现,磨灭条信息仅仅换了个位置,DeepSeek-V4 系列模子的检索准确率最高就能拉开 40.2 个百分点。
团队进一步发现,这个问题与 DeepSeek-V4 选拔的一项长高下文优化时刻关系——
分块 KV Cache 压缩。

这项时刻正本是为了让模子处分长文本更省内存、更高效。
为止压缩之后,倒让模子时神时鬼了(doge)。
多两个 Token,DeepSeek 霎时就答对了
字节 Seed 策划东谈主员最启动是拿 DeepSeek 我方的代码作念了个实验。
测试对象是 DeepSeek-V4-Flash-Base。
他们从 DeepSeek-V4 的官方推理代码中截取了一段 FP8 量化函数,让模子补全终末一个 Token。
任务的正确谜底应该是 8,因为这段代码需要完成 FP8 关系的类型颐养。
但模子有时偏巧以为应该补成 32。
为了搞清到底咋回事,策划东谈主员在代码前边加了一段纯守密性的文档字符串,里面放着一些类似的等号。
然后,他们启动养息等号的数目。
代码本人没改、要补全的位置没改、正确谜底虽然也没改……独一的变化,即是前边多了这几个没什么内容道理的 Token。
为止,DeepSeek 的谜底启动反复横跳。

当填充长度落在某些位置时,模子更倾向于回复造作的 32。
往前挪一两个 Token,又启动倾向于正确的 8。
再连续挪,造作谜底又纪念了——
统统这个词经由以 4 个 Token 为周期类似。
更具体地说,在论文测试的 16 种填充长度中,当长度模 4 的尾数为 0 或 1 时,模子倾向于造作谜底 32;尾数为 2 或 3 时,则倾向于正确谜底 8。
策划东谈主员还统计了模子给两个候选谜底分拨的概率。
在一组位置上,造作谜底 32 的平均概率达到 71.3%,正确谜底 8 只好 26.4%。
换到另一组位置,情况胜利反过来:
正确谜底 8 的平均概率升到 91.5%,造作谜底 32 只剩 7.2%。
也即是说,前边几个无关字符的长度变化,足以让模子对磨灭起题产生天悬地隔的判断。
这就有点难评了。
步调员调试代码,频繁先查验逻辑、变量和依赖。
当今看来,可能还得顺遂查验一下,前边是不是多打了两个等号。

不外单个代码补全案例,还不及以说明问题有多广泛。
于是 Seed 团队连续扩大测试。
他们把眼神转向大模子长高下文技艺里很经典的一项任务,大海捞针。
策划东谈主员构造了一段长达 128K Token 的高下文,里面包含约 1.6 万个键值对。
比如 K1 对应 V1,K2 对应 V2 ……
然后让模子从中找出指定 Key 对应的 Value。
测试经由中,键值关系不变,问题不变,高下文总长度也保合手一致。
策划东谈主员要点养息野心信息相干于压缩窗口范围的位置。
为止发现,DeepSeek-V4 系列的准确率弧线,确凿呈现出荒谬显著的周期性转换。

其中 DeepSeek-V4-Flash-Base 在不同位置之间的最大准确率差距达到 40.2 个百分点
DeepSeek-V4-Pro-Base 也达到 34.8 个百分点。
经事后熟谙之后,情况有所改善。
DeepSeek-V4-Flash-0731 的差距减弱到 19.1 个百分点,DeepSeek-V4-Pro-0813 减弱到 14.8 个百分点。
而更新的 DeepSeek-V4.1-Flash-0910,差距进一步降至 6.1 个百分点。
但周期性各别仍是存在。
这种各别性是奈何来的呢?
再往细看,DeepSeek-V4 的波动周期是 4 个 Token,DeepSeek-V4.1 则变成了 2 个 Token。
策划东谈主员发现,这正好对应两代模子各自选拔的 KV Cache 压缩步长。
好嘛,连答题阐扬的转换周期,齐和底层压缩树立对上了。
问题出在 KV Cache 压缩?
那咱就来说说 KV Cache 压缩。
大模子处分长高下文时,需要保存广泛历史 Token 对应的 Key 和 Value 信息,供后续防护力计较使用。
高下文越长,这部分缓存占用的内存和计较支出就越大。
尤其是动辄几十万、上百万 Token 的长任务,KV Cache 很容易成为推理恶果的瓶颈。
是以 DeepSeek-V4 选拔了分块 KV Cache 压缩。
念念路是把聚合的 Token 分红一个个窗口,再将窗口内的信息压缩成更少的缓存条款。
这么模子就无须为每个历史 Token 保留相似范畴的缓存。
既从简内存,也能裁减长高下文防护力计较的老本。
但 Seed 团队发现,DeepSeek 出现神鬼二象性的原因可能就藏在这个分块经由里。
假定每 4 个 Token 组成一个压缩步长。
那么,磨灭条信息出当今窗口里的第 1、第 2、第 3 或第 4 个位置,压缩时所处的条件就可能不同。
论文把这种相干于压缩窗口范围的位置,称为 Phase(相位)。
策划东谈主员发现,模子对不同相位的信息,检索技艺存在系统性各别。
他们把这种表象定名为 Phase Sensitivity,相位明锐性。
打个譬如,相似一份而已交给模子:
第一种排版,要津数字正好落在模子容易保留的位置;
第二种排版,仅仅在前边多加几个字,要津数字相干于压缩窗口的位置变了。
而已照旧那份而已,但模子之后能不行把数字找出来,可能就有显著辞别。
并且,这种问题还不行肤浅归结为"信息刚好被切在两个窗口之间"。
策划东谈主员发现,即使 Key 和 Value 齐落在磨灭个压缩窗口里,不同位置的检索准确率也能进出很大。
这说明问题还触及模子究竟怎样把信息写入压缩缓存,以及之后怎样从缓存中读取。
为了进一步证据,Seed 团队干脆我方从新熟谙了一批模子。
他们以 Qwen3-0.6B 架构为基础,构造了多种 KV Cache 压缩有筹画,并缔造莫得分块压缩的全防护力模子行为对照。
要点只蜕变压缩机制,望望周期性波动会不会随着出现。
为止,统统接收测试的分块压缩模子,齐出现了与压缩步长对应的周期性变化。
反过来,全防护力基线模子莫得出现同等进程的周期性。

策划东谈主员还划分养息了窗口大小和压缩步长,发现周期主要随着压缩步长变化。
步长为 4,阐扬就以约 4 个 Token 为周期转换;
步长为 6,周期也随着变成约 6 个 Token;
步长为 8,相似如斯;
……
致使不使用 RoPE 位置编码,不祥把可学习的压缩权重换成肤浅平均,这种表象仍是存在。
换句话说,问题并不是某个位置编码不祥某个迥殊模块单独酿成的。
分块压缩这种遐想本人,就可能引入周期性的检索缺点。
Seed 团队进一步对防护力头进行干预,不雅察移除不同组件之后,模子在各个相位上的检索技艺怎样变化。
为止发现,不同防护力头对不同相位的孝顺并不一样。
有些头更擅所长分某些位置的信息,另一些头则在其他位置上阐扬更大作用。
策划东谈主员将其称为 Phase Specialization,相位挑升化。
也即是说,模子里面似乎形成了一种单干:不同防护力组件,对压缩窗口里的不同位置产生了偏好。

这种单干可以匡助模子完成信息检索,却也可能让某些位置成为相对薄弱的景象。
论文还通过简化的表面模子分析了熟谙经由,发现梯度流可能鼓励压缩模块形成褂讪的位置偏好。
这也表示了为什么这种周期性并非肤浅的就地噪声。它可能是模子在学习怎样压缩信息时,自可是然形成的为止。

但这类问题无意能从凡俗 Benchmark 里胜利看出来,因为旧例评测频繁会把广泛测试为止汇总成一个平平分。
假定模子在某些位置阐扬很好,在另一些位置显著掉队,终末算出来的平均得益可能仍是可以。
是以 Seed 团队建议,评估选拔分块 KV Cache 压缩的模子时,不行只看合座检索准确率,还得把磨灭条信息放到不同压缩相位上,划分测一遍。
可即便存在这种位置带来的性能偏差,长高下文推理的内存和计较老本摆在那处,压缩仍然有很践诺的价值。
但从简缓存之后,模子对不同位置的信息,可能不再一视同仁。
虽然了,从此次的实验为止看,后熟谙和架构迭代确乎能显著减弱这种差距。
论文地址:https://arxiv.org/pdf/2609.36322
一键三连「点赞」「转发」「谨防心」
接待在批驳区留住你的目的!开云kaiyun
Powered by kai云体育app官方下载app最新版本-kai云体育app官方登录入口 @2013-2022 RSS地图 HTML地图