在诳言语模子快速迈向强理才调与复杂期骗场景的过程中佛山钢绞线价格，“险峻文长度”仍是从个模子建设参数，演变为制约系统才调上限的要津瓶颈。

面，长文档透露、跨轮对话回首、复杂磋商与长链式理等任务，对模子建议了远传统 4k 或 8k 序列长度的需求；另面，主流 Transformer 架构中基于全珍眼力机制的贪图模式，在序列长度增万古弗成避地带来平的时期与显存支出，使得“支抓长险峻文”在现实工程中赶紧转念为难以承受的本钱问题。

围绕这矛盾，寥落珍眼力险些成为学术界与工业界的共鸣向，但随之而来的，并不是问题的管制，而是系列新的结构张力。

往时数年中，遍及职责尝试通过引入新的珍眼力结构、路由机制或可试验寥落模块来缓解贪图压力。这些法在表面复杂度或特定评测上时时推崇出，但在确切模子试验与部署历程中，却徐徐暴败露个被经久低估的问题：现时诳言语模子险些例外罢职“短序列预试验、长序列微调”的试验范式，而些修改模子架构的寥落珍眼力案举例NSA，在结构、参数或输出神色上与表率 dense attention 存在显耀不合王人。

恰是在这布景下，清华大学刘知远团队建议了《InfLLM-V2: Dense-Sparse Switchable Attention for Seamless Short-to-Long Adaptation》。与以往强调“引入新结构”或“增多可试验模块”的旅途不同，这项筹商将眷注点前移至个基础的问题：寥落珍眼力是否须以改变模子结构为代价，才能取得长险峻文率？

为此筹商团队建议了种 dense–sparse 可切换的珍眼力框架，试图在以原有 dense attention 参数行动肇端点，保抓输出神色不变，作念到瑕瑜文本可同期试验，且能地完了从短险峻文到长险峻文的平滑过渡。

值得提的是，这项职责并未将放在单磋商的培育上，而是系统地从能保抓、试验雄厚以及端到端理率三个层面，对这假想念念路进行了考证，从而为长险峻文诳言语模子的筹商与工程执行提供了条不同于以往的时期阶梯。

论文地址：https://arxiv.org/pdf/2509.24663

次「是否真可用」的实验酬报

举座来看，筹商的实验假想并非浅显地考证“InfLLM-V2 是否有”，而是围绕三个逐层递进的中枢问题伸开：，在长险峻文任务中，该法的能是否大约贴近甚而匹配全珍眼力机制；二，在“短序列预试验 → 长序列微调”的确切试验范式下，该法是否会碎裂模子原有才调；三，在齐备理历程中，寥落珍眼力带来的贪图加快是否大约转念为端到端的施行收益。

围绕个问题，筹商团队评测了多种长输入透露任务。在 32k 长度的 RULER 基准上，InfLLM-V2（Sparse）在大多数子任务中的推崇险些与 Full Attention 重，而试验后寥落法（如 InfLLM、MInference）在部分任务上出现彰着能断崖，可试验寥落珍眼力法 NSA 在短序列到长序列搬动的设定下也显耀过时。

这终结标明，InfLLM-V2 的寥落战术并未碎裂跨块的长距离依赖建模才调，而其他法要么在 block 取舍阶段失，要么对原有珍眼力分散变成了显耀扰动。

在贴近确切期骗场景的 LongBench 基准上，这趋势推崇得加彰着。由于 LongBench 隐秘问答、摘记、理以及多话语等多种确切任务，其举座难度于成数据集，但 InfLLM-V2（Sparse）的举座得分依然达到甚而稍稍过 Full Attention。雷峰网

比拟之下佛山钢绞线价格，NSA 的能彰着低于全珍眼力，而仅依赖长度外的 SHORT+YaRN 限定出现了大幅能退化。筹商东谈主员卓越不雅察到，InfLLM-V2 的 dense / sparse 可切换机制在部分任务中反而缩小了珍眼力噪声，从而使模子输出加雄厚。

在 LongPPL 这用于臆测长序列话语建模才调的困惑度评测中，InfLLM-V2 的推崇与 Full Attention 基本致，而 NSA 的困惑度显耀。这终结阐扬，NSA 在短到长搬动试验后并未确切学会建模长程话语分散，其较低的试验 loss 并未转念为有的长序列建模才调。

围绕二个问题，筹商团队还系统评估了长链式理任务，包括 MATH-500、AIME 以及 LiveCodeBench。这类任务的共同特质在于输出序列较长，且中间理神态度依赖早期险峻文信息。

实验终结自满，InfLLM-V2（Sparse）在这些任务上的推崇与 Full Attention 险些抓平，而 NSA 在所有这个词联系任务中均出现了彰着的能下跌。这径直标明，InfLLM-V2 所取舍的寥落珍眼力机制不会碎裂链式念念维理过程中所需的“念念维一语气”。

此外，筹商东谈主员还考证了个在工程执行中尤为要津但常被刻薄的问题：在完成长险峻文微调之后，模子是否仍大约胜任成例短序列任务。在 MMLU、CEval、HumanEval 等评测中，InfLLM-V2 切回 dense 模式后依然保抓了与 Full Attention 相等的能，而 NSA 则出现了彰着退化。这终结从工程角度标明，InfLLM-V2 不会在适配长险峻文才调的过程中碎裂模子原有的通用才调。

后，针对三个问题，筹商团队不仅评估了 attention kernel 层面的表面加快果，还在齐备理历程中测量了 prefilling（TTFT）和 decoding（TPOT）的端到端率。

在可见 token 数为 6k（|I|=96）的成立下，InfLLM-V2 完了了约 2.1× 的 prefilling 加快和 2.3× 的 decoding 加快，况兼这终结是在前馈网罗（FFN）部分未进行化的前提下取得的，卓越阐扬该寥落珍眼力假想在确切理场景中具有切实可落地的加快价值。

从结构取舍到系统化

终结以外，这项筹商的实验施行上酬报了个根底的问题：为什么 InfLLM-V2 的实验终结并非“随机跑出来的”，而是其假想逻辑在齐备试验历程中被系统考证的然终结。

筹商团队先指出，现实寰球中险些所有这个词诳言语模子都罢职“短序列预试验、长序列微调”的通行范式，因此，任何寥落珍眼力案要是在这过程中大幅改变参数结构、调遣 attention 的输出神色，都会径直毁伤模子在短序列阶段仍是学到的暗意才调。

基于这现实拘谨，筹商东谈主员明确设定了 InfLLM-V2 的中枢实验前提：在从 dense attention 过渡到 sparse attention 的过程中，钢绞线厂家须保证已有 dense attention 的抒发才调不被碎裂。

在具体试验历程上，筹商团队先取舍表率的 Transformer 架构对模子进行短序列预试验，模子限制为 8B 参数，使用 GQA 结构，序列长度为 4k。这阶段未引入任何 InfLLM-V2 联系的寥落机制，确保模子才调开导在传统全珍眼力的基础之上。雷峰网

随后，在参加长险峻文试验阶段时，模子里面仅发生了三项要津变化：当序列长渡过预设阈值时，attention mask 由粘稠神色切换为寥落神色；Key 与 Value 的投影参数被齐备复用，不引入新的参数分支；attention 的输出神色长期保抓为 single-output 结构，不使用 gating，也不存在多路 attention 输出的聚。

恰是这种“小结构扰动”的切换式，使 InfLLM-V2 大约在适配长险峻文的同期，大限度保留原有模子才调佛山钢绞线价格，这也组成了其与 NSA 等可试验寥落珍眼力法的实质各异。

联系实验卓越考证了个具有反直观意味的论断：可试验的寥落 attention 并否则适短到长的搬动试验。筹商东谈主员的分析标明，NSA 在该设定下的能问题并非源自寥落机制自身，而是由于其引入了三套 Key–Value 投影、多路 attention 输出以及基于 gating 的终结聚结构。

这些迥殊模块在短序列阶段不仅带来冗余贪图支出，还会显耀改变珍眼力分散形态，从而对模子已学到的暗意变成插手。在实验终结中，这问题具体推崇为试验 loss 弧线出现彰着触动、长序列困惑度（LongPPL）显耀升，以及长链式理任务能的系统下跌。

在工程完了层面，筹商团队还通过卓越的消融分析定位了 InfLLM-V2 的主要能瓶颈，发现其鸠集在 block selection 阶段，尤其是 compression attention 的贪图以及 attention score 的显式蚀本过程。针对这问题，筹商东谈主员在实验中引入了 head-group fusion 和 LSE Approximation 等化战术。

实验终结标明，这些更正在险些不影响模子能的前提下，不错将 block selection 的贪图时期缩小约 20–30，从而为后续端到端理加快实验中不雅察到的显耀能培育奠定了要津基础。

可「热升」的长险峻案牍

从筹商兴致的角度来看，这项筹商对“长险峻文诳言语模子”这向给出了具有法讲价值的启示。

筹商团队明确指出，寥落珍眼力机制改日的发展并不在于假想全新的珍眼力结构，而在于如安在不碎裂既有 dense attention 结构的前提下完了的寥落化，这不雅点在定进度上改变了此前以“结构鼎新”为主的筹商范式。

在工程执行层面，InfLLM-V2 所具备的系列特赶巧契确切工业部署的中枢需求，包括需调遣模子参数限制、需爱戴多套模子版块、不会殉难短序列任务能，且不依赖再行进行大限制预试验。这意味着，个仍是部署或试验完成的现存诳言语模子，不错在小代价下被“热升”为具备长险峻文处理才调的模子。

在此基础上，筹商东谈主员也为后续职责隐含地规矩了多少遑急拘谨：先，应避引入迥殊的 attention 分支，以碎裂原有结构的致；其次，不应取舍与 dense attention 输出神色不兼容的假想，否则将致短到长搬动过程中的才调损失；后，寥落珍眼力的假想须充分辩论底层贪图完了与 kernel 特，而不仅停留在意见层面的结构雅。

恰是由于该筹商将试验范式、模子结构假想以及 CUDA 完了细节进行了统考量，并系统地解说了以往寥落珍眼力法在确切试验与理历程中失败的原因，才使其不仅停留在法层面的建议，而大约卓越撑抓施行模子的试验与落地期骗，这亦然筹商团队大约基于该框架径直产出 MiniCPM-4.1 等模子的遑急原因。

InfLLM-V2 主要作家

赵威霖，他是清华大学贪图机科学与时期系实验室（THUNLP）的博士筹商生，筹商向聚焦于诳言语模子。

他的筹商主要围绕模子理与试验加快伸开，眷注点并非单纯引入新的模子结构，而是如安在不碎裂表率 Transformer 抒发才调与既有模子能的前提下，完了对种种场景的有适配与工程加快。

除学术筹商外，他还经久参与 OpenBMB、MiniCPM 等开源式样，在能 attention kernel、理化与系统收形式承担要津工程职责，其筹商解泄气表于 ICLR、ACL、EMNLP 等主流会议。

参考衔接：https://weilin-zhao.com

刘知远，他是清华大学贪图机科学与时期系教训、博士生师，兼任汉文信息学会理事、社会媒体处理委会主任等学术职务。

刘知远隔离于 2006 年、 2011 年于清华大学贪图机科学与时期系取得学士、博士学位，并在清华大学开展博士后筹商，后留校任教。其主要筹商向包括大模子时期、当然话语处理、常识图谱与语义贪图以及社司帐算等中枢域。

刘知远在主流学术会议和期刊（如Nature Machine Intelligence、ACL、EMNLP、IJCAI 和 AAAI）上发表了 200 余篇论文，其 Google Scholar 援用量过7万次，响应出普通的学术影响力。

他在多项国科研式样中担任庄重东谈主或主要参与者，曾获训诲部当然科学等、汉文信息学会钱伟长汉文信息处理科学时期等、寰球互联网先科技终结、北京市后生教学名师等多项科研励，并入选包括国后生东谈主才规划、Elsevier 被引学者、《麻省理工科技批驳》区“35 岁以下科技鼎新 35 东谈主榜单”及科协后生东谈主才托举工程等东谈主才式样。

参考地址：https://nlp.csai.tsinghua.edu.cn/~lzy/zh.html

韩旭，他是清华大学贪图机科学与时期系助理筹商员，亦然大模子开源社区 OpenBMB 的中枢发起东谈主与经久庄重东谈主之。

韩旭经久从事大模子时期、当然话语处理、常识工程等面的筹商，部分筹商也波及并行贪图、异构系统化等向，在顶学术会议及期刊发表论文数十篇，Google Scholar 他引 1.6 万余次，曾获训诲部当然科学等、寰球互联网大会先科技，并入选贪图机学会（CCF）博激勉规划、清华秀博士后、《麻省理工科技批驳》区“35 岁以下科技鼎新 35 东谈主榜单”、及博士后鼎新东谈主才支抓规划。

参考衔接：https://www.cs.tsinghua.edu.cn/info/1114/6422.htm

肖朝军，他是清华大学贪图机系博士后，主要筹商向为大模子架构，在Nature Machine Intelligence、ICML、NeurIPS、ICLR、ACL等顶会议及期刊发表论文多篇，曾获钱伟长汉文信息处理科学时期等，博士后鼎新东谈主才支抓规划，清华大学水木学者，清华大学秀博士论文等荣誉。

参考衔接：https://xcjthu.github.io/