本周，一份提交至 arXiv 的预印本提出了一种对语言模型主干架构的根本性重构：以分层图神经网络（GNN）取代 Transformer 核心的自注意力机制。该架构名为 GTFormer，由伦敦米德尔塞克斯大学研究员伊丽莎白·芬克（Elisabeth Fink）于 10 月 27 日发布。GTFormer 的核心突破在于实现了线性的时间与内存扩展能力。在无需任何微调的情况下，该模型能将上下文窗口从训练的 512 个 token 零样本外推至超过 400 万个 token（4,194,304）。若结果经得起重复验证，这将是长上下文泛化领域最具颠覆性的演示之一。Transformer 模型在长上下文扩展上长期面临两大瓶颈：计算成本的二次方增长与长度泛化失败。标准自注意力机制需计算序列中每个 token 与其他所有 token 的相似度，导致计算和内存随序列长度呈二次方激增。此外，即便算力充足，Transformer 在处理超出训练长度的序列时，常出现“分布外注意力崩溃”。现有的旋转位置嵌入（RoPE）等技术仅能部分缓解，无法根除这一缺陷。GTFormer 并未修补注意力机制，而是彻底将其移除，转而采用神经消息传递在结构化图中传播信息。GTFormer 将 token 序列视为结构化图中的节点，通过五个关键组件构建层次结构：平衡二叉归约树、水平边界桥接移位边、随机扩张捷径、多通道凸高速门控、自顶向下广播。关键在于，GTFormer 以结构性方式编码位置——token 在二叉树中的角色由其序列索引决定，无需额外位置编码。这使得模型权重可直接迁移至任意长度序列，实现零样本外推。在八个长上下文基准测试中，仅在 512 token 序列上训练的 GTFormer，在高达 400 万 token 的评估中保持了近乎完美的准确率，而标准 Transformer 基线则因内存耗尽或注意力崩溃而失效。在 Wikitext-103 和 C4 等短上下文语言建模任务中，GTFormer 达到了与同等规模 Transformer 相当的困惑度，证明其未牺牲通用语言理解能力。更重要的是，整个 400 万 token 的评估可在单个商用 GPU 上完成，打破了百万级上下文推理通常依赖多 GPU 集群的限制。尽管前景诱人，但作为一份单作者预印本，GTFormer 仍面临多项待验证挑战：训练规模目前仅在极短序列上训练；自回归生成方面论文侧重于编码器式理解任务；未与 Mamba、RWKV 等当前高效的混合架构进行直接对比；需要拥有更大计算预算的研究团队进行独立复现。GTFormer 的提出恰逢 AI 行业向智能体（Agentic AI）转型的关键期。长推理链和多轮会话导致上下文累积至数百万 token，标准注意力的二次方成本已成为直接的运营约束。GTFormer 通过 O(N) 的内存界限，消除了 KV 缓存随序列长度爆炸式增长的问题。对于需要在恒定时间和内存下处理任意长上下文的基础设施而言，这种架构若能成熟落地，将极具价值。