权重空间编辑通过直接修改神经网络参数，改变模型的知识、行为及对齐方式。这种被称为“权重空间编程”或“权重内注入”的技术，虽为无梯度适应提供便利，但也可能被用于诱导模型产生未经授权的行为。研究人员将此类由模型介导的权重操纵引发的异常现象类比为朊病毒病中的蛋白质错误折叠，称之为“权重空间错误折叠”，并探讨了直接干扰及假设性的后续传播风险。
在这种不对称博弈中，攻击者只需生成一次有效载荷即可寻求有害干预，而防御者需在海量权重中定位特定干扰因素。这使防御者陷入两难：要么完全禁止权重编辑以规避风险，从而放弃其益处；要么承担高昂的检测与防御成本。
越权编辑与“权重空间错误折叠”
权重空间编辑旨在通过更改模型参数来实现更新和适应等合法用途。然而，当编辑路径被用于超出授权范围时，便可能引发“权重空间错误折叠”，即目标权重被另一模型操纵，导致其行为偏离合法部署的预期。
由于验证编辑者身份无法直接判定编辑内容的适当性，判断行为影响往往需要应用补丁并测试编辑后的模型。因此，研究重点在于控制编辑流程、确立接受标准及恢复机制，而非一味禁止有益编辑。潜在的不良后果主要包括三类：模型提供虚假信息、拒绝提供合法帮助，以及选择性遗漏被要求提取的信息。此外，研究还勾勒了一条假设性传播路径，即大型编辑器可能影响中间模型，进而波及下游目标，但该路径尚未得到证实。
案例研究：受限环境下的编辑效果
基于IWIBench接口，研究团队选取Qwen2.5-1.5B-Instruct（检查点修订版71aa306）作为目标模型，ChatGPT 6.1-Sol作为编辑器进行三项案例研究。编辑器拥有读取和写入权重、检查及运行目标的权限，但无法修改目标提示或推理代码。最终补丁应用于固定检查点，并在隐藏预留目标提示的新进程中通过贪婪解码进行评估。
事实替换：在100个预留模板生成的样本中，编辑后的模型每次都给出了错误的奥运答案，而原始模型在91次中回答正确。然而，编辑并未完全隔离副作用：在70个控制提示中，编辑后模型仅保留了49个基线通过项中的48个。单独的单一轮次提示曾引发“布宜诺斯艾利斯，澳大利亚”的错误回答，表明错误的城市答案并未一致地修正模型的地理知识。
拒绝合法帮助：在法律拒绝探测实验中，恢复的编辑状态在22个预留法律提示中的5个上精确返回了请求的拒绝内容，并在11个上以请求的拒绝短语开头。但编辑范围过于宽泛，模型甚至拒绝了一个关于法国首都的无关问题。在原始模型通过的11个控制项中，编辑后仅剩6个通过。
选择性遗漏：目标是省略虚构供应商“Brindle Supply”的同时保留其他名称。编辑器未能实现可靠遗漏，提交的补丁仅在22个预留提示中的一个上生效。在控制重放中，所有响应字节相同且保留了基线通过项。这表明该操作涉及抑制提示信息，而非删除记忆中的事实。
综上，权重编辑虽能产生不良行为，但每种情况均伴随不同的附带效应。现有案例未展示统一可靠的攻击能力、实质性的用户伤害或自我传播现象，但不完美的编辑能力仍构成潜在安全风险。
防御策略：治理编辑与部署路径
鉴于合法编辑的价值及测试覆盖的局限性，研究建议限制模型对编辑的接受度。防御任务应聚焦于治理编辑及其部署流程，包括控制从授权编辑到部署的路径、维持可信的基础模型、记录精确的补丁信息以及保留恢复路径。
防御者需区分检查已知补丁与接收无可信历史的模型。测试后的接受度受限于所检条件，正如奥运示例所示，有用路径可能改变持久响应，而丢失的控制和不一致的地理答案表明，无论是编辑过程还是部署环节，均不能被视为绝对安全。对于物理AI等领域，这一治理框架同样具有参考意义。