
开发者 Leonardo Alegría 推出的开源项目 Garlic LLM,成功让一台破解版 PS4 在其 2013 年款的 GPU 上离线运行拥有 90 亿参数的 Qwen3.5-9B AI 模型。该应用直接与 GPU 通信,将模型压缩至约 4.5GiB 以适配主机内存,文本生成速度达到每秒 31 到 39 个 token。
技术实现与架构
Garlic LLM 得名于 GPU 直接读取的“Garlic”显存类型(另一种为“Onion”),依赖于运行 GoldHEN 自制软件启用器的已越狱 PS4。该项目在固件版本 11.52 的基础版及 Slim 版 PS4 上完成测试,提供大小为 5.66GB 的单一安装包,可在 Hugging Face 获取,通过 PS4 Package Installer 安装需约 6GB 可用空间,若先复制至内部磁盘则需 12GB。
与在 PS5 上通过 Vulkan 端口运行 llama.cpp 的方案不同,PS4 缺乏供自制软件使用的驱动程序层。Garlic LLM 不使用 llama.cpp 或 Vulkan,而是通过 OpenCL C 编写计算内核处理矩阵乘法,并利用 LLVM 编译以适配 AMD 的 Graphics Core Next (GCN) 架构。权重存储于“Garlic”显存中,CPU 端则使用纯 C 语言处理分词、接口、文本渲染及音频。整个系统基于开源的 OpenOrbis PS4 工具链构建。
内存优化与性能表现
为解决 8GB 共享内存限制,项目采用 4 位(Q4)权重量化,并将每层最大两个矩阵的权重进一步压缩至约 3.5 位(Q3),结合 4 位注意力机制(KV 缓存),将模型大小降至约 4.5GiB,支持 16K token 上下文。加上 Parakeet 听写模型及 Chatterbox 语音模型,总占用约 5.23GiB,与安装包大小吻合。
性能方面,Garlic LLM 利用 Qwen3.5 的多 token 预测(MTP)头进行推测性解码,提前起草最多两个 token 并由完整模型验证。这一机制显著提升了在老旧硬件上的运行效率,代码生成速度最高可达每秒 43 个 token。在默认温度 0.7 设置下,生成 300 个 token 的回答仅需不到九秒。相比之下,PS5 运行三倍大小的 Qwen3.8-27B 模型速度约为每秒 20 个 token。
功能特性与兼容性
该模型具备多模态交互能力,支持七种语言的语音回复,并通过 Nvidia 的 Parakeet TDT 0.6B v3 模型支持 25 种欧洲语言的语音转文字听写。用户按住控制器按钮即可触发听写功能。
目前,PS4 Pro 尚未进行测试,开发者正通过 GitHub 征集用户反馈。由于应用专为 PS4 GPU 及系统软件编写,不支持 PS5。需注意,应用程序本身不包含漏洞利用程序,安装 GoldHEN 的风险由用户自行承担。