ChatGPT每月20美元的订阅费所涵盖的服务,远不止一个简单的聊天窗口。它包括用于重复任务的保存设置、模型推理强度调节、文件上传综合分析,以及对更强模型的访问权限。相比之下,本地模型通常仅作为私有聊天框出售,缺乏上述完整的工作流支持。即便配备8GB显存的显卡,受限于模型尺寸,也难以复现ChatGPT的体验。然而,一款新模型正在打破这一局限。

Bonsai 27B:8GB显存即可运行的270亿参数模型

由加州理工学院研究人员创立的初创公司PrismML于今年7月发布了Bonsai 27B。该模型是阿里巴巴开源模型Qwen 3.6 27B的压缩版本。通过1-bit构建技术,模型每个权重仅占用约1.125位存储空间,而非标准的16位,使其体积缩减至原始模型的十四分之一。这种在训练过程中融入压缩技术的方式,而非后期强行压缩,确保了模型性能。这使得整个模型能够完全装入8GB显存的GPU中,并留出空间将上下文长度提升至30k-40k。

以“预设”替代自定义GPTs

自定义GPTs本质上是ChatGPT的“保存设置”功能,包含指令和参考文件。OpenAI宣布将于12月11日停用该功能,Plus用户已无法创建新的自定义GPTs,“项目”功能成为其最接近的替代方案。

在本地环境中,LM Studio提供的“预设”功能可作为替代方案。预设保存了系统提示词(模型每次对话前读取的固定指令)及采样设置。用户可以调整温度(Temperature)以控制生成的随机性,或使用Min P剔除低概率词汇以保持输出一致性——这些底层参数在ChatGPT中并未向普通用户开放。例如,头脑风暴预设可采用高温度并开启Min P(设为0.05),而严格规则任务则适用低温度。虽然预设无法像GPT那样直接绑定参考文件,需单独附加文档,增加了管理负担,但这已是本地AI的可行解。

思考模式与推理强度调节

ChatGPT Plus提供“即时、中等、高”三档推理强度调节。Bonsai默认开启思考模式,但这会占用宝贵的30k上下文空间并降低响应速度。因此,在处理常规任务时,建议关闭该模式。仅在处理多步推导问题(如计算手机合约长期费用)时开启,此时Bonsai表现最佳。尽管在极高难度问题上,ChatGPT的高推理模式可能仍占优势,但Bonsai的优势在于推理过程完全本地化且透明,不受云端配额限制。

文档处理与图像识别能力

在文件处理方面,LM Studio支持直接将.docx、.pdf和.txt文件拖入聊天窗口。对于长文档,系统会自动检索与问题相关的部分传递给模型,有效利用30k上下文窗口。得益于底层Qwen 3.6架构对长文本的优化,Bonsai在提取文档细节(如日期、金额)方面表现出色,优于参数量更小的9B模型。

图像识别方面,Bonsai搭载独立的4-bit视觉组件。虽然能准确读取截图中的文本,但在处理细微视觉细节时略显不足。总体而言,其在文档理解上的优势弥补了视觉能力的短板。

本地AI的崛起与订阅价值的重估

随着自定义GPTs功能即将下线,本地预设展现出更长的生命周期和可控性。在一块多年前用于游戏的8GB显存显卡上,Bonsai已能覆盖ChatGPT的大部分核心功能。对于许多用户而言,继续支付每月20美元的订阅费已非必需,本地AI方案正成为极具竞争力的替代选择。