
2026年以来,本地大语言模型(LLM)实验成为每周常态。尽管“本地优先”策略在数据隐私和成本控制上优势明显,但单一模型难以在深度研究、编码和图像生成三大领域同时达到顶尖水平,这曾是本地AI抗衡云端服务的主要短板。
然而,通过组合专用模型而非依赖单一全能选手,这一局限已被打破。基于RTX 4070 Ti Super显卡和Ryzen 5 7600X处理器的硬件环境,一套由三位“专家”组成的本地AI工作流应运而生,在无需支付任何云订阅费用的前提下,实现了代码编写、深度研究和图像生成的高效协同。
BigBang-v1:搜索引擎的智能进化
BigBang-v1是基于Qwen3.6-35B-A3B微调的变体模型,采用Apache 2.0许可证。其核心优势在于BrowseComp基准测试中高达76.5的得分,该指标专门评估模型从网络深处挖掘稀缺信息的能力。得益于Qwen3.6-35B-A3B的混合专家(MoE)架构,每激活一个token仅调用350亿参数中的30亿,使其在本地硬件上的推理速度远超阅读速度。
针对19.3GB的IQ4_XS量化权重超出显存的问题,通过--n-cpu-moe标志将约7GB的专家部分卸载至系统内存,即便在128K上下文窗口下,仍能保持每秒68至78个token的生成速度。结合MCP协议连接的Exa搜索引擎,该模型展现出惊人的实时检索能力:在处理涉及Windows 11 26H2最新已知问题的查询时,仅经五次搜索便准确捕捉到微软确认的所有问题,并提供正确的日期和KB编号,展现了超越训练截止日期的信息获取能力。
FLUX 3 Image Klein:无限制的图像生成方案
作为本地AI栈中参数量最小(56亿)的模型,FLUX 3 Image Klein却能高效完成图像的生成与编辑。其蒸馏版本在ComfyUI中仅需16步即可完成出图。值得注意的是,该模型遵循FLUX Kommunity许可证,允许非商业用途,并在满足特定条件下允许年收入低于500万美元的个人进行商业使用。
该工作流需要额外两个模型支持:一个9B的Qwen3.5模型作为提示词扩展器,以及一个4B的Qwen3-VL模型作为文本编码器。三者均采用INT8构建,由ComfyUI按需加载至显存。在RTX 4070 Ti Super上,生成一张1024x1024图像的平均耗时约为16秒,其中采样仅占4秒,其余时间主要用于提示词扩写。这种完全本地的运行方式消除了云端服务的使用限制和水印困扰,尽管ComfyUI的操作门槛对新手仍具挑战,但其对生成内容的完全掌控力使其物超所值。
Qwen3.8-27B:以速度换取代码质量
在编码领域,Qwen3.8-27B凭借在SWE-bench Pro上61.7的得分(高于BigBang-v1的54.2分),成为首选模型。尽管两者均为自我报告分数,但实际体验中Qwen3.8-27B的代码生成质量更优。
作为密集模型,Qwen3.8-27B在每个token生成时均需动用全部270亿参数,无法像MoE模型那样通过卸载部分专家来优化显存占用。为解决显存瓶颈,采用Unsloth的UD-IQ4_XS量化版本(14.3GB),使权重完全驻留显存。然而,32K上下文窗口的缓存需额外占用约2GB空间,导致llama.cpp自动将64层中的6层移回系统内存,生成速度降至每秒15至17个token。对于日常娱乐级Pygame项目开发而言,这一速度尚可接受,代码质量的提升足以弥补推理速度的损失。
这套全免费的模型组合,不仅让原本用于1440p游戏的GPU发挥出更大价值,更展示了本地AI工作流的灵活性。随着本地AI生态的快速迭代,未来几周内这些模型可能被更先进的版本取代,但无需订阅费的本地算力红利将持续释放。