
借助 Unsloth 搭配 Qwen 或 Inkling 模型,用户可在个人电脑上免费部署私有大语言模型。该方案不仅保障数据隐私,还可通过局域网实现家庭多设备共享,无需订阅服务或复杂的命令行操作。
硬件门槛与核心组件
本地运行 AI 的核心在于图形处理器(GPU)及其显存(VRAM)。本教程以配备 32GB 显存的 RTX 5090 为例,但不同显存容量对应不同的模型选择策略。所需软件仅为 Unsloth Desktop,这是一款提供免费聊天界面的应用,可自动处理 Python 环境及依赖项,从官网即可获取。
显存匹配与量化技术
模型的选择取决于显卡显存大小。消费级硬件通常难以容纳完整版大模型(如 56GB 的 Qwen),因此需采用“量化”技术。量化通过压缩权重、降低精度来减小模型体积,以牺牲少量准确性换取在 GPU 上的可行性和更快的推理速度。
以下是不同显存配置的推荐方案:
- 小型(8-12GB 显存):适合 RTX 5060/3060 等。推荐 Qwen3.5-9B 或 Gemma 4 12B,采用 UD-Q4_K_S/Q4_K_M 量化,支持 8K-16K 上下文。
- 中型(16GB 显存):适合 RTX 5060 Ti/5070 Ti 等。推荐 Qwen3-14B 或 gpt-oss-20b,采用 Q4_K_M/Q5_K_M 量化,支持 16K-32K 上下文。
- 大型(24GB 显存):适合 RTX 3090/4090 等。推荐 Qwen3-Coder-30B、Gemma 4 26B/31B 或 Inkling 2 Mini,采用 UD-Q4_K_M/Q4_K_S 量化,支持 16K-32K 上下文。
- 超大型(32GB+ 显存):适合 RTX 5090 或专业卡。推荐 Qwen3.8-27B、Inkling 2 Mini 或 Qwen3.6-35B,采用 UD-Q4_K_XL/Q6_K 量化,支持 64K-128K+ 上下文。
用户可使用 GPUPartner 的 VRAM 计算器进行精确估算。对于 RTX 5090 用户,选择 4-bit 量化的 Qwen3.8-27B 可在保证性能的同时,预留充足空间用于长上下文窗口。
Inkling 2 系列模型适配性
Thinking Machines Lab 于 2026 年 11 月 17 日发布的 Inkling 2 Mini(264 亿参数)可在 RTX 5090 上流畅运行。其 UD-Q4_K_XL 版本文件大小为 17.6 GB,与 Qwen3.8-27B 相近,在 32GB 显存下仍余约 14GB 用于上下文处理。需注意,Inkling 2 Small 拥有 5940 亿参数,最小文件达 171.7 GB,仅适用于具备统一内存的高端设备(如 Mac Studio 或 DGX Station),普通消费级显卡无法承载。
Mac 用户得益于统一内存架构,可运行更大模型,但需下载专为 Apple Silicon 定制的 MLX 版本。
三步部署指南
第一步:安装 Unsloth Desktop
下载并安装 Unsloth Desktop。相比 LM Studio 等其他工具,Unsloth 界面简洁且无订阅推销,社区反馈良好。
第二步:下载量化模型
启动软件后,在左上角下拉菜单中选择模型。以 Qwen3.8-27B 为例,推荐选择 UD-Q4_K_XL 版本。该版本在保持接近完整模型性能的同时,不会占满显存。
第三步:配置上下文大小
点击模型右侧齿轮图标,手动设置上下文大小。建议初始设置为 128K(未量化状态下的参考值),并根据实际显存占用进行调整。配置完成后,即可在软件内直接对话。
局域网共享设置
Unsloth Desktop 内置局域网(LAN)共享功能。进入设置页面的“Remote & LAN”选项卡,设置远程密码后点击“Start”启动 LAN 访问。系统将生成一个地址,家庭网络内的其他设备只需在浏览器中打开该地址,输入用户名“unsloth”及设定的密码,即可通过网页界面使用本地 AI 模型。
需注意,主机电脑必须保持开机且 Unsloth 处于运行状态,其他设备方可访问。目前该设置仅限于本地网络,互联网远程访问需额外配置隧道技术或智能代理,将在后续指南中探讨。