Ollama 是一款基于 MIT 许可证的开源平台，允许用户在 macOS、Linux 和 Windows 上本地下载、管理及运行 Llama 4、Qwen 3、Gemma 3、Phi-4、DeepSeek-R1 和 Mistral 等大型语言模型（LLMs）。该工具旨在让用户摆脱对云服务的依赖，实现数据的本地化处理。

核心特性与使用须知

离线运行与联网需求：仅在下载模型、访问云端托管模型或使用在线集成服务时需要互联网连接。安装完成后，模型可完全离线运行，无需将提示词或响应发送至云端服务器。

自定义支持：支持通过 GGUF 格式加载自定义模型，并允许用户利用 Modelfile 调整提示词和参数。

主要优势：

  • 本地优先且轻量：通过简单的命令行界面（CLI）即可安装和运行大语言模型（如执行 ollama run <model-name>），充分利用本地 CPU/GPU 资源。
  • 开发者友好：与 Docker、REST API 以及 Python 和 JavaScript 库无缝集成。
  • 高度可定制：支持调整参数、设置系统消息，并导入自定义的 GGUF/Safetensors 模型。

最新更新内容

  • 新增对 Ripple Preview 的支持，这是一款专为代理式编码设计的 65B 参数模型。
  • 在 Apple Silicon 芯片上，将 Qwen3.8 Flash Next 的内存占用降低了约 27 GiB。
  • 通过 ollama launch claude 改善了 Claude Code 的集成体验。
  • 当云端模型被退役时，提供更清晰的提示信息。
  • 提升了对 OpenAI Responses API 的兼容性。
  • 为 ARM 架构的 Windows 系统增加了 CUDA 13.5 支持。
  • 更新了 llama.cpp 组件。

系统要求

平台与操作系统

  • macOS：Big Sur (11) 或更高版本
  • Linux：Ubuntu 18.04 / 20.04 / 22.04 或更高版本
  • Windows：通过原生安装程序或 WSL 2 获得完整支持

硬件配置

  • CPU：最低要求支持 AVX2 的现代 x86-64 CPU（Intel/AMD）；推荐第 11 代 Intel 或 AMD Zen 4 架构处理器（具备 AVX512 指令集），最好配备 DDR5 内存。
  • 内存 (RAM)：最低 8GB，推荐 16GB。
  • GPU（可选）：虽非必需，但能大幅加速推理过程。对于 7B–13B 参数量的模型，建议使用拥有 8GB VRAM 的 Nvidia 或 AMD GPU。

大型模型显存需求

  • 30B 参数模型：需 16 GB VRAM
  • 65B 参数模型：需 32 GB VRAM
  • 超大型模型（70B+）：需 48 GB 或更多 VRAM，可能需要多 GPU 配置