Ollama 让本地跑大模型从”需要读三篇教程”变成了一条命令:ollama run llama3,就这么简单。它支持 macOS、Linux 和 Windows,自动处理模型量化、GPU 加速和 API 暴露。对于不想把代码发给云端 AI 的开发者,Ollama 是目前最成熟的开源方案。
模型库覆盖 Llama、Mistral、Gemma、Qwen 等几乎所有主流开源模型,搭配 Open WebUI 或 Continue 插件可以达到接近 ChatGPT 的体验——但数据全程留在你的机器上。完全免费开源。跟 LM Studio 比,命令行和 API 设计更适合开发者;跟 vLLM 比,更轻量但推理性能略逊。适合注重隐私的开发者或需要离线 AI 的场景。