AI 导航
Ollama

Ollama

在自己电脑上跑开源模型,一条命令

分类:开发平台 开发方:Ollama 官网:ollama.com 国内使用:需要网络条件
Ollama 官网截图
Ollama 官网首页(ollama.com)

01Ollama 是什么

Ollama 是把「在自己电脑上跑大模型」变简单的工具。装好之后一条命令就能拉模型并启动,接口和 OpenAI 兼容,本地程序直接能接。

它的价值在隐私和离线:数据一行都不出本机。做敏感数据处理、没有网络的设备、或者纯粹不想付 API 费,都用它。

短板是硬件要求。跑小参数模型普通的电脑还行,想跑到接近云端效果得有独立显卡和大显存。效果和云端旗舰模型还是有差距。

02Ollama 能做什么

一条命令启动

拉模型和运行一步完成。

模型库

主流开源模型都有。

本地接口

兼容 OpenAI 协议。

完全离线

不联网也能跑。

免费开源

不收任何费用。

03怎么开始用 Ollama

  1. 先看自己显存8G 能跑小模型,大模型要 24G 起。
  2. 先用小模型试确认流程通了再换大的。
  3. 量化版本更省显存效果会掉一点。
  4. 用本地接口接自己的程序和云端代码几乎一样。

04显存决定你能跑多大

别下完了才发现跑不动。

显存能跑什么
8G7B 量化版,日常够用
16G14B 左右,效果明显好
24G30B 量化版
不足 8G只能跑极小模型,效果有限

05好在哪,差在哪

隐私最好

数据完全不出本机。

零成本

只花电费。

上手最简单

比手工装环境快太多。

用得上
  • 本地隐私处理
  • 离线环境
  • 个人实验
  • 小工具接入
别指望
  • 追求云端旗舰效果
  • 大并发服务
  • 没有独立显卡的电脑
  • 非技术用户

06价格和套餐

版本价格说明
软件免费开源不收费用。
模型免费开源权重。
硬件自理成本是自己的显卡。

软件和模型都免费,成本全在硬件。跑大模型的显卡不便宜。

07谁适合用

敏感数据处理

数据不能出本机。

离线环境

没有网络的设备。

个人实验

试各种开源模型。

内部工具

小型本地助手。

08官网入口

官方入口

ollama.com

前往官网 ↗

官方域名是 ollama.com,开源项目,各平台安装包都能直接下。别从第三方站下载改过的安装包。

10常见问题

Ollama 官网是哪个?

ollama.com,开源项目,装完就能用。

要钱吗?

不要。软件和模型都免费,成本是你的显卡和电费。

多大显存够?

8G 跑得动小参数模型,想跑 30B 以上要 24G 起,满血版要专业卡。

和 LM Studio 怎么选?

Ollama 是命令行,适合接程序;LM Studio 是图形界面,适合手动聊天。