Ollama官网

Ollama 是在自己电脑上跑大模型的工具,一条命令就能把模型拉下来启动,环境配置、依赖安装这些麻烦事它都替你处理了。想在自己机器上试试本地模型,它是最省事的入口。 它支持 Llama、Qwen、DeepSeek 等一堆开源模型,还能接自己的微调模型。跑起来后可以命令行对话,也能开 API 接口给别的程序调用。 对显卡和内存有要求,7B 左右的模型 8G 显存能跑,更大的就得看配置了。国内下载模型慢的话,可以配镜像源。 本地跑模型前先确认自己的硬件:7B 模型大概要 8G 显存,13B 起步要 16G,再大就得有专业卡了。第一次拉模型会下载几个 G,网速慢的话耐心等或者配置镜像源。

相关推荐