128 字
1 分钟
如何本地部署大模型
LLM如何在你的计算机通过显卡本地运行?而且不联网。

安装 Ollama#

打开终端,通过 winget 安装 Ollama 引擎:

winget install ollama

下载模型#

打开 Ollama 网站,选择一个你想要的模型:

然后选择模型的参数量,参数量越大越聪明,但所需配置也需要更高:

安装和运行模型#

选择完成后,复制并运行右边的命令,例如这样:

ollama run deepseek-r1:1.5b

等待安装,安装完成后就可以使用了。如果以后还想继续使用,只需输入同样的命令。

如何本地部署大模型
https://pinpe.top/posts/local-llm/
作者
Pinpe
发布于
2025-03-08
许可协议
CC BY-NC-SA 4.0