🐋本地部署大模型

约 240 字小于 1 分钟

OllamaOpen WebUIDeepSeek

2025-01-31

概述

在 Windows 本地部署大语言模型的技术栈：

Ollama：简化 LLM 部署与运行，支持 Llama、Mistral、DeepSeek 等模型
Open WebUI：自托管 WebUI，提供交互界面，支持 Markdown/LaTeX 渲染及 RAG 集成

Ollama 负责模型运行，Open WebUI 负责交互界面。

部署流程

下载并安装 Ollama
pip 安装 Open WebUI
终端执行 open-webui serve
访问 localhost:8080

Ollama

Ollama Download

Open WebUI

在 PyCharm 终端中安装：

official

pip install open-webui

aliyun

pip install -i https://mirrors.aliyun.com/pypi/simple/ open-webui

tsinghua

pip install -i https://mirrors.tuna.tsinghua.edu.cn/pypi/web/simple open-webui

PyCharm 运行配置

Execute: Script text
Script text: open-webui serve
Working directory: E:/PYCHARM/Ollama
Interpreter path: powershell.exe
勾选 Execute in the terminal