企业私有大模型知识库落地：Ollama+Dify 本地化部署与API联调

1. 背景与企业痛点

随着大语言模型（LLM）的爆发，几乎所有企业都希望接入 AI 来赋能业务（如智能客服、内部技术文档问答、代码审查）。然而，中小企业面临着极其矛盾的痛点：
1. 数据隐私合规红线：内部核心代码、财务报表、运维架构图绝对不能上传至公网（如 ChatGPT / 文心一言）。
2. 算力预算吃紧：买不起昂贵的 A100/H800 集群，缺乏专业的 AI 算法工程师。
3. 大模型自身有“幻觉”：通用的开源大模型根本不知道企业内部的规章制度或私有网络拓扑，回答毫无参考价值。

本文将演示一套纯本地化、零代码的私有 AI 架构方案：利用 Ollama 运行本地量化开源模型，结合 Dify (或 FastGPT) 搭建 RAG（检索增强生成）知识库引擎，让企业在几台消费级显卡服务器上低成本跑起智能中枢。

2. 架构设计与选型

模型推理层（Ollama）：极其轻量的本地 LLM 运行容器。我们选取阿里云开源的 Qwen2-7B-Instruct 量化版（仅需 6GB 显存，一张 RTX 3060/4060 即可流畅运行）。
知识库大脑层（Dify）：基于 Docker Compose 一键部署的 LLMOps 平台，负责将企业 PDF/Word/Markdown 文档进行向量化切片存储（基于 PostgreSQL + pgvector），并在提问时提供向量检索（RAG）。
系统要求：Ubuntu 22.04，单张 NVIDIA 显卡（VRAM 8GB+），已安装 NVIDIA Driver 及 Docker 环境。

3. Ollama 部署与 Qwen2 模型下载

3.1 一键安装 Ollama

# 官方一键安装脚本
curl -fsSL https://ollama.com/install.sh | sh

修改 Ollama 的 Systemd 配置，使其监听 0.0.0.0，允许同局域网的 Dify 调用：

sudo sed -i '/Service/a Environment="OLLAMA_HOST=0.0.0.0:11434"' /etc/systemd/system/ollama.service
sudo systemctl daemon-reload && sudo systemctl restart ollama

3.2 拉取并运行 Qwen2 模型

# 拉取通义千问 7B 指令微调版
ollama run qwen2:7b

测试 API 连通性：

curl http://127.0.0.1:11434/api/generate -d '{
  "model": "qwen2:7b",
  "prompt": "如何排查 Nginx 502 错误？",
  "stream": false
}'

4. Dify 引擎部署与 RAG 知识库联调

Dify 能够自动解析文件，并将用户的提问转换为企业级上下文。

4.1 拉取并启动 Dify

git clone https://github.com/langgenius/dify.git
cd dify/docker
# 复制环境变量文件
cp .env.example .env
# 启动所有组件 (包括 Redis, Postgres, Weaviate 等)
docker compose up -d

启动完成后，访问 http://<服务器IP>:80，创建超级管理员账号。

4.2 在 Dify 中接入本地 Ollama

进入 Dify 后台 -> 点击右上角“设置” -> 模型供应商 (Model Providers)。
找到 Ollama，点击“添加模型”。
填入参数：
模型名称: qwen2:7b
基础 URL: http://<Ollama服务器内网IP>:11434
模型类型: LLM
另外再添加一个词向量模型（Embedding Model），例如 nomic-embed-text，用于后续的知识库切片。
需要提前在 Ollama 执行：ollama pull nomic-embed-text。

4.3 构建企业专属知识库应用

创建知识库：点击顶栏的“知识库”，上传公司的《网络架构拓扑白皮书.pdf》或《员工手册.doc》。
文本分段与清洗：选择“自动分段”，Dify 会自动调用 Embedding 模型对文档进行语义切块并存入向量数据库。
创建应用：回到首页，创建一个“聊天助手 (Chat App)”。
编排 Prompt 与关联知识库：
在“上下文”中挂载刚才建好的知识库，并在“提示词”中限制模型的回答边界：

你是一个资深企业 IT 架构师。请仅根据提供的上下文<context>来回答问题。如果上下文没有相关信息，请回答“抱歉，知识库暂未收录相关信息”，严禁胡编乱造。

5. 业务对接：开放 API 与微信集成

Dify 生成的应用自带一套 RESTful API。我们可以非常轻易地将它接入企业微信或飞书。
在应用界面的左侧点击 “访问 API (API Reference)” 即可获取鉴权 Token。

# 简单的 Python 脚本调用 Dify 知识库接口
import requests

url = "http://<Dify_IP>/v1/chat-messages"
headers = {
    "Authorization": "Bearer YOUR_DIFY_APP_API_KEY",
    "Content-Type": "application/json"
}
payload = {
    "inputs": {},
    "query": "公司总部机房的交换机网段是多少？",
    "response_mode": "blocking",
    "user": "admin_01"
}
res = requests.post(url, headers=headers, json=payload)
print(res.json().get('answer'))

6. 总结

“企业上大模型”不等于“花几百万买硬件”。通过 Ollama 容器化管理轻量模型，搭配 Dify 高度完善的 RAG 工作流，任何有 Linux 基础的工程师都能在半天内搭建起一套数据 100% 留存在本地、且回答“绝不瞎编”的企业专属智能系统。这是解决企业客服知识断层、新员工入职培训、运维排障经验沉淀的最具性价比落地方案。