尊龙凯时·(中国)人生就是搏!

本文将展示零成本搭建自己的私有知识库。学会该搭建方法后，可以把自己的个人资料，过往写的文章，Notion等所有个人信息上传到本地知识库。完全离线的工具不多，本文会选择chatbox搭建一个完全离线的知识库。其他的如maxkb，dify，anythingllm 功能更多，但都需要联网和注册，可根据自己的需求选择安装。

如果有企业级别私有部署需求（如有2台H100，H20服务器），可选择vLLM的tp+pp模式部署。有问题可以联系尊龙凯时 - 人生就是搏!算力云讨论

github讨论： http://github.com/vllm-project/vllm/issues/12997#issuecomment-2655359089

邮箱：onethingai@sdylmj.com

本文会以如下方式展开（操作系统以Windows为例，如果为Mac， Ollama，Chatbox下载对应安装包即可）：

• 安装Ollama
• 安装chatbox
• 创建知识库

主要流程如下，如果选择非Chatbox，替换安装流程即可

一、下载安装Ollama

ollama 从 Ollama下载链接 下载

双击安装包进行安装

安装完成以后在任务管理栏会有个小羊驼

二、安装chatbox/anythingllm

1，安装chatbox

从 chatbox官网 下载

双击安装包安装

安装完成后如图：

三、创建知识库

1、使用ollama 跑一个本地的模型

1.1、win + r 输入 cmd 打开命令行

1.2、启动模型

ollama run deepseek-r1:7b

2、设置Chatbox

开启聊天：

加载知识库（例子里用了deepseek v3 的技术报告）