CyberSelf：实验室专属赛博师兄计划（6）——本地模型部署与Hermes Agent配置

有了知识库的基础我们终于可以大张旗鼓地推进实际部署的工作了。在这里我们可以先放下对知识库的执念专心思考一下全局的部署框架。基于功能需求确定整体架构赛博师兄的核心需求包括实验室内部访问模型与数据本地存储能够实现对话功能算力需求友好可移植性和复用性大概就这么多至于性能方面的需求暂且不是我们要关注的。能跑起来再说吧基于Docker的本地模型部署与Agent接入本着不反复造轮子的初衷主要基于Docker承载着必要的工具包括Gitea一个轻量化的共享平台与版本控制工具。Ollama运行本地大模型的神奇。Open-WebUI与本地大模型进行交互对话的测试组件。其中Gitea是用来做一个在线备份避免日后Agent无法启动时他还能为师弟师妹撑起最后一道资源平台他不是这个项目的主角感兴趣的友友可以参考官方文档进行安装安装 | Gitea Documentationhttps://docs.gitea.com/zh-cn/category/installation以Docker为基础Ollama承载着本地大模型结合Obsidian搭建好的知识库送入Agent框架通过交互界面与用户实现对话。最后的交互层的实现思路暂时还不是很清晰需要进一步考虑和探索。配置前提要进入下面的步骤你需要保证你的服务器完成了以下配置1. Docker2. WSL23. 可以上网能科学上网更好了其中Docker和WSL的安装可参考win10WSL2docker配置历程_win10 wsl docker-CSDN博客https://blog.csdn.net/ZHHHHH15/article/details/135500172?spm1001.2014.3001.5502好了让我们开始吧OllamaOllama的安装也非常简单以下是他的官网大家可以选择安装Mac、Linux或者windows上Ollamahttps://ollama.com/欸不对啊跑题了。作为一台资源有限的服务器而且这是在基于Docker的章节下怎么能随随便便装在本地呢。让我们采用更优雅的方法安装启动你的docker进入你的WSL选择一个路径创建ollama的专属位置我选择homecd /home mkdir ollama cd ollama随后优雅地执行docker run -d \ -v ollama:/root/.ollama \ -p 11434:11434 \ --name ollama \ ollama/ollama好了让我们去刷个抖音、喝个茶、看看博主的其他博客。。。。。当终端黑框的所有pull项全部完成的时候你会看到docker启动页上多了一个ollama的标识访问ollama的默认端口也就是在浏览器输入http://localhost:11434/不出意外你就可以看到okollama运行成功了pull一个大模型接下来让我们pull一个大模型到本地首先进入ollama的工作空间docker exec -it ollama bash随后相中一个差不多的模型起码能支撑64000 context_length的模型因为这是hermes的最低配置。亲自尝试qwen 1.5b和7b不太行。你要问我为什么选择这么小的模型别忘了我们的前提这是一台算力资源及其有限的小主机罢了。qwen2.5:14b又太大无法在当前服务器运行。在这里博主遇到了一个特别尴尬的事情低估了Agent的上下文长度常识。ollama8B模型也只能支持8k左右的context_length而hermes框架最低要求64kopenclaw则是128k当前设备根本无法满足因此在后续操作暂且使用deepseek做原型机测试敬请谅解。在WebUI上看看效果其实这一步可有可无用于仅使用大模型的用户吧在docker中运行docker run -d -p 3000:8080 --add-hosthost.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main等待pull完成同样可以在docker首页看到一个open-webui字眼的标识待启动完毕后访问创建一个管理员权限就可以使用啦它可以自动检测本地的大模型并与其对话。很好模型可用接下来就请我们Hermes Agent登场吧Hermes登场hermes安装很简单可以参考进行安装。大名鼎鼎的Hermes Agent到底是怎么回事_hermes agent 第二天失忆了-CSDN博客https://blog.csdn.net/ZHHHHH15/article/details/160102129?spm1001.2014.3001.5501遇到网络问题的话也可以通过中文社区加速curl -fsSL https://res1.hermesagent.org.cn/install.sh | bash进入引导程序选择快速安装选择 对应的模型通常会加载到本地模型如果没有的话就选择Custom Endpoint配置接口。当你的本地足以支撑64k context length模型时在在url部分输入 localhost:11434/v1 即可随后选择本地模型就好。接入知识库将obsidian创建的知识库目录拷贝到/.hermes路径下并通过提示词引导hermes更新SOUL灌输知识库中的内容。让我们期待他的第一个回答。第一个回答尽管效果和单纯的大模型问答区别不大尽管最后的模型接入有点尴尬但是起码是奏效的。总结当想法照进现实有一种对“造就智慧”的成就感。尽管效果一般般但是这只是一个开始。我给这位大师兄取名为Garine它是我也不是我。它还有很长的路要走我也一样。