从安装到卸载:记录我在Ubuntu 22.04上折腾Ollama踩过的那些坑

张开发
2026/6/9 8:23:49 15 分钟阅读
从安装到卸载:记录我在Ubuntu 22.04上折腾Ollama踩过的那些坑
从安装到卸载记录我在Ubuntu 22.04上折腾Ollama踩过的那些坑去年夏天当我第一次听说能在本地运行Llama 2这样的开源大模型时那种兴奋感就像发现了新大陆。作为一个长期在Ubuntu环境下工作的开发者Ollama这个宣称一键部署大模型的工具立刻吸引了我的注意。但没想到从安装到最终卸载的整个过程就像坐过山车一样充满意外——依赖冲突、权限陷阱、内存爆仓...今天我就把这些亲身经历整理出来希望能帮到正准备尝试的你们少走些弯路。1. 为什么选择Ollama理想与现实的差距最初吸引我的是Ollama官网那句Run large language models locally的标语。相比直接调用API本地运行意味着数据隐私敏感对话记录不会上传到第三方服务器离线可用没有网络时也能进行原型测试成本可控避免按token计费带来的意外账单但实际体验后发现这些优势需要付出相应代价。我的ThinkPad P5232GB内存NVIDIA Quadro P2000在运行7B参数的Llama 2时即使使用--gpu参数响应速度也比云端服务慢了3-5倍。更棘手的是当我想尝试13B模型时系统直接因OOM被杀进程。重要提醒在Ubuntu上运行前先用free -h和nvidia-smi确认可用资源模型所需内存通常是参数量的1.5-2倍2. 安装过程中的那些坑2.1 依赖地狱缺失的libssl按照官方文档执行安装命令curl -fsSL https://ollama.com/install.sh | sh却报出libssl.so.1.1: cannot open shared object file错误。这是因为Ubuntu 22.04默认使用OpenSSL 3.0而Ollama依赖的是1.1版本。解决方法比想象中复杂手动下载旧版libsslwget http://archive.ubuntu.com/ubuntu/pool/main/o/openssl/libssl1.1_1.1.1f-1ubuntu2_amd64.deb sudo dpkg -i libssl1.1_1.1.1f-1ubuntu2_amd64.deb创建符号链接欺骗系统sudo ln -s /lib/x86_64-linux-gnu/libssl.so.1.1 /lib/x86_64-linux-gnu/libssl.so.32.2 权限陷阱无法创建的/usr/share/ollama安装脚本尝试在系统目录创建文件夹时可能会因权限不足失败。我发现最稳妥的方式是提前手动创建目录并赋权sudo mkdir -p /usr/share/ollama sudo chown $USER:$USER /usr/share/ollama或者改用用户目录安装export OLLAMA_HOME$HOME/.ollama3. 运行时遇到的奇葩问题3.1 模型下载龟速执行ollama pull llama2时下载速度经常跌破100KB/s。后来发现可以通过更换国内镜像源需谨慎验证安全性使用--insecure参数跳过TLS验证仅限测试环境预先下载模型文件后手动加载3.2 GPU加速失效尽管指定了--gpu参数任务管理器显示GPU利用率始终为0%。排查步骤确认CUDA版本兼容性nvcc --version检查NVIDIA驱动状态nvidia-smi -q | grep Driver Version最终发现需要额外安装cuda-toolkitsudo apt install nvidia-cuda-toolkit4. 为什么最终选择卸载经过两个月断续使用我决定卸载Ollama的主要原因问题类型具体表现影响程度资源占用空闲时也占用4GB内存★★★★维护成本频繁出现依赖冲突★★★☆性能瓶颈13B模型响应超30秒★★★★生态局限插件系统不完善★★☆☆彻底卸载的完整流程停止服务进程sudo systemctl stop ollama移除系统服务配置sudo systemctl disable ollama sudo rm /etc/systemd/system/ollama.service删除程序本体sudo rm $(which ollama)清理模型文件注意这会删除所有下载的模型sudo rm -rf /usr/share/ollama移除专用用户组sudo userdel ollama sudo groupdel ollama现在回看这段经历虽然最终选择了卸载但这个过程让我对本地大模型部署有了更深理解。如果你只是想做原型验证或许Docker版的Text Generation WebUI是更轻量的选择但如果追求极致性能可能得考虑配备专业显卡的工作站了。

更多文章