本地部署LLM

文章摘要

Bpple-GPT

最近开源的llama模型非常火,BX同学在这里向大家演示一下,如何本地部署。* *本文章谨代表BX个人思考

dsd

Meta公司发布的新一代大语言模型,

本期介绍如何在本地,在自己电脑上利用CPU/GPU部署运行,


介绍:

第一步:

用Ollama 下载ollama: https://ollama.com/

第二步:

下载Docker desk:https://www.docker.com/get-started/ 根据提示操作 按部就班 的下载

检查:

第三步:

下载 ****open-webui框架

 docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

这样就安装完成了

第四步:

在docker中运行这个项目 然后进入:

http://localhost:3000/

第五步:

注册登录后进入界面 然后进入设置去下载模型 进入到模型选择界面 有一个70B和8B和两种情况,根据自己的情况去下载 把下载指令填入下载框,等待下载就行了

最后一步:

选择模型就可以开始对话了

效果还是很不错!


感谢大家观看,让我们一起进步


用键盘敲击出的不只是字符,更是一段段生活的剪影、一个个心底的梦想。希望我的文字能像一束光,在您阅读的瞬间,照亮某个角落,带来一丝温暖与共鸣。

BX33661

isfp 探险家

站长

不具版权性
不具时效性

文章内容不具时效性。若文章内容有错误之处,请您批评指正。


目录

欢迎来到Bpple的站点,为您导航全站动态

65 文章数
20 分类数
44 评论数
15标签数
最近评论
bpple

bpple


一切顺利

fetain

fetain


good luck

bx

bx


good luck

热门文章

Emoji收集

2024-11-01

550
Hello Halo

2024-10-30

532
本地部署LLM

2024-08-22

511
Uptime Kuma

2024-11-29

507
241

访问统计