第一部分 安装大语言模型
我们使用Ollama的llama3,16G内存条的笔记本就能运行了。
1.1 Ollama的安装
Ollama是一个让我们可以一键运行大模型的软件。
下载地址:https://ollama.com/
安装完成后,在Windows PowerShell命令行中输入
ollama -v
显示对应版本,证明安装正确并正在运行
右下角会出现小羊驼的标志。
1.2 下载大语言模型
首先在ollama的模型库里面选择自己想要的模型,
ollama model地址:
https://ollama.com/library
在Windows PowerShell命令行中,运行对应的下载命令,例如我下载 llama3
ollama run llama3
装完以后,直接可以尝试聊天了。大家有好的硬件,可以自己选里面的大模型。模型都是及时更新的,大家选自己合适的就行。我为了演示,就用llama3了。
装完以后直接可以进行聊天,AI大模型本地已经装好了。
第二部分 安装LobeChat高颜值前端
事先要安装好docker容器,下载地址:
https://www.docker.com/products/docker-desktop/
未安装docker的百度下,都是下一步操作。
docker 安装LobeChat命令:
docker run -d -p 3210:3210 -e OLLAMA_PROXY_URL=http://host.docker.internal:11434/v1 lobehub/lobe-chat
执行命令后,稍微等待一会,下载框架需要点时间。
下载完成后,去看自己的docker容器,多了个lobechat的镜像哦,而且已经自动开启了。
打开浏览器输入http://localhost:3210/
默认端口号是3210.
点左上角头像下面的聊天小图标,聊天界面已经有了。
第三部分 LobeChat配置大模型
第二部分的聊天界面已经有了,但是不能直接聊天,需要简单配置下大模型。
点右上角的设置,进去有主题设置,语言模型设置等。可以按自己喜欢的风格搭配主题。
系统助手全部选llama3。不要问为什么,就是这么简单。
语言模型中设置,OpenAI就不要用了。直接关,不要客气。
Ollama开起来,哈哈哈,然后填上默认的http://127.0.0.1:11434
这个网址是ollama自带的接口地址,直接用。大模型自己选,我没改,可以按你们实际情况选。最后点一下检查按钮,直接检查通过,没有一点错误。
回到聊天页面,记得选择模型,下面2个方法都能选择模型。
选完以后开心聊吧。
原创文章,作者:howkunet,如若转载,请注明出处:https://www.intoep.com/othen/63423.html