这是一个来自超过10kstar的GitHub项目(点击查看)
Demo
GIF要8M以下所以抽帧了,有点闪烁
Jan支持多种系统/硬件
- Mac(M1/M2/M3)
- Windows
- Linux(Applmage)
- Linux(deb)
另外由于是在我们电脑的本地运行模型所以需要硬件支持。原理上是用我们的电脑硬件提供算力
支持的硬件如下
- vidia GPUs (fast)
- Apple M-series (fast)
- Apple Intel
- Linux Debian
- Windows x64 cpu
下载项目
首先我们可以在Jan的官网(https://jan.ai/)下载项目(用魔法更快)
记得挑选自己的系统下载哦(⊙o⊙)
下载好后点击安装包,它就会自动安装并打开控制面吧啦
安装模型
我们点击下方的【Download your first model】
这里我以进去后的第一个模型为例点击【Download】(下载缓慢可以用魔法试试)
下面的About是模型介绍,你可以根据这个来选择你需要的模型!
下载完成后在聊天界面右边即可切换刚刚下载好的模型
需要注意的是本地运行大模型需要有足够的RAM内存,如果你的内存不够则会显示如下的警告
同时在模型在在界面也会提醒你内存不足无法运行!(模型大小越大需要内存越多哦)
使用须知
①模型输出速度与你的电脑硬件性能匹配,并且默认使用CPU来运行!
我这个u实测速度很慢
所以我们需要用GPU显卡来加速模型输出!
在左下角设置中,我们可以找到N卡加速开关,来使用自己的独显运行模型
如果你打开跟我一样遇到了如下错误请别急,看我的另一篇文章就能解决
如何检查电脑是否安装 NVIDIA 驱动和CUDA引擎
②使用openai的chatgpt模型是需要API Key的哦,如果需要直连使用ChatGPT3.5/4以及集成了多模态的GPTs请看我的这篇文章
在线直连使用ChatGPT3.5/4
P.S.要花钱,不过是积分制,用多少算多少,但是不可能免费!
声明:本站内容,如无特殊说明或标注,均为本站原创发布。未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,请联系。