Jan｜本地部署免费离线AI大模型ChatGPT替代品！

这是一个来自超过10kstar的GitHub项目（点击查看）

Demo

GIF要8M以下所以抽帧了，有点闪烁

Jan支持多种系统/硬件

• Mac（M1/M2/M3）
• Windows
• Linux（Applmage）
• Linux（deb）

另外由于是在我们电脑的本地运行模型所以需要硬件支持。原理上是用我们的电脑硬件提供算力

支持的硬件如下

• vidia GPUs (fast)
• Apple M-series (fast)
• Apple Intel
• Linux Debian
• Windows x64 cpu

下载项目

首先我们可以在Jan的官网（https://jan.ai/）下载项目（用魔法更快）

记得挑选自己的系统下载哦(⊙o⊙)

下载好后点击安装包，它就会自动安装并打开控制面吧啦

安装模型

我们点击下方的【Download your first model】

这里我以进去后的第一个模型为例点击【Download】（下载缓慢可以用魔法试试）

下面的About是模型介绍，你可以根据这个来选择你需要的模型！

下载完成后在聊天界面右边即可切换刚刚下载好的模型

需要注意的是本地运行大模型需要有足够的RAM内存，如果你的内存不够则会显示如下的警告

同时在模型在在界面也会提醒你内存不足无法运行！（模型大小越大需要内存越多哦）

使用须知

①模型输出速度与你的电脑硬件性能匹配，并且默认使用CPU来运行！

我这个u实测速度很慢

所以我们需要用GPU显卡来加速模型输出！

在左下角设置中，我们可以找到N卡加速开关，来使用自己的独显运行模型

如果你打开跟我一样遇到了如下错误请别急，看我的另一篇文章就能解决

如何检查电脑是否安装 NVIDIA 驱动和CUDA引擎

②使用openai的chatgpt模型是需要API Key的哦，如果需要直连使用ChatGPT3.5/4以及集成了多模态的GPTs请看我的这篇文章

在线直连使用ChatGPT3.5/4

P.S.要花钱，不过是积分制，用多少算多少，但是不可能免费！