NVIDIA发布新版本ChatRTX, 添加中文LLM模型的支持

NVIDIA发布新版本ChatRTX, 添加中文LLM模型的支持

andee zhang
2024-08-26 / 0 评论 / 14 阅读 / 正在检测是否收录...

NVIDIA在2月推出了Chat with RTX的技术演示应用,可给用户体验一下本地的聊天机器人,当然了它用到了TensorRT-LLM和NVIDIA RTX加速技术,也是NVIDIA展示技术的一个方式,现在该应用正式改名为ChatRTX,增加了更多的功能,在新版本中它加入了对智谱AI的ChatGLM3-6B这个中文LLM的支持,同时还支持语音输入和图像搜索功能。
m0ayoukk.png

与Chat**、Google Bard和微软Copilot等在线工具不同,NVIDIA ChatRTX不需要云端计算,这对用户的隐私和数据保密性更好,ChatRTX还支持扫描和分析本地文件目录的能力,支持指定格式的文件,用户可使用该功能搭建本地的数据资料库,只需要给出文件夹路径,AI就会在数秒内把它们加载到库中。
m0ayp3iu.png
除了加入中文LLM的支持外,ChatRTX还增添了语言识别功能,还支持OpenAI的CLIP模型,它可根据你给出的信息搜索本地指定目录里面的图片,在大量图片中找指定的复合要求图片时还是蛮有用的。
m0aypc2u.png
但目前该软件还是缺乏联系上下文的能力,这点体验就不太好了,此外它在Firefox浏览器上还是无法运行,此外安装包的体积大幅缩减,从此前的35GB减少到11GB,但安装完后程序依然需要35GB的空间,因此在下载之前要留够足够的空间,至于硬件需求,它只支持RTX 30和40系GPU,并且至少得需要8GB显存。

0

评论 (0)

取消