英伟达版ChatGPT——Chat With RTX，PC端部署很GPU

2024-02-1608:57:50人工智能与大数据Comments310 views字数 1590阅读模式
金磊 发自 凹非寺
量子位 | 公众号 QbitAI

英伟达推出了自家版本的ChatGPT，名字很有GPU的味道——文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59831.html

Chat With RTX。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59831.html

英伟达版ChatGPT——Chat With RTX，PC端部署很GPU文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59831.html

英伟达的这款AI聊天机器人和目前主流的“选手”有所不同。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59831.html

它并非是在网页或APP中运行，而是需要下载安装到个人电脑中。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59831.html

这波操作，不仅是在运行效果上会更快，也就意味着Chat With RTX在聊天内容上或许并没有那么多限制。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59831.html

网友们也纷纷对这一点发出了感慨：文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59831.html

哇~这是本地运行的耶~文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59831.html

英伟达版ChatGPT——Chat With RTX，PC端部署很GPU文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59831.html

当然，在配置方面也是要求的，只需要至少8GB的RTX 30或40系列显卡即可英伟达版ChatGPT——Chat With RTX，PC端部署很GPU。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59831.html

英伟达版ChatGPT——Chat With RTX，PC端部署很GPU文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59831.html

那么Chat With RTX的实际效果如何，我们继续往下看。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59831.html

英伟达版ChatGPT

首先，值得一提的是，Chat With RTX并非是英伟达自己搞了个大语言模型（LLM）。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59831.html

它背后所依靠的仍是两款开源LLM，即Mistral和Llama 2，用户在运行的时候可以根据喜好自行选择。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59831.html

英伟达版ChatGPT——Chat With RTX，PC端部署很GPU文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59831.html

Pick完LLM之后，就可以在Chat With RTX中上传本地文件。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59831.html

支持的文件类型包括txt，.pdf，.doc/.docx和.xml。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59831.html

英伟达版ChatGPT——Chat With RTX，PC端部署很GPU文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59831.html

然后就可以开始提问了，例如：文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59831.html

Sarah推荐的餐厅名字是什么？文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59831.html

英伟达版ChatGPT——Chat With RTX，PC端部署很GPU文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59831.html

由于是在本地运行，因此Chat With RTX生成答案的速度是极快的，真真儿的是“啪的一下”：文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59831.html

Sarah推荐的餐厅名字叫做The Red Le Bernardin。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59831.html

除此之外，Chat With RTX另一个亮点功能，就是可以根据在线视频做回答。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59831.html

例如把一个油管视频的链接“投喂”给它：文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59831.html

英伟达版ChatGPT——Chat With RTX，PC端部署很GPU文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59831.html

然后向Chat With RTX提问：文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59831.html

英伟达在CES 2024上宣布了什么？文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59831.html

英伟达版ChatGPT——Chat With RTX，PC端部署很GPU文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59831.html

Chat With RTX也会以极快的速度根据视频内容作答。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59831.html

至于其背后用到的技术方面，英伟达官方只是简单提了一句：“用到了检索增强生成 （RAG）、NVIDIA TensorRTLLM软件和NVIDIA RTX等。”文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59831.html

如何食用？

正如我们刚才提到的，Chat With RTX的用法很简单，只需一个下载安装的动作。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59831.html

不过在配置上，除了GPU的要求之外，还有一些条件，例如：文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59831.html

  • 系统：Windows 10或Windows 11
  • RAM：至少16GB
  • 驱动：535.11版本或更新

英伟达版ChatGPT——Chat With RTX，PC端部署很GPU文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59831.html

不过Chat With RTX在大小上并没有很轻量，共计大约35G。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59831.html

因此在下载它之前，务必需要检查一下Chat With RTX所需要的安装条件。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59831.html

不然就会出现各种各样的悲剧了：文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59831.html

英伟达版ChatGPT——Chat With RTX，PC端部署很GPU文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59831.html

不过实测被吐槽

The Verge在英伟达发布Chat With RTX之后，立即展开了一波实测。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59831.html

不过结论却是大跌眼镜。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59831.html

例如刚才提到的搜索视频功能，在实际测试过程中，它竟然下载了完全不同视频的文字记录。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59831.html

其次，如果给Chat With RTX“投喂”过多的文件，例如让Chat with RTX为25000个文档编制索引，它就直接“罢工”崩溃了。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59831.html

以及它也“记不住”上下文，因此后续问题不能基于上一个问题。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59831.html

最后还有个槽点，就是下载Chat with RTX消耗了测试人员整整半个小时……文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59831.html

不过槽点之外，The Verge也比较中立地肯定了Chat with RTX的优点。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59831.html

例如搜索电脑上的文档，其速度和精准度是真香。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59831.html

并且做总结也是Chat with RTX较为擅长的内容：文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59831.html

英伟达版ChatGPT——Chat With RTX，PC端部署很GPU文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59831.html

更重要的是，在本地运行这样的机制，给用户文件的安全性带来了保障。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59831.html

那么你会pick英伟达版的ChatGPT吗？文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59831.html

参考链接：
[1]https://www.theverge.com/2024/2/13/24071645/nvidia-ai-chatbot-chat-with-rtx-tech-demo-hands-on
[2]https://news.ycombinator.com/item?id=39357900
[3]https://blogs.nvidia.com/blog/chat-with-rtx-available-now/
[4]https://twitter.com/rowancheung/status/1757429733837418610文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ai/59831.html

  • 本站内容整理自互联网，仅提供信息存储空间服务，以方便学习之用。如对文章、图片、字体等版权有疑问，请在下方留言，管理员看到后，将第一时间进行处理。
  • 转载请务必保留本文链接：https://www.cainiaoxueyuan.com/ai/59831.html

Comment

匿名网友 填写信息

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen:

确定