NVIDIA 剛發表利用 RTX AI 加速技術的聊天機械人「Chat with RTX」早期示範程式，只要你使用有 8GB VRAM 的 NVIDIA RTX 30 或 40 系列顯示卡就可以玩到。它的特點是大家可以向大語言模型提供 txt、doc、pdf 檔或影片連結，就可以自訂模型提供為用戶量身訂制的答案。由於索引是在本機執行，所以不用擔心私隱問題。
「Chat with RTX」運用檢索增強生成 (RAG, Retrieval-Augmented Generation)、TensorRT 大型語言模型和 RTX 加速技術，可以快速自訂聊天機械人，根據用戶提供的資料，作出符合上下文理的答案。
「Chat with RTX」接受輸入的資料集包括 txt、doc、docx、pdf 和 xml 檔，此外還支援 YouTube 播放清單，系統會謄寫影片的內容來索引，以彙整出用戶要求的答案。
「Chat with RTX」容量為 39GB，支援具備 8GB VRAM 的 RTX 30/40 顯示卡、16GB RAM 和 Windows 11，而顯示卡驅動程式就要求 535.11 或以上。大家可以在以網頁下載得到。
下載「Chat with RTX」：按此
安裝教學
《PCM》過去也介紹過如何在自己的電腦上安裝 AI 聊天介面和大語言模型，不過，安裝方法蠻複雜，不是人人都學得來。「Chat with RTX」就是一個簡單方案，用戶只需要下載＞解壓＞執行 Setup 檔就完成安裝，只是安裝時間頗長，需要耐心等待。
完成安裝後，會自動執行一次程式，桌面亦會多了一個「Chat with RTX demo」的小圖示。首次執行可能會出現一些錯誤訊息，按「確認」便可以。另外，系統會要求用戶允許 Python 執行，按「允許」就可以。之後就會在瀏覽器顯示一個簡單的介面，只需在左邊選擇模型，並在右邊提供存有自訂用資料的文件夾路徑或 YouTube 網址，提出問題即可，比較可惜的是現時只支援英文。
筆者使用 ASUS 最新的 Core Ultra 9 185H＋RTX 4090 Laptop GPU 筆電，嘗試提供一個伺服器攻擊紀錄到 Chat with RTX，發現雖然發問要有點技巧，但能夠在很短時間內正確彙整出有哪些 IP 曾攻擊伺服器，和哪個 IP 攻擊得最頻繁，而且即使有錯字都能正確回答。回答期間，可以看到 Chat with RTX 耗用 GPU 資源，但因為只需很短時間就完成索引和推論，所以對資源影響不大。
不過在 YouTube 影片方面，筆者提供《死侍與狼人》預告片或 Samsung Galaxy Unpacked 2024 發表會影片，都無謄寫內容來索引，所作出的答案都是亂蓋的。但 NVIDIA 的影片就能順利完成索引，可以正確回答。這可能是因為現在的 Chat with RTX 只是示範版本，希望正式推出時能有所改善。
NVIDIA 有提供開源程式碼給開發人員，他們可以加以參考並把 Chat with RTX 的功能嵌入自己的程式當中。
最新影片
