ChatRTX (Chat with RTX)
NVIDIAのGeForce RTXを搭載したPC上でローカルに動作する、AIチャットボットのデモアプリです。NVIDIA、PC上でローカルに動作するAIチャットボット「Chat with RTX」を無料公開 - CNET Japan Maria Diaz (2024/02/15)
.txt、.pdf、.doc (.docx)、.xml形式のファイルを読み込ませることで、これらのファイルの内容について回答を得ることもできます。 Chat with RTX Now Free to Download | NVIDIA Blog Jesse Clayton (2024/02/13) Chat With RTX - NVIDIA RTX AI PC にカスタム チャットボットを搭載 Jesse Clayton (2024/02/15)
当初の名称はChat with RTXでしたが、ChatRTXに変更されています。GeForce RTX搭載PCで動くローカルAI「ChatRTX」刷新。画像認識や音声入力に対応 - PC Watch 関根慎一 (2024/05/02)
以下の技術が用いられています。
- RAG (検索拡張生成)
- NVIDIA TensorRT-LLM
- NVIDIA RTX acceleration
MistralやLlama 2のような、オープンソースの大規模言語モデルに接続できます。
導入
8GB以上のVRAMを搭載するGeForce RTX、それにNVIDIA Graphics Driverが必要です。System Requirements - Build a Custom LLM with ChatRTX | NVIDIA
Build a Custom LLM with ChatRTX | NVIDIA
BIOSで仮想化が有効にされている必要があります。Use the NVIDIA NIM WSL2 Installer (Recommended) - Getting Started — NVIDIA NIM on WSL2
「NVIDIA Installer failed」で「An unknown error has occurred.」としてインストールに失敗しても、再度インストールを試みると成功することがあります。
AIモデルの変更
[AI Model]タブをクリックし、[Select AI model]のリストから選択することでモデルを変更できます。
データソースの変更
[Data]タブをクリックし[Chat with your data (RAG)]を選択し、[Data Folder]で指定します。既定はsample_data\datasetとなっています。