ChatRTX vs ChatGTP - wersja demo chatRTX dostępna

NVIDIA w najnowszej aktualizacji wprowadza wsparcie dla większej liczby dużych modeli językowych (LLMs).

ChatRTX miał w tym tygodniu swoją premierę, o chatrtx była już wcześniej mowa co może powodować pewne zamieszanie. Wynika to z faktu, że „Chat with RTX” był tylko prezentacją technologiczną przed premierą, natomiast ChatRTX to już nowa aplikacja, choć wciąż oficjalnie w wersji demo.

W przeciwieństwie do takich internetowych narzędzi jak ChatGPT, Google Bard czy Microsoft Copilot, asystent AI napędzany przez procesory graficzne NVIDIA GeForce działa lokalnie i nie wymaga zewnętrznych połączeń internetowych. Aspekt ten znacząco wpływa na prywatność i kontrolę nad analizowanymi danymi. NVIDIA podkreśliła możliwość skanowania i analizowania danych w lokalnych katalogach (pliki tekstowe, dokumenty itp.). Jest to niewątpliwie bardzo duża przewaga dla tworzenia wewnętrznych narzędzie wewnątrz firm. Połączenie to umożliwia użytkownikom korzystanie z istniejących otwartych modeli i lokalnych danych.

Nowe funkcje w ChatRTX obejmują rozpoznawanie głosu dla poleceń w wielu językach oraz możliwość odpowiedzi w różnych językach. Ponadto, wprowadzono wsparcie dla nowych LLMs, takich jak Mistral 7B INT4 czy Llama 2 7B INT4, a także dla Gemmy, najnowszego modelu AI od Google. Nową interesującą funkcją jest możliwość wyszukiwania obrazów w lokalnych katalogach, zasilane przez model CLIP (Contrastive Language-Image Pre-training) od OpenAI.

Niestety, jedna z najbardziej oczekiwanych funkcji, czyli możliwość zadawania kolejnych pytań, nie jest jeszcze dostępna w ChatRTX. Narzędzie to rozumie obecnie tylko pojedyncze zapytania. Ponadto, interfejs użytkownika oparty na przeglądarce internetowej nie działa poprawnie w Firefoxie.

Trzeba jednak pamiętać, że narzędzie jest w fazie demo, czyli cały czas jest rozwijane!

Warto również zauważyć, że program instalacyjny zajmuje 11 GB, a pełna aplikacja po zainstalowaniu wymaga 35 GB miejsca, więc upewnij się, że masz wystarczającą ilość miejsca. Warto także wspomnieć, że na razie działa tylko na procesorach graficznych GeForce RTX 30 i RTX 40, z co najmniej 8 GB VRAM i 16 GB pamięci systemowej. Takie wymagania jednak nie są niczym wielki dla, ludzi pracujących z AI, można wręcz powiedzieć, że jest to mało i tanio.