ChatRTX vs ChatGTP - wersja demo chatRTX dostępna

NVIDIA w najnowszej aktualizacji wprowadza wsparcie dla większej liczby dużych modeli językowych (LLMs).

ChatRTX miaÅ‚ w tym tygodniu swojÄ… premierÄ™, o chatrtx byÅ‚a już wczeÅ›niej mowa co może powodować pewne zamieszanie. Wynika to z faktu, że „Chat with RTX” byÅ‚ tylko prezentacjÄ… technologicznÄ… przed premierÄ…, natomiast ChatRTX to już nowa aplikacja, choć wciąż oficjalnie w wersji demo.

W przeciwieństwie do takich internetowych narzędzi jak ChatGPT, Google Bard czy Microsoft Copilot, asystent AI napędzany przez procesory graficzne NVIDIA GeForce działa lokalnie i nie wymaga zewnętrznych połączeń internetowych. Aspekt ten znacząco wpływa na prywatność i kontrolę nad analizowanymi danymi. NVIDIA podkreśliła możliwość skanowania i analizowania danych w lokalnych katalogach (pliki tekstowe, dokumenty itp.). Jest to niewątpliwie bardzo duża przewaga dla tworzenia wewnętrznych narzędzie wewnątrz firm. Połączenie to umożliwia użytkownikom korzystanie z istniejących otwartych modeli i lokalnych danych.

Nowe funkcje w ChatRTX obejmujÄ… rozpoznawanie gÅ‚osu dla poleceÅ„ w wielu jÄ™zykach oraz możliwość odpowiedzi w różnych jÄ™zykach. Ponadto, wprowadzono wsparcie dla nowych LLMs, takich jak Mistral 7B INT4 czy Llama 2 7B INT4, a także dla Gemmy, najnowszego modelu AI od Google. NowÄ… interesujÄ…cÄ… funkcjÄ… jest możliwość wyszukiwania obrazów w lokalnych katalogach, zasilane przez model CLIP (Contrastive Language-Image Pre-training) od OpenAI.

Niestety, jedna z najbardziej oczekiwanych funkcji, czyli możliwość zadawania kolejnych pytań, nie jest jeszcze dostępna w ChatRTX. Narzędzie to rozumie obecnie tylko pojedyncze zapytania. Ponadto, interfejs użytkownika oparty na przeglądarce internetowej nie działa poprawnie w Firefoxie.

Trzeba jednak pamiętać, że narzędzie jest w fazie demo, czyli cały czas jest rozwijane!

Warto również zauważyć, że program instalacyjny zajmuje 11 GB, a peÅ‚na aplikacja po zainstalowaniu wymaga 35 GB miejsca, wiÄ™c upewnij siÄ™, że masz wystarczajÄ…cÄ… ilość miejsca. Warto także wspomnieć, że na razie dziaÅ‚a tylko na procesorach graficznych GeForce RTX 30 i RTX 40, z co najmniej 8 GB VRAM i 16 GB pamiÄ™ci systemowej. Takie wymagania jednak nie sÄ… niczym wielki dla, ludzi pracujÄ…cych z AI, można wrÄ™cz powiedzieć, że jest to maÅ‚o i tanio.