Easiest Way to run Private RAG on Windows

OK, ich habe endlich meinen ersten Windows Rechner mit einer Nvidia GPU bekommen, dank der Leute von Nvidia. Ich persönlich freue mich sehr darüber, denn normalerweise überspringe ich bei Video Tutorials für Open Source Projekte einfach den Einrichtungsteil für Windows Rechner. Der Grund dafür ist, dass ich im Alltag ein M Max verwende. Damit kann ich also mit Open Source Projekten auf Windows Rechnern experimentieren, die mit Nvidia GPUs ausgestattet sind. In diesem Video schauen wir uns speziell Nvidia Chat RTX an. Das ist eine App von Nvidia, die für RTX GPUs auf Windows Rechnern optimiert ist. Damit kannst du mit deinen Dateien chatten und mit Hilfe lokaler Modelle auch nach Fotos und Bildern suchen. Aber vorher noch ein kurzer Blick auf den Rechner, den ich bekommen habe. Das ist das ROG C Freeze G. Es verfügt über eine GeForce RTX 4070 Laptop GPU. Das war kurz vor der CES, daher habe ich die ER Serie nicht bekommen. Ich denke, die 4070 wird einen großen Teil meiner Zielgruppe ansprechen, die sehr ähnliche Laptop oder Desktop GPUs haben. Eine 4070 verfügt über genügend VRAM, um kleinere Modelle mit 8 oder 10 Milliarden zu betreiben. Ich habe auch vor, einige andere Nvidia Produkte zu betreiben und zu testen, z. B. Die Nvidia Workbench. Außerdem möchte ich lokal mit Nvidia Nim und Nvidia Nemo experimentieren. Wenn Sie sich für Nvidia Hardware interessieren, stehen Ihnen verschiedene Optionen zur Auswahl. Ich werde einen Link dazu in die Videobeschreibung einfügen. Aber lassen Sie uns Chat RTX auf diesem neuen Windows Rechner ausführen. Als Nächstes zeige ich Ihnen, wie Sie Nvidia Chat RTX auf Ihrem Windows Rechner mit RTX GPU einrichten. Die Einrichtung verlief überraschend reibungslos. Ich habe gerade meinen Rechner eingerichtet. Ich habe keine Nvidia CUDA Treiber oder ähnliches installiert. Ich habe einfach die Chat RTX App heruntergeladen und überraschenderweise hat sie sofort funktioniert. Derzeit werden die RTX Serien 30 und 40 sowie RTX Imper und weitere Generationen unterstützt. Wahrscheinlich wird auch die Unterstützung für die ER Serie verfügbar sein. Die Datei, die Sie herunterladen, wird 10 GB groß sein und die Gewichtungen für das LLM sowie das Einbettungsmodell enthalten. Hier ist also die Datei, die ich heruntergeladen und extrahiert habe. Ich greife von meinem M Max aus Remote auf meinen Windows Rechner zu. Hier ist die App nach der Installation. Ich öffne sie einfach. So sieht die App aus. Alles wird also lokal und privat ausgeführt, da Sie lokale Modelle ausführen. Die Auswahl hinsichtlich der Modelle ist nun begrenzt. Derzeit lädt es beispielsweise 7 Milliarden in Bit Quantisierung herunter. Es gibt ein weiteres Chat GLM, das ein 6 Milliarden Modell in Bit Quantisierung ist. Sie können auch ein Clip Modell herunterladen, wenn Sie Ihre Fotos und Bilder durchsuchen möchten. Sie können dies in zwei verschiedenen Modi verwenden. Eine Möglichkeit ist also der Chat mit dem Key Modell und die andere ist der Chat mit deinen Daten, was im Grunde eine Implementierung des ARC Systems ist. Fangen wir also mit deinem Modell an. OK. So so sieht die Geschwindigkeit für diese Laptop GPU aus. Sagen wir Hallo, erzähl mir etwas über dich. Die Geschwindigkeit ist ziemlich beeindruckend. OK. Schauen wir uns die GPU Auslastung an. Ich bitte sie also eine Python Funktion zu schreiben, die eine Datei aus einem S Bucket herunterlädt. Die Programmierung läuft und du kannst die GPU Auslastung sowie den VRAM Takt, die CPU Auslastung und alles hier sehen. Es läuft mit 7 Milliarden und 4 Bit Quantisierung, aber es ist ziemlich schnell. OK. Die zweite Option ist der Chat mit deinen Daten. Dafür möchtest du im Grunde die Option REC auswählen. Jetzt kannst du einen Pfad zu einem Ordner angeben. Ich habe also einen Pfad zu diesem Ordner angegeben, der zwei verschiedene Dokumente enthält. Eines ist das ursprüngliche Orca Dokument und das zweite ist der DeepSec V Bericht. Ich klicke einfach hier drauf. Dadurch wird im Grunde der Datensatz aktualisiert. Das bedeutet, dass die Einbettungen für die erstellten Trunks berechnet werden. Dann können wir mit unseren Daten interagieren. OK. Um dir die Abrufgeschwindigkeit zu zeigen. Frage Was ist Instruction Tuning? Dies ist ein Abschnitt im Original oder Paper. Es führt also einen Abruf durch und hier sind die Antworten. Dort steht, dass Instruction Tuning eine Technik ist, mit der vortrainierte Sprachmodelle aus Eingabe und Antwortpaaren lernen können. Es generiert also die Antwort und zeigt dir dann auch die referenzierten Dateien an. Hier ist also das Original Archer Paper und hier ein Abschnitt über Instruction Tuning. Das scheint also sofort zu funktionieren. Abgesehen von der Genauigkeit ist auch die Reaktionszeit ziemlich beeindruckend. Es verbraucht zwar viel GPU VRAM, aber die Anzahl der Token pro Sekunde ist ziemlich gut, da es Gut für RTX GPUs optimiert ist. Wenn Sie also nach einer sofort einsatzbereiten Lösung suchen und um mit Ihren Dokumenten zu chatten und Zugriff auf einen RTX PC oder Laptop haben, sollten Sie sich Charger RTX ansehen. Es ist eine wirklich gute Option. Und wenn Sie sich für Nvidia Hardware interessieren, klicken Sie auf den Link in der Videobeschreibung. Ich hoffe, Sie fanden dieses Video hilfreich. Danke fürs Zuschauen und wie immer, wir sehen uns beim nächsten Mal.