Do Anything with Local Agents with AnythingLLM

OK, heute befassen wir uns mit Anyding LLM, einer Open Source Software, mit der Sie mit verschiedenen LLMs verschiedener Anbieter interagieren können, darunter auch OpenWide LLMs, die sowohl Olama als auch LM Studio verwenden. Da all dies auf Lama CVP läuft, ist es sehr gut für RTX GPUs optimiert, also GPUs für Endverbraucher von Nvidia. Mit Hilfe von Anyding LLM können Sie leistungsstärke Low Local Agenten völlig privat auf Ihrem lokalen Rechner ausführen. In diesem Video zeige ich Ihnen, wie Sie Anyding LLM lokal einrichten. Anschließend sehen wir, wie Sie diese benutzerdefinierten, zweckgebundenen Agenten verwenden, um mit Ihrer Umgebung zu interagieren. All dies erfolgt vollständig lokal in Ihrer eigenen Umgebung. Um zu beginnen, müssen Sie zunächst die Desktop App für Anything LLM herunterladen. Sie sieht in etwa so. Anyding LLM verwendet das Konzept eines Arbeitsbereichs. Sie müssen also zunächst einen neuen Arbeitsbereich erstellen, wenn Sie in anydingby LM arbeiten möchten. Wenn Sie nun auf diese Einstellungen klicken und dann zu den Chat Einstellungen gehen, wird eine Liste verschiedener API Anbieter angezeigt, die Sie verwenden können. In dieser Liste befinden sich sowohl Olama als auch LM Studio und sogar Local AI. Sie können diese verwenden, um heruntergeladene lokale Modelle auszuführen, oder Sie können die Hackface ID direkt bereitstellen. Dadurch wird das Modell heruntergeladen. Sogar LLM kann standardmäßig einige Modelle ausführen, aber dazu müssen diese Modelle heruntergeladen werden. OK, zuerst zeige ich Ihnen, wie Sie Modelle mit LLM ausführen können, und dann zeige ich Ihnen, wie, wie Sie dieselben Modelle mit LM Studio konfigurieren können. Später im Video zeige ich Ihnen, wie Sie einige der von Ihnen erstellten Agenten verwenden können. Um einen Agenten auszuführen, müssen Sie jedoch sicherstellen, dass Sie ein Modell auswählen, das den Agenten tatsächlich ausführen kann. In meinem Fall wählen wir zunächst Olama als Modellanbieter aus. Dies sind dann alle Modelle, die auf meinen lokalen Rechner heruntergeladen werden. Sie müssen also zunächst eines dieser Modelle in Ihrem Terminal starten und können dann mit diesem Modell interagieren. Nehmen wir also An, ich wähle Lama 38 Billionen aus. In meinem Terminal sehen Sie, dass ich das Modell Lama 38 Billionen bereits gestartet habe. Sobald Sie das Modell ausgewählt haben, müssen Sie auf Arbeitsbereich aktualisieren klicken und auf diese Meldung warten. Der Arbeitsbereich wurde aktualisiert Jetzt können Sie mit diesem Modell wie mit jedem anderen L und M interagieren, mit dem Sie interagieren. Nehmen wir also an, ich tippe Hallo ein. Hier ist die Hallo, schön Sie kennenzulernen. Kann ich Ihnen irgendwie behilflich sein oder möchten Sie mit mir chatten? Richtig. So würden Sie normalerweise mit dem Modell interagieren. Die zweite Möglichkeit ein Modell zu verwenden, ist die Verwendung von LM Studio. In diesem Fall lade ich das Modell Mistral Small Instruct mit 8 Bit Gleitkommagenauigkeit. Der Grund dafür ist, dass Sie für agentenbasierte Workflows eine höhere Quantisierung verwenden möchten. Bit Quantisierung wird bei kleineren Modellen wahrscheinlich nicht funktionieren. Daher habe ich dieses Modell ausgewählt und werde danach den Server starten. Dadurch wurde der Server gestartet und jetzt wartet LM Studio auf eingehenden Datenverkehr. Daher werde ich jetzt einen weiteren Arbeitsbereich erstellen. Nennen wir ihn Agent zweiten innerhalb von Agent 2 kehre ich zu meinem Standard System zurück und hier in den LLM Anbietern wähle ich LM Studio aus. Wenn der Server läuft, erkennt er automatisch, welches Modell Sie gerade ausführen. Ich verwende also das ML Small Instruct Modell. Ich aktualisiere meinen Arbeitsbereich. OK. Jetzt kann ich zurückgehen und hier können wir einfach etwas wie hi eingeben. Okay, hier ist die Antwort, die wir erhalten Hallo, hi. Wie kann ich Ihnen heute behilflich sein? Im Hintergrund sehen Sie hier auch die Systemaufforderung, dann die Benutzereingabe oder Nachricht und dann die entsprechende Antwort des Modells. OK. Als nächstes zeige ich euch, wie ihr nicht nur mit dem Modell interagieren, sondern auch verschiedene benutzerdefinierte Gebotsagenten verwenden könnt. Zuerst gehen wir also wieder zu den Einstellungen. Ihr müsst zur Agentenkonfiguration gehen und hier wieder den LLM Anbieter für euren Agenten auswählen. Ich wähle also wieder LM Studio aus, weil dort das ML Small Model für uns ausgeführt wird und wir werden es aktualisieren. Wenn ihr jetzt hier zu den Agenten Fähigkeiten konfigurieren geht, gibt es hier eine Reihe von Fähigkeiten, die bereits vordefiniert sind. Ihr könnt einige davon aktivieren oder deaktivieren, zum Beispiel REC und Langzeitgedächtnis, dann Dokumente anzeigen und zusammenfassen, Website Skripten. Dies sind also die aktivierten Standardfähigkeiten. In dieser Liste gibt es jedoch noch einige andere Fähigkeiten, die ich aktiviert habe. Ihr könnt also Dateien im Browser generieren und speichern Ihr könnt Diagramme generieren oder eine Websuche durchführen. Ihr könnt auch eure Datenbanken verbinden. Dann kann das Tool mithilfe von SQL mit diesen Datenbanken interagieren. Es gibt einige benutzerdefinierte Fähigkeiten, die ich euch später im Video zeigen werde. Dies ist eine benutzerdefinierte Fähigkeit, die eine Archivsuche in allen im Archiv verfügbaren Dokumenten durchführt. Schauen wir uns zunächst die Websuche an. Hier gibt es verschiedene Optionen, aus denen Sie auswählen können. Ich verwende Please Search, da Sie damit kostenlos tausend Abfragen pro Monat durchführen können. Sie müssen sich bei Trelli anmelden und dann nur den API Schlüssel anfordern. Geben Sie hier den API Schlüssel ein und Sie können diese Websuche als Agentenskala verwenden. Sie können auch Diagramme erstellen. Lassen Sie mich Ihnen jedoch zunächst zeigen, wie Sie einen Agenten verwenden und dann sehen wir uns einige dieser Optionen an. OK. Um eine Agentenfähigkeit zu verwenden, müssen Sie den Befehl add Agent verwenden. Wenn Sie sich den Befehl add ansehen, ist dies im Grunde die Liste der verschiedenen Fähigkeiten, also eine Rack Suche. Wenn Sie Dokumente einbetten, sehen wir uns ein Beispiel Web Scraping Web Browsing Datei im Browser speichern oder Sie können alle verfügbaren Dokumente auflisten, die Dokumente zusammenfassen oder Diagramme erstellen. Richtig. Das funktioniert folgendermass Wenn Sie Agent hinzufügen sagen, ruft es den Agenten auf und versucht, eine dieser Fähigkeiten zu verwenden, wenn es der Meinung ist, dass dies hilfreich sein könnte. Mal sehen. Ich frage es, wer die US Wahlen 2024 gewonnen hat. Es sollte also in der Lage sein, diese Informationen aus dem Internet zu ziehen. Zuerst rief es also den Agenten auf. Dann entschied ich mich, das Tool zum Durchsuchen des Webbrowsers zu verwenden und innerhalb des Webbrowsers B hat es auch Zugriff auf TWI als Suchmaschine. Es suchte also nach diesem spezifischen wer hat die US Wahlen 2024 gewonnen? Es fand 5 Ergebnisse und lieferte dann basierend auf diesen Ergebnissen diese Antwort. Basierend auf den aktuellsten Ergebnissen hat Donald Trump die US-Präsidentschaftswahl in 2024 gewonnen und sich gegen Clarha Harris durchgesetzt und um das Weiße Haus zurückzuerobern. Dies ist ein historisches Comeback für Trump und macht ihn zum 47. Präsidenten der Vereinigten Staaten. Basierend auf der Suchanfrage und dem von Ihnen gewählten LLM kann es also eine bestimmte Agentenfähigkeit auswählen, um bestimmte Operationen auszuführen. Okay, hier ist ein weiteres Beispiel. Ich habe es Kannst du den Inhalt dieser Webseite zusammenfassen. Daraufhin hat es sich entschieden, das Web Scraping Tool zu verwenden und es hat die Daten von dieser Webseite gescrollt und uns danach eine kurze Zusammenfassung geliefert. Abgesehen davon gibt es einige Tools, die in ihrem Community Whoop verfügbar sind. Wenn du also hier die Community Whoop Tools erkundest, kannst du sehen, dass es einige Tools gibt, zum Beispiel die OpenStack App oder du kannst den Jenna Reader verwenden. Jenna Eye leistet wirklich Erstaunliches, insbesondere mit ihren Late Chunking Techniken und der Segment API. Es lohnt sich also auf jeden Fall, es auszuprobieren. Und dann gibt es noch ein paar andere, wie zum Beispiel Home Assistant Automation oder du kannst dir auch deine Kalenderereignisse ansehen. Das, das ich importiert habe, war dieses Archiv Suchtool. Du kannst also eines davon auswählen, auf importieren klicken und dann musst du sie überprüfen und anhängen oder importieren. Wir wollen nur sicherstellen, dass die von dir verwendeten Skills von jemandem veröffentlicht werden, dem du wirklich vertraust. In diesem Fall stammt die spezifische Fähigkeit vom Anyding LLM Team. Wir können also einfach auf Agentenfähigkeiten importieren klicken OK. Dies wurde erfolgreich importiert. Wenn Sie sich meine Agenten Fähigkeiten ansehen, wird diese spezifische Fähigkeit unter den benutzerdefinierten Fähigkeiten aufgeführt. Ich kann sie also aktivieren, wenn ich möchte. Und jetzt können wir denselben Befehl Add Agent verwenden, genau wie ich mit den restlichen Agenten Fähigkeiten interagiert habe. Nehmen wir an, Sie finden Artikel, die sich mit Hautkrebs befassen. Mal sehen, was er Ihnen anzeigt. Hier wurden einige Artikel angezeigt, die sich mit Hautkrebsrisiken befassen, richtig. Es ist also ziemlich cool, dass Sie ein Agentensystem haben, das vollständig lokale Modelle verwendet und verschiedene Aktionen im Namen des Benutzers ausführen kann. Wenn Sie Entwickler sind, können Sie auch einige Agentenfähigkeiten im Anything LLM Community Hoop beisteuern. Wenn Sie über eine RTX GPU verfügen, können Sie die meisten dieser Modelle lokal ausführen. Anything LLM ist ein wirklich interessantes Projekt, das über das bloße Chatten mit dem NLM hinausgeht. Mit Hilfe lokaler Modelle kann es tatsächlich noch viel mehr leisten. Es lohnt sich also auf jeden Fall es anzuschauen. Es handelt sich um ein komplettes Open Source Projekt. Schaut euch also das GitHub Repository an und gebt ihnen einen Stern, wenn euch ihre Arbeit gefällt. Lasst mich wissen, ob ich weitere Inhalte zu NLM Themen erstellen soll. Ich hoffe, dieses Video war hilfreich für euch. Danke fürs Zuschauen und wie immer bis zum nächsten Mal.