Was sind ChatGPT-Plugins und wie funktionieren sie?

ChatGPT hat in den letzten Monaten, seit es der Öffentlichkeit zugänglich gemacht wurde, die Welt in Aufruhr versetzt. Sind es tatsächlich erst ein paar Monate? Die Wirkung, die es hinterlassen hat, vermittelt den Eindruck, als gäbe es es schon seit Jahren.

Aber trotz all seiner Vorzüge hatte es einen kleinen Fehler, der gar nicht so klein war; Es hatte keinen Zugriff auf aktuelle Informationen. Die einzigen Informationen, die es gab, reichten bis Mitte 2021. Aber OpenAI beginnt endlich, das zu ändern. Nein, es wurde nicht anhand neuerer Daten trainiert. OpenAI implementiert jedoch endlich eine frühe Unterstützung für Plugins in ChatGPT, die es ihm ermöglichen, eine Verbindung zum Internet sowie zu einigen Diensten von Drittanbietern herzustellen!

Was sind ChatGPT-Plugins?

Plugins sind Tools, die speziell für Sprachmodelle entwickelt wurden. Sie erweitern die Fähigkeiten des Chatbots und ermöglichen ihm, bisher unmögliche Aufgaben zu übernehmen. Es kann jetzt beispielsweise Echtzeitinformationen wie Sportergebnisse und Aktienkurse abrufen, Aktionen im Namen eines Benutzers ausführen, wie z. B. Flugbuchungen, und Wissensdatenbankinformationen wie Unternehmensdokumente usw. abrufen.

Seit der Einführung von ChatGPT waren Plugins das von Benutzern am meisten nachgefragte Produkt, und OpenAI hat endlich geliefert. Aber ihre Veröffentlichung wird ein schrittweiser, iterativer Rollout sein. Anfangs hat OpenAI nur einige Plugins von Drittanbietern und einige eigene Plugins veröffentlicht.

Auch der Zugriff für Benutzer sowie Entwickler, die Plugins erstellen möchten, ist derzeit eingeschränkt. Darüber hinaus wird der Zugriff als Endbenutzer derzeit nur ChatGPT Plus-Benutzern gewährt, ChatGPT gibt jedoch an, dass sie planen, den Rollout in Zukunft auszuweiten.

Der Zugriff kann erst beantragt werden, nachdem Sie sich in die Warteliste eingetragen haben . Dazu müssen Sie einen kleinen Fragebogen ausfüllen, warum Sie Zugriff wünschen und ob Sie bereit wären, Feedback zu geben.

Die Liste der Drittanbieter-Plugins umfasst:

Expedia – Mit diesem Plugin können Sie Ihre nächste Reise mit ChatGPT planen und erhalten umfassende Informationen über die Verfügbarkeit und den Preis von Hotels, Flügen usw.
FiscalNote – Dieses ChatGPT-Plugin ermöglicht Ihnen den Zugriff auf rechtliche, politische und behördliche Informationen und Daten in Echtzeit.
Instacart – Verwenden Sie ChatGPT, um Lebensmittel in nahegelegenen Lebensmittelgeschäften und Supermärkten zu bestellen.
KAYAK – Verwenden Sie KAYAK innerhalb von ChatGPT, um Autos, Hotels, Mietobjekte usw. innerhalb Ihres definierten Budgets zu finden.
Klarna Shopping – Suchen und vergleichen Sie die Preise verschiedener Online-Shops in Ihrem ChatGPT-Gespräch.
Milo Family AI – Das Plugin für Eltern, um die Kindererziehung zu beschleunigen.
OpenTable – Erhalten Sie Restaurantempfehlungen und Reservierungslinks in Chats.
Bei Shopify einkaufen – Suchen Sie nach Produkten verschiedener Marken.
Slack – Verwenden Sie ChatGPT mit Slack, um die Kommunikation zu optimieren
Sprechen – Holen Sie sich einen KI-gestützten Sprachlehrer
Wolfram – Holen Sie sich ChatGPT, um auf Berechnungen, Mathematikkenntnisse usw. zuzugreifen.
Zapier – Verwenden Sie dieses Plugin, um mit mehr als 5000 Apps innerhalb von ChatGPT zu interagieren.

Es gibt auch zwei Plugins von OpenAI selbst: Browsing (einen Webbrowser) und einen Code-Interpreter sowie ein Open-Source-Plugin namens Retriever. Alle Plugins befinden sich derzeit in der Alpha-Testphase.

Wie funktionieren diese Plugins?

Laut OpenAI sind Plugins „Augen und Ohren“ für Sprachmodelle wie ChatGPT. Tatsache ist, dass Sprachmodelle nur aus ihren Trainingsdaten lernen können und dass das Lernen begrenzt sein kann. ChatGPT kann allein nur textbasierte Anweisungen bereitstellen. Diese Plugins können dazu führen, dass diese Anweisungen befolgt werden, und Informationen verfügbar machen, die zu aktuell, zu persönlich oder zu spezifisch sind und nicht in die Trainingsdaten aufgenommen werden konnten.

Es bestehen jedoch Sicherheitsbedenken, wenn Sie darüber nachdenken, dass ein KI-Modell Anweisungen befolgt und in Ihrem Namen Aktionen ausführt. Aus diesem Grund werden Plugins langsam eingeführt. OpenAI baut sie mit Sicherheit als Kernprinzip auf und wird ihre reale Nutzung überwachen.

Werfen wir einen Blick darauf, wie einige dieser Plugin-Modelle funktionieren.

Durchsuchen

Dies ist das Plugin, das ChatGPT mit dem Internet verbindet und eines der beiden Plugins von OpenAI selbst ist. Das Plugin nutzt die Bing-Such-API von Microsoft in einer nicht ganz so merkwürdigen Wendung der Ereignisse; Die beiden Unternehmen hatten schon seit Jahren Verträge. Neben den Anfangsinvestitionen nutzt Microsoft nun auch die OpenAI-Technologie, um seine neue Bing-KI zu betreiben.

Das Modell weiß nicht nur, wie man im Internet surft, sondern auch, wann man im Internet surfen sollte und wann nicht. Wenn ein Benutzer beispielsweise ChatGPT nach Informationen zu den Oscars 2023 fragt, durchsucht es das Internet genau nach der Suchanfrage. Doch auf die Frage nach den ersten Oscars, die jemals verliehen wurden, recherchiert das Unternehmen nicht im Internet, da diese Informationen Teil seiner Trainingsdaten sind.

Damit ChatGPT im Internet surfen kann, müssen Sie das Modell/Plugin „Browsing“ auswählen.

Wenn ein Benutzer nun eine Eingabeaufforderung eingibt, die ihn zum Surfen im Internet auffordert, wird er dies tun. Der Vorgang wird einige Zeit in Anspruch nehmen, da der Bot Zeit benötigt, um sich mit den Informationen vertraut zu machen. Sie können den Aktionsablauf von ChatGPT sehen, bis eine Antwort generiert wird, indem Sie die Kachel „Im Internet surfen …“ erweitern.

Dort können Sie in Echtzeit sehen, nach welchen Suchanfragen gesucht wurde, auf welche Links geklickt wurde und wann die Seite liest. Es verwendet einen textbasierten Webbrowser, sodass es über die Suchergebnisse hinausgehen und die Websites tatsächlich lesen und navigieren kann.

Sobald ChatGPT die Ereignisse erfasst hat, erhalten Sie wie zuvor eine Antwort in seinem natürlichen Sprachmodell. Die Antwort enthält jedoch Zitate, wenn sie mit dem Browsing-Modell generiert wird. Durch Klicken auf das Zitat gelangen Sie zur Website. Dieser besondere Aspekt ist derselbe wie bei Bing Chat AI.

Aus Sicherheitsgründen kann der textbasierte Browser nur GET-Anfragen stellen, was gewisse Risiken reduziert. Das Modell kann beispielsweise nur Informationen aus dem Internet abrufen, aber keine „transaktionalen“ Vorgänge wie das Absenden eines Formulars ausführen.

Code-Interpreter

Das Code Interpreter-Modell, das zweite Plugin von OpenAI, stellt ChatGPT einen Python-Interpreter zur Verfügung. Es stellt ihm auch kurzlebigen Speicherplatz zur Verfügung.

Die Sitzung ist während eines einzelnen Chats aktiv, sodass der nächste Anruf auf einem vorherigen Anruf aufbauen kann, es gibt jedoch eine zeitliche Obergrenze. Darüber hinaus unterstützt der Code Interpreter auch das Hochladen von Dateien und das Herunterladen von Dateien mit den Ergebnissen.

Um die Sicherheit zu gewährleisten, speichert OpenAI es in einer Sandbox-Ausführungsumgebung mit Firewall. Der Internetzugang ist auch für Code Interpreter deaktiviert. Obwohl dieser Schritt die Funktionalität des Modells einschränkt, sind sie laut OpenAI zunächst der Meinung, dass es der richtige Schritt ist.

Das Modell „Code Interpreter“ muss vor Beginn des Gesprächs ausgewählt werden.

Sobald der Benutzer die Eingabeaufforderungen eingibt, die die Verwendung des Code Interpreter-Plugins erfordern, beginnt ChatGPT damit, die erforderlichen Berechnungen durchzuführen. Wie beim Surfen kann der Benutzer den Berechnungsfluss von ChatGPT sehen, indem er auf „Arbeit anzeigen“ klickt und alle Schritte in der Berechnung sichtbar sind.

In ersten Tests hat OpenAI festgestellt, dass dieses Plugin in bestimmten Szenarien nützlich ist. Diese beinhalten:

Das Lösen mathematischer Probleme, sowohl quantitativer als auch qualitativer Art, war für Benutzer früher mit ChatGPT völliger Unsinn.
Durchführung von Datenanalysen und -visualisierungen, was viele Benutzer begeistert.
Konvertieren von Dateien zwischen Formaten

OpenAI erwartet, dass Benutzer beim Ausprobieren weitere nützliche Aufgaben entdecken, die der Code-Interpreter ausführen kann.

Plugins von Drittanbietern

Der Rest der Plugins fällt unter das Plugins-Modell. Dazu gehören auch das Open-Source-Retriever-Plugin von OpenAI, das Entwickler verwenden können, sowie 12 Plugins von Drittanbietern.

Sobald das Plugins-Modell aus der Dropdown-Liste ausgewählt wurde, kann der Benutzer die gewünschten Plugins aus dem Store installieren.

So funktionieren Plugins in Kürze:

Sobald die Benutzer ein Plugin durch die Installation aktivieren (sie werden nicht automatisch aktiviert) und die Konversation beginnen, fügt OpenAI in einer Nachricht eine kompakte Beschreibung des Plugins in ChatGPT ein. Diese Nachricht ist für Endbenutzer nicht sichtbar, enthält jedoch die Beschreibung, Endpunkte und Beispiele des Plugins. Bis Sie sich also für die Verwendung eines Plugins in einer Konversation entscheiden, hat ChatGPT keine Kenntnis davon. Sie müssen die Plugins, die Sie verwenden möchten, in jeder Konversation aktivieren.

Jetzt können Sie Ihre Anfrage an ChatGPT stellen. Wenn der Bot es für relevant hält, das Plugin aufzurufen, wird er dies über einen API-Aufruf tun. Mit anderen Worten: Es kann selbst entscheiden, ob ein Plugin aufgerufen werden muss.

Anschließend werden die vom Plugin erhaltenen Ergebnisse in die für Sie generierte Antwort einbezogen.

Hier ist ein Beispiel dafür, wie ChatGPT Plugins von OpenTable, Wolfram und Instacart verwendet. Ein Benutzer bittet ChatGPT, ein veganes Restaurant für Samstag und ein veganes Rezept für Sonntag zu empfehlen. Sie bitten es außerdem, die Kalorien für das von ihm empfohlene Rezept mit Wolfram zu berechnen und die Zutaten für das Rezept bei Instacart zu bestellen. Der KI-Bot macht genau das.

Erstens nutzt es OpenTable, um ein Restaurant zu empfehlen und einen Link zur Reservierung bereitzustellen.

Es empfiehlt ein veganes Rezept (was früher möglich war) und berechnet dann mithilfe von Wolfram die Kalorien für das Rezept.

Schließlich werden alle erforderlichen Zutaten in den Warenkorb auf Instacart gelegt und dem Benutzer der Link angezeigt, auf den er einfach klicken kann, um die Bestellung abzuschließen!

Plugins werden die Funktionsweise von ChatGPT völlig verändern. Die Geschwindigkeit, mit der die KI in den letzten Monaten Fortschritte gemacht hat, macht es zu einer ebenso beängstigenden wie großartigen Zeit zum Leben, nicht wahr?