Que sont les plugins ChatGPT et comment fonctionnent-ils

ChatGPT a balayé le monde au cours des derniers mois depuis sa sortie au public. En fait, cela ne fait-il que quelques mois ? L’impact qu’il a eu donne l’impression qu’il existe depuis des années.

Mais malgré toutes ses vertus, il avait un petit défaut qui n’était pas si petit ; il n’a pas eu accès aux informations récentes. La seule information dont il disposait était jusqu’à la mi-2021. Mais OpenAI commence enfin à changer cela. Non, il n’a pas été formé sur des données plus récentes. Cependant, OpenAI met enfin en place une prise en charge précoce des plugins dans ChatGPT qui lui permettent de se connecter à Internet ainsi qu’à certains services tiers !

Que sont les plugins ChatGPT ?

Les plugins sont des outils spécialement conçus pour les modèles de langage. Ils améliorent les capacités du chatbot et lui permettent d’entreprendre des tâches auparavant impossibles. Par exemple, il peut désormais récupérer des informations en temps réel, comme les résultats sportifs, les cours des actions, effectuer des actions au nom d’un utilisateur, comme la réservation de vols, et récupérer des informations de la base de connaissances, comme les documents de l’entreprise, etc.

Depuis le lancement de ChatGPT, les plugins étaient l’élément le plus demandé par les utilisateurs, et OpenAI a enfin livré. Mais leur sortie va être un déploiement progressif et itératif. Initialement, OpenAI n’a publié que quelques plugins tiers et quelques plugins qui lui sont propres.

L’accès pour les utilisateurs, ainsi que pour les développeurs qui souhaitent créer des plugins, est également actuellement limité. De plus, en tant qu’utilisateur final, l’accès n’est accordé qu’aux utilisateurs de ChatGPT Plus pour le moment, mais ChatGPT indique qu’il prévoit d’étendre le déploiement à l’avenir.

L’accès ne peut être demandé qu’après avoir rejoint leur liste d’attente , ce qui implique de remplir un petit questionnaire indiquant pourquoi vous souhaitez accéder et si vous seriez disposé à fournir des commentaires.

La liste des plugins tiers comprend :

Expedia – Ce plugin vous permettra de planifier votre prochain voyage avec ChatGPT, avec des informations complètes sur la disponibilité et le prix des hôtels, des vols, etc.
FiscalNote – Ce plugin ChatGPT vous permettrait d’accéder à des informations et données juridiques, politiques et réglementaires en temps réel.
Instacart – Utilisez ChatGPT pour commander des produits d’épicerie dans les épiceries et les supermarchés à proximité.
KAYAK – Utilisez KAYAK dans ChatGPT pour trouver des voitures, des hôtels, des locations, etc. dans les limites de votre budget défini.
Klarna Shopping – Recherchez et comparez les prix de diverses boutiques en ligne au sein de votre conversation ChatGPT.
Milo Family AI – Le plugin pour les parents pour booster la parentalité.
OpenTable – Obtenez des recommandations de restaurants et des liens de réservation dans les chats.
Achetez sur Shopify – Recherchez des produits de différentes marques.
Slack – Utilisez ChatGPT avec Slack pour rationaliser la communication
Parlez – Obtenez un tuteur de langue alimenté par l’IA
Wolfram – Obtenez ChatGPT pour accéder aux calculs, aux connaissances en mathématiques, etc.
Zapier – Utilisez ce plugin pour interagir avec plus de 5000 applications dans ChatGPT.

Il existe également deux plugins d’OpenAI lui-même : Browsing (un navigateur Web) et un interpréteur de code, et un plugin open-source, appelé Retriever. Tous les plugins sont actuellement en phase de test Alpha.

Comment fonctionnent ces plugins ?

Selon OpenAI, les plugins sont « les yeux et les oreilles » pour les modèles de langage comme ChatGPT. Le fait concernant les modèles de langage est qu’ils ne peuvent apprendre qu’à partir de leurs données d’apprentissage et que l’apprentissage peut être limité. ChatGPT ne peut fournir que des instructions textuelles. Ces plugins peuvent lui faire suivre ces instructions ainsi que mettre à disposition des informations trop récentes, trop personnelles ou trop spécifiques et qui n’ont pas pu être incluses dans les données d’entraînement.

Mais il y a un problème de sécurité qui survient lorsque vous pensez à un modèle d’IA suivant des instructions et effectuant des actions en votre nom. C’est la raison pour laquelle les plugins sont déployés lentement. OpenAI les construit avec la sécurité comme principe de base et surveillera leur utilisation dans le monde réel.

Voyons comment fonctionnent certains de ces modèles de plugins.

Navigation

C’est le plugin qui connecte ChatGPT à Internet et c’est l’un des deux plugins d’OpenAI lui-même. Le plugin utilise l’API de recherche Bing de Microsoft dans une tournure des événements pas si curieuse; les deux sociétés ont conclu des accords depuis des années. Outre les investissements initiaux, Microsoft utilise désormais également la technologie OpenAI pour alimenter son nouveau Bing AI.

Le modèle sait non seulement comment naviguer sur Internet, mais il sait également quand naviguer sur Internet et quand ne pas le faire. Par exemple, lorsqu’un utilisateur demande à ChatGPT des informations sur les Oscars 2023, il recherche avec précision la requête sur Internet. Mais lorsqu’on l’interroge sur les premiers Oscars jamais organisés, il ne recherche pas sur Internet, car cette information fait partie de ses données d’entraînement.

Ainsi, pour que ChatGPT navigue sur Internet, vous devrez sélectionner le modèle/plugin « Navigation ».

Désormais, lorsqu’un utilisateur saisit une invite qui l’oblige à naviguer sur Internet, il le fera ; le processus prendra un certain temps car le bot aura besoin de temps pour se familiariser avec les informations. Vous pouvez voir le flux d’action de ChatGPT jusqu’à ce qu’il génère une réponse en développant la vignette « Navigation sur le Web… ».

Là, vous pouvez voir quelles requêtes il a recherchées, sur quels liens il a cliqué et quand il lit en temps réel. Il utilise un navigateur Web basé sur du texte pour pouvoir aller au-delà des résultats de la recherche et lire et naviguer sur les sites Web.

Une fois que ChatGPT est rattrapé par les événements, il vous donnera une réponse dans son modèle de langage naturel, comme auparavant. Mais la réponse inclura des citations lorsqu’elle sera générée avec le modèle de navigation. En cliquant sur la citation, vous serez redirigé vers le site Web. Cet aspect particulier est le même que Bing Chat AI.

Du point de vue de la sécurité, le navigateur textuel ne peut faire que des requêtes GET, ce qui réduit certains risques. Par exemple, le modèle peut uniquement récupérer des informations sur Internet, mais il ne peut pas effectuer d’opérations « transactionnelles », comme soumettre un formulaire.

Interprète de code

Le modèle Code Interpreter, le deuxième plugin d’OpenAI, fournit à ChatGPT un interpréteur Python. Il lui fournit également un espace disque de courte durée.

La session est active pendant une seule conversation, de sorte que le prochain appel peut s’ajouter à un appel précédent, mais il existe une limite de temps supérieure. De plus, l’interpréteur de code prend également en charge le téléchargement de fichiers et le téléchargement de fichiers avec les résultats.

Pour le garder en sécurité, OpenAI le garde dans un environnement d’exécution en bac à sable et pare-feu. L’accès à Internet est également désactivé pour l’interpréteur de code. Selon OpenAI, même si cette décision limite les fonctionnalités du modèle, ils estiment que c’est la bonne décision au départ.

Le modèle ‘Code Interpreter’ doit être sélectionné avant de commencer la conversation.

Une fois que l’utilisateur a entré les invites qui nécessitent l’utilisation du plugin Code Interpreter, ChatGPT commencera à l’utiliser pour effectuer les calculs requis. Comme pour la navigation, l’utilisateur peut voir le flux de calculs de ChatGPT en cliquant sur « Afficher le travail » et toutes les étapes du calcul seront visibles.

Lors des premiers tests, OpenAI a découvert que ce plugin était utile dans certains scénarios. Ceux-ci inclus:

Résoudre des problèmes mathématiques, à la fois quantitatifs et qualitatifs, pour lesquels, très franchement, les utilisateurs trouvaient que ChatGPT était une merde auparavant.
Faire de l’analyse et de la visualisation de données, ce qui enthousiasme beaucoup d’utilisateurs.
Conversion de fichiers entre formats

OpenAI s’attend à ce que les utilisateurs découvrent des tâches plus utiles que l’interpréteur de code peut effectuer au fur et à mesure qu’ils l’essaient.

Plugins tiers

Le reste des plugins relève du modèle Plugins. Cela inclut également le plugin open-source Retriever d’OpenAI que les développeurs pourront utiliser et 12 plugins tiers.

Une fois le modèle de plugins sélectionné dans la liste déroulante, l’utilisateur peut installer les plugins souhaités à partir du magasin.

Voici comment les plugins fonctionneront en quelques mots :

Une fois que les utilisateurs activent un plugin en l’installant (ils ne seront pas activés automatiquement) et commencent la conversation, OpenAI injectera une description compacte du plugin à ChatGPT dans un message. Ce message n’est pas visible pour les utilisateurs finaux, mais il inclura la description du plug-in, les points de terminaison et des exemples. Ainsi, jusqu’à ce que vous choisissiez d’utiliser un plugin dans une conversation, ChatGPT n’en aura aucune connaissance. Vous devez activer les plugins que vous souhaitez utiliser dans chaque conversation.

Maintenant, vous pouvez envoyer votre requête à ChatGPT. Si le bot trouve pertinent d’invoquer le plugin, il le fera à l’aide d’un appel API. En d’autres termes, il peut décider lui-même si un plugin doit être invoqué.

Il inclura ensuite les résultats qu’il obtient du plugin dans la réponse qu’il génère pour vous.

Voici un exemple de la façon dont ChatGPT utilise les plugins d’OpenTable, Wolfram et Instacart. Un utilisateur demande à ChatGPT de recommander un restaurant végétalien pour le samedi et une recette végétalienne pour le dimanche. Ils lui demandent également de calculer les calories pour la recette qu’il recommande d’utiliser Wolfram ainsi que de commander les ingrédients de la recette sur Instacart. Le bot AI fait exactement cela.

Tout d’abord, il utilise OpenTable pour recommander un restaurant et un lien pour effectuer une réservation.

Il recommande une recette végétalienne (ce qu’il pouvait faire auparavant), puis calcule les calories de la recette à l’aide de Wolfram.

Enfin, il ajoute tous les ingrédients requis au panier sur Instacart et présente à l’utilisateur le lien sur lequel l’utilisateur peut simplement cliquer pour terminer la commande !

Les plugins vont complètement changer le fonctionnement de ChatGPT. La vitesse à laquelle l’IA progresse au cours des derniers mois en fait un moment tout aussi effrayant et agréable à vivre, n’est-ce pas ?