Что такое плагины ChatGPT и как они работают

ChatGPT сбил мир с ног за последние несколько месяцев с тех пор, как он был выпущен для публики. В самом деле, прошло всего несколько месяцев? Влияние, которое это произвело, заставляет его чувствовать, что это было вокруг в течение многих лет.

Но, несмотря на все его достоинства, у него был один крошечный недостаток, который был не таким уж крошечным; у него не было доступа к последней информации. Единственная информация, которая у него была, была до середины 2021 года. Но OpenAI, наконец, начинает это менять. Нет, он не обучался на новых данных. Тем не менее, OpenAI, наконец, реализует раннюю поддержку плагинов в ChatGPT, которые позволяют ему подключаться к Интернету, а также к некоторым сторонним службам!

Что такое плагины ChatGPT?

Плагины — это инструменты, разработанные специально для языковых моделей. Они расширяют возможности чат-бота и позволяют ему выполнять ранее невыполнимые задачи. Например, теперь он может получать информацию в режиме реального времени, такую как спортивные результаты, цены на акции, выполнять действия от имени пользователя, такие как бронирование рейсов, и получать информацию из базы знаний, такую как документы компании и т. д.

С момента запуска ChatGPT плагины были самым востребованным продуктом среди пользователей, и OpenAI наконец-то их реализовал. Но их выпуск будет постепенным, итеративным. Первоначально OpenAI выпустила только несколько сторонних плагинов и пару собственных плагинов.

Доступ для пользователей, а также разработчиков, которые хотят создавать плагины, в настоящее время также ограничен. Более того, в качестве конечного пользователя доступ предоставляется только пользователям ChatGPT Plus на данный момент, но ChatGPT заявляет, что они планируют расширить развертывание в будущем.

Доступ можно запросить только после присоединения к их списку ожидания , что влечет за собой заполнение небольшой анкеты о том, почему вам нужен доступ и готовы ли вы предоставить отзыв.

В список сторонних плагинов входят:

Expedia — этот плагин позволит вам спланировать свою следующую поездку с помощью ChatGPT с полной информацией о наличии и цене отелей, рейсов и т. д.
FiscalNote — этот плагин ChatGPT позволит вам получить доступ к юридической, политической и нормативной информации и данным в режиме реального времени.
Instacart — используйте ChatGPT для заказа продуктов из ближайших продуктовых магазинов и супермаркетов.
KAYAK — используйте KAYAK в ChatGPT, чтобы найти автомобили, отели, аренду и т. д. в рамках установленного бюджета.
Klarna Shopping — ищите и сравнивайте цены в различных интернет-магазинах во время разговора в ChatGPT.
Milo Family AI — плагин для родителей, позволяющий повысить родительскую нагрузку.
OpenTable — получайте рекомендации ресторанов и ссылки для бронирования в чатах.
Магазин от Shopify — Поиск товаров от разных брендов.
Slack — используйте ChatGPT со Slack для оптимизации общения
Говори — найди репетитора языка на базе ИИ
Wolfram — Получите ChatGPT для доступа к вычислениям, математическим знаниям и т. д.
Zapier — используйте этот плагин для взаимодействия с более чем 5000 приложений в ChatGPT.

Есть также два плагина от самого OpenAI: Browsing (веб-браузер) и интерпретатор кода, а также плагин с открытым исходным кодом под названием Retriever. Все плагины в настоящее время находятся на стадии альфа-тестирования.

Как работают эти плагины?

Согласно OpenAI, плагины — это «глаза и уши» для таких языковых моделей, как ChatGPT. Факт о языковых моделях заключается в том, что они могут учиться только на своих обучающих данных, и это обучение может быть ограничено. ChatGPT может предоставлять только текстовые инструкции. Эти плагины могут заставить его следовать этим инструкциям, а также предоставлять информацию, которая является слишком свежей, слишком личной или слишком конкретной и не может быть включена в данные обучения.

Но есть проблема безопасности, которая возникает, когда вы думаете о модели ИИ, которая следует инструкциям и выполняет действия от вашего имени. Вот почему плагины развертываются медленно. OpenAI строит их с учетом безопасности в качестве основного принципа и будет отслеживать их реальное использование.

Давайте посмотрим, как работают некоторые из этих моделей плагинов.

Browsing

Это плагин, который подключает ChatGPT к Интернету и является одним из двух плагинов самого OpenAI. Плагин использует поисковый API Bing от Microsoft в не очень любопытном повороте событий; у двух компаний были сделки, уходящие в прошлое. Помимо первоначальных инвестиций, Microsoft теперь также использует технологию OpenAI для поддержки своего нового искусственного интеллекта Bing.

Модель не только знает, как выходить в интернет, но и знает, когда выходить в интернет, а когда нет. Например, когда пользователь запрашивает у ChatGPT информацию об «Оскаре-2023», он точно ищет запрос в Интернете. Но когда его спрашивают о первых в истории Оскарах, он не ищет в Интернете, потому что эта информация является частью его обучающих данных.

Итак, чтобы ChatGPT просматривал Интернет, вам нужно выбрать модель/плагин «Просмотр».

Теперь, когда пользователь вводит приглашение, которое требует от него просмотра Интернета, он будет это делать; процесс займет некоторое время, так как боту потребуется время, чтобы ознакомиться с информацией. Вы можете видеть поток действий ChatGPT до тех пор, пока он не сгенерирует ответ, развернув плитку «Просмотр веб-страниц…».

Там вы можете увидеть, какие запросы он искал, какие ссылки он нажимал и когда он читал в режиме реального времени. Он использует текстовый веб-браузер, поэтому он может выходить за рамки результатов поиска и фактически читать и перемещаться по веб-сайтам.

Как только ChatGPT поймает события, он, как и раньше, даст вам ответ на естественном языке. Но ответ будет включать цитаты, когда он генерируется с помощью модели просмотра. Нажав на цитату, вы попадете на сайт. Этот конкретный аспект такой же, как и у Bing Chat AI.

С точки зрения безопасности текстовый браузер может выполнять только запросы GET, что снижает определенные риски. Например, модель может получать информацию только из Интернета, но не может выполнять «транзакционные» операции, такие как отправка формы.

Интерпретатор кода

Модель Code Interpreter, второй плагин от OpenAI, предоставляет ChatGPT интерпретатор Python. Это также предоставляет ему недолговечное дисковое пространство.

Сеанс активен во время одного чата, поэтому следующий вызов может основываться на предыдущем вызове, но существует ограничение по времени. Кроме того, интерпретатор кода также поддерживает загрузку файлов и загрузку файлов с результатами.

Чтобы обеспечить его безопасность, OpenAI хранит его в изолированной среде выполнения с брандмауэром. Доступ в Интернет также отключен для интерпретатора кода. Согласно OpenAI, несмотря на то, что этот шаг ограничивает функциональность модели, изначально они считают его правильным.

Модель «Интерпретатор кода» должна быть выбрана до начала разговора.

Как только пользователь вводит подсказки, требующие использования плагина Code Interpreter, ChatGPT начнет использовать его для выполнения необходимых вычислений. Как и в случае с просмотром, пользователь может увидеть поток вычислений ChatGPT, нажав «Показать работу», и все этапы расчета будут видны.

В ходе первоначальных тестов OpenAI обнаружил, что этот плагин полезен в определенных сценариях. К ним относятся:

Решение математических задач, как количественных, так и качественных, которые, откровенно говоря, раньше казались пользователям ChatGPT ерундой.
Занимаюсь анализом и визуализацией данных, что очень нравится многим пользователям.
Преобразование файлов между форматами

OpenAI ожидает, что пользователи откроют для себя больше полезных задач, которые может выполнять интерпретатор кода, когда они опробуют его.

Сторонние плагины

Остальные плагины относятся к модели плагинов. Это также включает плагин Retriever с открытым исходным кодом от OpenAI, который разработчики смогут использовать, и 12 сторонних плагинов.

После выбора модели плагинов из раскрывающегося списка пользователь может установить нужные плагины из магазина.

Вот как плагины будут работать в двух словах:

Как только пользователи активируют плагин, установив его (они не будут активированы автоматически) и начнут общение, OpenAI добавит компактное описание плагина в ChatGPT в сообщении. Это сообщение не видно конечным пользователям, но оно будет включать описание подключаемого модуля, конечные точки и примеры. Таким образом, пока вы не решите использовать плагин в разговоре, ChatGPT ничего о нем не узнает. Вы должны активировать плагины, которые хотите использовать в каждом разговоре.

Теперь вы можете отправить свой запрос в ChatGPT. Если бот сочтет целесообразным вызвать плагин, он сделает это с помощью вызова API. Другими словами, он может сам решать, нужно ли вызывать подключаемый модуль.

Затем он будет включать результаты, полученные от плагина, в ответ, который он генерирует для вас.

Вот пример того, как ChatGPT использует плагины от OpenTable, Wolfram и Instacart. Пользователь просит ChatGPT порекомендовать веганский ресторан на субботу и веганский рецепт на воскресенье. Они также просят его рассчитать калории для рецепта, который он рекомендует использовать с помощью Wolfram, а также заказать ингредиенты для рецепта в Instacart. Бот AI делает именно это.

Во-первых, он использует OpenTable, чтобы порекомендовать ресторан и ссылку для бронирования.

Он рекомендует веганский рецепт (что он мог сделать и раньше), а затем рассчитывает калории для рецепта с помощью Wolfram.

Наконец, он добавляет все необходимые ингредиенты в корзину на Instacart и предоставляет пользователю ссылку, по которой пользователь может просто щелкнуть, чтобы завершить заказ!

Плагины полностью изменят способ работы ChatGPT. Скорость, с которой ИИ развивается в последние несколько месяцев, делает это время одинаково пугающим и прекрасным, не так ли?