С момента появления ChatGPT в ноябре 2022 г. термин «большая языковая модель» (LLM) быстро превратился из нишевого термина для ботаников в области искусственного интеллекта в популярное слово, которое у всех на слуху. Наибольшая привлекательность локальной LLM заключается в возможности воспроизвести возможности такого чатбота, как ChatGPT, на своем компьютере без багажа облачной версии.
Существуют аргументы как за, так и против установки локального LLM на своем компьютере. Мы отбросим шумиху и приведем факты. Стоит ли использовать локальный LLM?
Плюсы использования локальных LLM
Почему люди так любят создавать собственные большие языковые модели на своих компьютерах? Каковы практические преимущества, помимо шумихи и хвастовства?
Когда ChatGPT и Bing AI только появились в сети, то, что оба чат-бота готовы были говорить и делать, вызывало как восхищение, так и тревогу. Bing AI вел себя тепло и мило, как будто у него были эмоции. ChatGPT был готов использовать бранные слова, если вы вежливо попросите. В то время оба чат-бота даже помогли бы вам сделать бомбу, если бы вы использовали правильные подсказки. Возможно, это звучит как все оттенки неправильного, но то, что они могли делать все, что угодно, символизировало неограниченные возможности языковых моделей, на которых они работали.
Сегодня оба чат-бота подверглись такой жесткой цензуре, что они даже не помогут вам написать вымышленный криминальный роман с жестокими сценами. Некоторые чат-боты с искусственным интеллектом даже не будут говорить о религии или политике. Хотя LLM, которые вы можете создать на месте, не совсем свободны от цензуры, многие из них с удовольствием сделают то, что не могут сделать чат-боты, работающие с общественностью. Поэтому, если Вы не хотите, чтобы робот читал Вам лекции о морали при обсуждении тем, представляющих для Вас личный интерес, возможно, стоит завести местный LLM.
Одна из основных причин, по которой люди выбирают локальный LLM, заключается в том, что все, что происходит на их компьютере, остается на их компьютере. Когда Вы пользуетесь услугами локального LLM, это все равно что вести приватный разговор в своей гостиной — никто из посторонних не может подслушать. Экспериментируете ли Вы с данными своей кредитной карты или ведете с LLM конфиденциальные личные беседы, все полученные данные хранятся только на Вашем компьютере. Альтернативой является использование публично доступных LLM, таких как GPT-4, что дает возможность соответствующим компаниям получить доступ к информации о Вашем чате.
При широком распространении и доступности Интернета автономный доступ может показаться банальной причиной для использования локального LLM. Однако автономный доступ может стать особенно критичным в удаленных или изолированных местах, где интернет-сервис ненадежен или недоступен. В таких ситуациях локальный LLM, работающий независимо от подключения к Интернету, становится незаменимым инструментом. С его помощью вы можете продолжать заниматься своими делами без перерыва.
Средняя цена за доступ к таким LLM, как GPT-4 или Claude 2, составляет 20 долл. в месяц. Хотя эта цена и не кажется пугающей, за такую сумму можно получить несколько неприятных ограничений. Например, для GPT-4, доступ к которому осуществляется через ChatGPT, действует ограничение на 50 сообщений за три часа. Обойти эти ограничения можно только путем перехода на тарифный план ChatGPT Enterprise, который может стоить тысячи долларов. При использовании локального LLM после установки программного обеспечения Вам не нужно оплачивать ежемесячную подписку на 20 долларов США или периодические расходы. Это все равно что купить автомобиль, а не пользоваться услугами службы совместного использования автомобилей. Вначале это дорого, но со временем вы экономите деньги.
Общедоступные чат-боты с искусственным интеллектом имеют ограниченные возможности настройки из-за соображений безопасности и цензуры. ИИ-помощник, размещаемый на локальном хостинге, позволяет полностью настроить модель под свои нужды. Ассистент может обучаться на собственных данных с учетом специфики его использования, что повышает релевантность и точность. Например, юрист может оптимизировать локальный ИИ для получения более точных юридических выводов. Главное преимущество — контроль над настройкой под ваши уникальные требования.
Минусы использования локальных LLM
Прежде чем переходить на локальный LLM, следует обратить внимание на некоторые его недостатки.
Для работы локального LLM вам потребуется высокопроизводительное оборудование. Речь идет о мощных процессорах, большом объеме оперативной памяти и, вероятно, выделенном графическом процессоре. Не ждите, что бюджетный ноутбук за 400 долларов обеспечит хорошую производительность. Отклики будут болезненно медленными, особенно при работе с большими моделями ИИ. Это похоже на работу с современными видеоиграми — для оптимальной производительности нужны мощные характеристики. Возможно, вам даже понадобятся специализированные системы охлаждения. В итоге локальные LLM требуют инвестиций в аппаратное обеспечение высшего уровня, чтобы получить ту скорость и отзывчивость, которой вы наслаждаетесь в веб-ЛЛМ (или даже улучшить ее). Вычислительные требования с Вашей стороны будут значительными по сравнению с использованием веб-сервисов.
Общим ограничением локальных LLM является низкое время отклика. Точная скорость зависит от конкретной модели ИИ и используемого оборудования, но в большинстве случаев она отстает от онлайн-сервисов. После мгновенных ответов ChatGPT, Bard и других локальных LLM может показаться, что они очень медлительны. Слова медленно утекают, а не быстро возвращаются. Это не всегда так, поскольку некоторые локальные системы отличаются хорошей производительностью. Но обычные пользователи сталкиваются с резким снижением производительности по сравнению с быстродействующими веб-узлами. Так что приготовьтесь к «культурному шоку» от быстрых онлайновых систем к более медленным локальным аналогам.
Короче говоря, если вы не используете абсолютно топовую систему (речь идет об AMD Ryzen 5800X3D с Nvidia RTX 4090 и достаточным количеством оперативной памяти, чтобы потопить корабль), общая производительность локального LLM не сравнится с привычными вам онлайновыми генеративными чат-ботами с искусственным интеллектом.
Развертывание локального LLM — более сложная задача, чем простое подключение к веб-службе ИИ. При наличии подключения к Интернету учетная запись ChatGPT, Bard или Bing AI может быть готова к выдаче подсказок уже через несколько минут. Настройка полного локального стека LLM требует загрузки фреймворков, конфигурирования инфраструктуры и интеграции различных компонентов. Для крупных моделей этот сложный процесс может занять несколько часов, даже при использовании инструментов, призванных упростить установку. Некоторые передовые системы ИИ до сих пор требуют глубоких технических знаний для локального запуска. Таким образом, в отличие от готовых веб-моделей ИИ, управление собственным ИИ требует значительных технических и временных затрат.
Многие местные магистранты застряли в прошлом. Они имеют ограниченное представление о текущих событиях. Помните, как ChatGPT не мог выйти в Интернет? Когда он мог отвечать только на вопросы о событиях, произошедших до сентября 2021 года? Да? Так вот, подобно ранним моделям ChatGPT, локально размещаемые языковые модели часто обучаются только на данных до определенной даты отсечения. В результате им не хватает информации о событиях, произошедших после этой даты.
Кроме того, локальные LLM не имеют доступа к оперативным данным Интернета. Это ограничивает их применение для запросов в реальном времени, например, о ценах на акции или погоде. Чтобы получить хоть какое-то подобие данных в реальном времени, локальным LLM часто требуется дополнительный уровень интеграции с подключенными к Интернету сервисами. Доступ к Интернету — одна из причин, по которой вам стоит задуматься о переходе на ChatGPT Plus!
Стоит ли использовать местный LLM?
Локальные большие языковые модели обладают привлекательными преимуществами, но у них есть и реальные недостатки, которые следует учитывать, прежде чем приступать к работе. Меньшая цензура, лучшая конфиденциальность, автономный доступ, экономия средств и возможность настройки — все это является убедительным аргументом в пользу локального создания LLM. Однако за эти преимущества приходится платить.
При наличии большого количества LLM, доступных бесплатно в Интернете, переход к местным LLM может быть похож на отмахивание от мух кувалдой — возможно, но экстремально. Но помните, что если это бесплатно, то продуктом, скорее всего, являетесь вы и данные, которые вы производите. Таким образом, сегодня нет однозначного правильного или неправильного ответа. Оценка ваших приоритетов позволит определить, подходит ли сейчас время для перехода.
