Когда мы думаем об искусственном интеллекте и крупных языковых моделях, перед глазами сразу всплывают огромные дата-центры, поглощающие мегаватты энергии, или очень дорогие видеокарты, чтобы по стоимости соперничать с бюджетом небольшого государства.
Вряд ли кто-то вспомнит про компактный и доступный одноплатный компьютер вроде Raspberry Pi. Тем не менее, увлечённые энтузиасты (даже со старыми ПК конца 90-х) уже доказали: запустить LLM возможно даже на маломощных устройствах! Всё оказалось не так однозначно. Сегодня на Raspberry Pi можно запускать некоторые ИИ-модели — вопрос только, насколько это реально полезно каждый день.
- Как компьютер за 10 000 рублей может стать твоей домашней площадкой для искусственного интеллекта
- Просто невероятно, что это вообще работает!
- Модели, которые реально работают на Raspberry Pi
- Это уже не фантастика!
- Производительность не космическая, но свои задачи решает
- Главное — подобрать задачу под возможности
- Новые компоненты и аксессуары ускоряют приход ИИ на Raspberry Pi
- Ваша Pi может стать ещё круче!
- Самое время собрать собственную армию ботов!
Как компьютер за 10 000 рублей может стать твоей домашней площадкой для искусственного интеллекта
Просто невероятно, что это вообще работает!
В последние годы разработчики всем миром стараются сделать языковые модели максимально компактными без потери разума. Основная преграда — порой даже не в мощности процессора, а в доступной оперативной памяти: Raspberry Pi 5 поддерживает максимум 16 ГБ, а большинство пользователей довольствуются 8 ГБ, а то и меньшим объёмом.
На выручку приходит технология квантования — она снижает точность весов внутри модели. Поскольку таких весов в ИИ — миллиарды, даже небольшое снижение точности даёт огромную экономию места.
Конечно, качество генерации немного страдает, но потеря не всегда ощущается пропорционально уменьшению размера. ИИ всё ещё выдаёт достойные результаты, но теперь требует в разы меньше памяти и процессорного времени.
Модели, которые реально работают на Raspberry Pi
Это уже не фантастика!
В мире мини-ПК популярны квантованные варианты Llama 3, Mistral, Qwen и других языковых моделей.
Компактные модели с 1–3 миллиардами параметров легко справляются с Raspberry Pi 5, а после оптимизаций даже 7-миллиардную модель можно «завести» на устройстве с 8 ГБ ОЗУ.
К примеру, один из пользователей LinkedIn запустил помощника Qwen для программирования через llama.cpp прямо на своём Pi.
Производительность не космическая, но свои задачи решает
Главное — подобрать задачу под возможности
Пусть некоторые модели и работают даже на 8-гигабайтном Raspberry Pi 5, мощности процессора всё равно часто не хватает с запасом. Raspberry Pi 5 по-своему мощный и при этом экономный по энергии (особенно если поставить хороший кулер), но в мире ПК это начальный уровень.
Разные тесты показали: стандартный Pi 5 «выдаёт» от долей до пары токенов в секунду. Однако, если разумно подойти к задачам, такой скорости для многих целей хватает с головой.
Например, если не ждать ответа за секунду, а запустить какую-то обработку на ночь — скорость уже не столь критична. А легкие сценарии с ИИ в реальном времени вполне возможны.
Raspberry Pi 5
Подойдёт только для опытных пользователей, но Raspberry Pi 5 — это настоящее поле для экспериментов. Недорогое, настраиваемое устройство с отличными возможностями для ваших проектов.
Новые компоненты и аксессуары ускоряют приход ИИ на Raspberry Pi
Ваша Pi может стать ещё круче!
Речь пока шла о базовом Pi с обычным охлаждением, но это только начало. На помощь приходят фирменные расширения — например, AI HAT, который добавляет нейропроцессор к вашему Pi и выворачивает производительность на новый уровень.
Такой апгрейд может стоить даже дороже самого Raspberry Pi, но всё равно выйдет в разы дешевле полноценного ПК для запуска ИИ у себя дома.
Raspberry Pi AI HAT+
AI HAT+ для Raspberry Pi бывает в двух версиях — 13 и 26 TOPS, обе работают только с Raspberry Pi 5. Эти модули превращают ваш компьютер в настоящую платформу для искусственного интеллекта!
Когда хочется ещё больше скорости, некоторые энтузиасты подключают внешнюю видеокарту — как сделал Jeff Geerling в своём видео.
В таком случае все ИИ-задачи уже выполняются на GPU, и скорость растёт в разы. Можно ли называть это локальным ИИ на Raspberry Pi? Абсолютно! Ведь вся система собирается и управляется всё равно через Pi, а видеокарта, по сути, — просто мощный помощник, а не самостоятельный компьютер.
Самое время собрать собственную армию ботов!
Чем мощнее становятся модели и чем быстрее развиваются одноплатные компьютеры, тем ближе эра локального искусственного интеллекта. Больше не нужны удалённые дата-центры и гигантские системы охлаждения — всё можно собрать у себя дома. Остаётся только мечтать о своём маленьком Jarvis или хотя бы роботе, который будет целый день подавать масло к бутербродам.
Если вам понравилась эта статья, подпишитесь, чтобы не пропустить еще много полезных статей!
Премиум подписка — это доступ к эксклюзивным материалам, чтение канала без рекламы, возможность предлагать темы для статей и даже заказывать индивидуальные обзоры/исследования по своим запросам!
Подробнее о том, какие преимущества вы получите с премиум подпиской, можно узнать здесь
Также подписывайтесь на нас в:
- Telegram: https://t.me/gergenshin
- Youtube: https://www.youtube.com/@gergenshin
- Яндекс Дзен: https://dzen.ru/gergen
- Официальный сайт: https://www-genshin.ru
