
Во вторник материнская компания Facebook Meta объявила о выпуске своей модели большого языка Llama 3.1 с открытым исходным кодом. Новая модель LLM будет доступна в трех вариантах — с параметрами 8B, 70B и 405B, причем последний вариант является самым большим из созданных на сегодняшний день ИИ с открытым исходным кодом, который генеральный директор Meta Марк Цукерберг называет «первой моделью ИИ с открытым исходным кодом пограничного уровня».
«В прошлом году Llama 2 была сопоставима только со старым поколением моделей, находящихся за границей», — написал Цукерберг в блоге во вторник. «В этом году Llama 3 конкурирует с самыми передовыми моделями и лидирует в некоторых областях. Начиная со следующего года, мы ожидаем, что будущие модели Llama станут самыми передовыми в отрасли».

Обученная на 15 триллионах токенов с использованием 16 000 графических процессоров H100, модель 405B, по утверждению Meta, значительно превосходит свою предшественницу Llama 3. Как сообщается, она конкурирует с лучшими на сегодняшний день моделями с закрытым исходным кодом, такими как GPT-4o от OpenAI, Gemini 1.5 от Google или Claude 3.5 от Anthropic, в области «общих знаний, математики, использования инструментов и многоязычного перевода». Во вторник Цукерберг предсказал в Instagram, что Meta AI превзойдет ChatGPT в качестве наиболее широко используемого ИИ-помощника к концу года.
Компания отмечает, что все три версии Llama 3.1 будут иметь расширенную длину подсказок (128 тыс. лексем), что позволит пользователям предоставлять дополнительный контекст и сопроводительную документацию объемом до книги. Кроме того, на старте будет поддерживаться восемь языков. Более того, Meta внесла изменения в лицензионное соглашение, чтобы позволить разработчикам использовать результаты Llama 3.1 для обучения других моделей.

Получите Microsoft Office для Windows/Mac за 25 долларов
Meta также объявила о партнерстве с более чем десятком других компаний в отрасли для дальнейшего развития экосистемы Llama. Amazon, Databricks и Nvidia запустят полнофункциональные программные комплексы, которые помогут разработчикам точно настроить собственные модели на основе Llama, а стартап Groq «создал недорогую службу обработки выводов с низкой задержкой» для нового семейства моделей 3.1, написал Цукерберг.
Будучи открытым исходным кодом, Llama 3.1 будет доступна во всех основных облачных сервисах, включая AWS, Google Cloud и Azure.
Если вам понравилась эта статья, подпишитесь на нее, чтобы не пропустить еще много полезных статей!
Вы также можете читать меня в:
- Telegram: https://t.me/gergenshin
- Яндекс Дзен: https://dzen.ru/gergen
- Официальный сайт: https://www-genshin.ru





