Meta представляет Llama 3.1, свою самую большую и лучшую модель с открытым исходным кодом.

llama 3.1 logo

Во вторник материнская компания Facebook Meta объявила о выпуске своей модели большого языка Llama 3.1 с открытым исходным кодом. Новая модель LLM будет доступна в трех вариантах — с параметрами 8B, 70B и 405B, причем последний вариант является самым большим из созданных на сегодняшний день ИИ с открытым исходным кодом, который генеральный директор Meta Марк Цукерберг называет «первой моделью ИИ с открытым исходным кодом пограничного уровня».

«В прошлом году Llama 2 была сопоставима только со старым поколением моделей, находящихся за границей», — написал Цукерберг в блоге во вторник. «В этом году Llama 3 конкурирует с самыми передовыми моделями и лидирует в некоторых областях. Начиная со следующего года, мы ожидаем, что будущие модели Llama станут самыми передовыми в отрасли».

llama 3.1-405B benchmarks

Обученная на 15 триллионах токенов с использованием 16 000 графических процессоров H100, модель 405B, по утверждению Meta, значительно превосходит свою предшественницу Llama 3. Как сообщается, она конкурирует с лучшими на сегодняшний день моделями с закрытым исходным кодом, такими как GPT-4o от OpenAI, Gemini 1.5 от Google или Claude 3.5 от Anthropic, в области «общих знаний, математики, использования инструментов и многоязычного перевода». Во вторник Цукерберг предсказал в Instagram, что Meta AI превзойдет ChatGPT в качестве наиболее широко используемого ИИ-помощника к концу года.

Компания отмечает, что все три версии Llama 3.1 будут иметь расширенную длину подсказок (128 тыс. лексем), что позволит пользователям предоставлять дополнительный контекст и сопроводительную документацию объемом до книги. Кроме того, на старте будет поддерживаться восемь языков. Более того, Meta внесла изменения в лицензионное соглашение, чтобы позволить разработчикам использовать результаты Llama 3.1 для обучения других моделей.

Get Microsoft Office for Windows/Mac for $25

Получите Microsoft Office для Windows/Mac за 25 долларов

Meta также объявила о партнерстве с более чем десятком других компаний в отрасли для дальнейшего развития экосистемы Llama. Amazon, Databricks и Nvidia запустят полнофункциональные программные комплексы, которые помогут разработчикам точно настроить собственные модели на основе Llama, а стартап Groq «создал недорогую службу обработки выводов с низкой задержкой» для нового семейства моделей 3.1, написал Цукерберг.

Будучи открытым исходным кодом, Llama 3.1 будет доступна во всех основных облачных сервисах, включая AWS, Google Cloud и Azure.

Если вам понравилась эта статья, подпишитесь на нее, чтобы не пропустить еще много полезных статей!

Вы также можете читать меня в:

Алекс Бежбакин
Оцените автора
Добавить комментарий