Искусственный интеллект, аналог ChatGPT идет в массы! LLaMA leak.
Не успели разработчики в Meta* сделать релиз своих новых моделей LLaMA, которые к слову должны были быть доступны только в академических кругах после жесткой проверки, как их уже слили в паблик. И это прецедент друзья!
Доступ к различным моделям LLaMA будет предоставляться только академическим исследователям на индивидуальной основе, например, связанным с правительствами, гражданскими организациями и академическими кругами. Подать заявку на доступ к LLaMA можно здесь.
Речь идет о моделях LLaMA-7B, LLaMA-13B, LLaMA-33B и LLaMA-65B.
Meta представила эти большые языковые модели в качестве конкурента OpenAI
2 марта.
GitHub: https://github.com/facebookresearch/llama
Если кому-то интересно, для обучения LLaMa потребовалось 2048 графических процессоров A100, каждый из которых стоит примерно 15 тысяч долларов.
Карты A100 потребляют 250 Вт каждая, с накладными расходами датацентра, назовём это 1000 киловатт для всех 2048 карт. 23 дня - это 552 часа, или 552 000 киловатт-часов.
Самая большая модель, LLaMA-65B, как сообщается, "конкурирует" с такими моделями, как Chinchilla 70B от DeepMind и PaLM-540B от Google, используемая для обучения LaMDA, базовой модели для Bard. По заявлениям разработчиков, модели LLaMA превосходят GPT-3 от OpenAI.
Интересно, что эти модели одновременно и очень дороги в производстве (на их обучение было затрачено порядка 30.5 млн долларов), и самодостаточны до такой степени, что конечный продукт можно распространять в торрентах.
Этого не было с большинством коммерческого программного обеспечения в течение последних 20 лет, в эпоху облаков. Если бы вы могли украсть дамп случайного исходного кода Facebook*, он был бы на 99% бесполезен, потому что он так тесно связан с инфраструктурой. Аналогично с недавней утечкой исходных кодов продуктов от Яндекса. Нет почти ничего, что можно было бы с пользой запустить на собственном ПК или серверной виртуальной машине.
Языковые модели, аналогичные LLaMA, похожи на нейтронные звезды по плотности вычислений. Вы не сможете заглянуть внутрь, чтобы посмотреть, как они работают, но при определённой подготовке и использовании таких инструментов оптимизации инференса, как например FlexGen, можно запустить такие модели на оборудовании с приемлемой стоимостью!
Настройка и запуск не будет лёгкой задачей, но точно не непреодолимой для комьюнити разработчиков, тяготеющих к искусственному интеллекту. Практически наверняка модели LLaMA будут подхвачены сообществом LAION-AI, разрабатывающих альтернативу ChatGPT - OpenAssistent. Как говорится, прогресс не остановить!
Уже начали появляться форки, к примеру вот тут ребята адаптировали младшую модель к инференсу на CPU.
Не стоит забывать, что модели LLaMA являются SOTA (state of the art или другими словами лучшими на данный момент) на большинстве задач и выигрывают GPT-3 от OpenAI! И они в паблике, как и чекпоинты моделей, что в свою очередь даёт возможность дообучать модели на собственных доменах! Еще одним приятным моментом для русскоговорящих пользователей является, тот факт, что по заявлениям разработчиков, модели LLaMA обучены на 20 языках, использующих латинские или кириллические языки.
* Внесена в перечень общественных объединений и религиозных организаций, в отношении которых судом принято вступившее в законную силу решение о ликвидации или запрете деятельности по основаниям, предусмотренным Федеральным законом от 25.07.2002 № 114-ФЗ «О противодействии экстремистской деятельности».