Стартап xAI, который был основан Илоном Маском в 2023 году, сделал доступной для всех свою LLM. Это большая языковая модель Grok-1. Модель выложена на Hugging Face. Теперь желающие могут использовать эту модель для создания своих собственных сервисов и чат-ботов.

О модели

Стартап xAI основан Илоном Маском в 2023 году. Теперь большая языковая модель Grok-1 стала доступной для всех. Модель выложена на Hugging Face. Теперь желающие могут использовать эту модель для создания своих собственных сервисов.

Эта модель является основой чат-бота Grok. Она содержит 314 млрд параметров. По сложности занимает место между двумя другими моделями – ChatGPT-3.5 Turbo и ChatGPT-4. Помимо всего прочего, разработчики предоставили лицензию, позволяющую использовать эту модель в коммерческих целях. В общем случае, важным является то, что эта модель может быть полезна для многих задач, включая создание чат-ботов, обработку естественного языка и многое другое.

Недостатки

Однако, у модели Grok-1 есть и недостатки.

Во-первых, она была обучена на данных, собранных до октября 2023 года. То есть, ее ответы на вопросы, кторые актуальны сейчас, будут либо слишком общие и без привязки ко времени, либо просто неверные.

Во-вторых, разработчики не настроили ее для выполнения определенных задач, таких как ведение диалогов. Судя по всему модель, выложенная в свободный доступ, статична и не имеет возможности дообучения под конкретные задачи.

В третьих, потребные ресурсы – на своих компьютерах запустить весьма проблематично. См. по этому поводу забавную дискуссию здесь.

Похоже, что в мире ИИ назревает новая революция, которая может создать волну инноваций. За последние годы языковые модели, такие как GPT от OpenAI или LaMDA от Google поразили всех своими способностями генерировать человекоподобный текст и вести осмысленные диалоги. Однако большинство этих передовых разработок остаются закрытыми и недоступными для широкой публики. Маск сделал смелый шаг, решив предоставить исследователям и разработчикам возможность изучить внутреннее устройство языковой модели Grok, что может привести к прорывам в области ИИ.

Попутно: ранее я писал о новой языковой модели, которая показала схожие результаты. Другие факты и события, связанные с ИИ, см. здесь.