Нейросети активно развиваются, и многие пользователи применяют их ежедневно для различных целей: от поиска нужной информации до выполнения рабочих задач. Особенно популярны языковые модели, но с некоторыми из них могут возникнуть проблемы, особенно для российских пользователей. Например, ChatGPT и Claude.ai недоступны для пользователей с российскими IP-адресами, а для регистрации необходимы иностранные номера.
В материале разберем платформу LMArena.ai, которая открывает доступ практически ко всем современным языковым моделям совершенно бесплатно.
Что такое LMArena.ai
LMArena.ai — это открытая платформа для краудсорсингового тестирования и сравнения больших языковых моделей (LLM), созданная исследователями из UC Berkeley SkyLab. Пользователи могут взаимодействовать с различными AI-моделями, сравнивать их ответы и вносить свой вклад в формирование рейтинга моделей на основе собранных голосов.
Простыми словами: благодаря LMArena.ai можно воспользоваться даже старыми версиями нейросетей, а также моделями, которые доступны лишь для подписчиков платных тарифов.
Как пользоваться LMArena
На платформе доступны следующие разделы: ⚔️ Arena (battle), ⚔️ Arena (side-by-side), 💬 Direct Chat, 🏆 Leaderboard, 🎯 Prompt-to-Leaderboard, 🔍 Arena Explorer. Рассмотрим каждый из них более подробно.
⚔️ Arena (battle)
Здесь на ваш запрос одновременно формируют ответ сразу две нейросети. Причем вы заранее не знаете, какие именно чат-боты используются. Уже после ответа система предложит выбрать наиболее подходящий вариант, и потом вы узнаете названия нейросетей.
Для запуска новой случайной пары нейросетей необходимо нажать на кнопку 🎲 New Round.
Также есть возможность перейти к генерации изображений, где две случайные ИИ-модели одновременно создают картинки. Для перехода в этот режим нажмите на 🎨 Text2Image в нижней части экрана.
Вы можете выбрать понравившийся вариант изображения и тогда узнаете названия нейросетей. Для повторной генерации запроса нажмите 🔄 Regenerate, для сохранения — 📷 Share. Для генерации случайного изображения доступна кнопка 🔮 Surprise me.
Еще один режим в Arena — это 🐙 RepoChat. Здесь вы можете добавить ссылку на репозиторий нейросети на GitHub и запустить ее, чтобы сравнить ответ с другой случайно выбранной нейросетью.
⚔️ Arena (side-by-side)
В этом режиме пользователи не ограничены одним сообщением: диалог не прерывается. Вы можете выбрать две модели нейросетей, которые одновременно будут генерировать ответы. Для выбора чат-ботов нажмите на стрелочки выше форм с ответами. На данный момент доступно около 100 моделей.
Для очистки диалогов выбранных моделей нажмите на кнопку 🗑️ Clear history. 🎲 Random Example — случайный промпт.
💬 Direct Chat
Direct Chat подходит для выполнения различных задач, связанных с текстом. Функционал работы с изображениями недоступен, поскольку он пока появился только в Arena (battle).
🏆 Leaderboard
🏆 Leaderboard — раздел с пользовательскими рейтингами нейросетей. Здесь сформированы таблицы по разным признакам, включая язык, категорию задач, лицензии моделей и их разработчиков.
Таблица содержит следующие столбцы:
- Rank (UB) — место модели в рейтинге;
- Delta — изменение позиции модели в сравнении с предыдущим обновлением;
- Model — название модели;
- Arena Score — итоговый балл, рассчитанный на основе пользовательских голосов;
- 95% CI — доверительный интервал оценки;
- Votes — количество голосов, полученных моделью;
- Organization — компания-разработчик модели;
- License — тип лицензии (Proprietary — закрытая, MIT — открытая и т. д.).
Рейтинг обновляется динамически на основе пользовательского голосования.
🎯 Prompt-to-Leaderboard (P2L)
Этот раздел представляет собой интерфейс для генерации рейтинговых таблиц на основе введенных запросов.
Доступные режимы:
- Prompt-specific Leaderboard — генерация рейтинговой таблицы на основе конкретного запроса;
- P2L Explorer — исследование возможностей P2L;
- P2L Router Chat — чат для взаимодействия с P2L.
🔍 Arena Explorer
🔍 Arena Explorer — интерфейс с интерактивными диаграммами, который визуализирует различные категории запросов, сгруппированных по темам. Вы можете переключаться между статистикой языковых моделей, моделей для генерации изображений и написанием кода.
Parameters
При работе с текстовыми моделями ниже формы с ответами есть блок Parameters. Настройки, которые вы видите на изображении, относятся к параметрам генерации текста для чат-бота. Эти параметры позволяют контролировать поведение модели при генерации ответов.
- Temperature определяет степень случайности в генерации текста. Чем выше значение температуры, тем более разнообразными и неожиданными будут сгенерированные ответы. При низкой температуре модель будет выбирать наиболее вероятные слова, что может привести к предсказуемым и менее творческим ответам.
- Top P позволяет управлять балансом между разнообразием и качеством генерируемого текста. Когда Top P равен 1 — это означает, что все возможные варианты слов рассматриваются, что аналогично использованию всех вероятностей без ограничений.
- Max output tokens определяет максимальное количество токенов (слов или частей слов) в сгенерированном ответе. Установка этого значения помогает контролировать длину ответа, чтобы он не был слишком длинным или слишком коротким.
Возможные проблемы и их решения
Иногда система вместо генерации ответа сообщает, что превышено количество запросов за час. В таком случае нужно подождать или переключиться к другим моделям.
Также система может сообщить, что превышен суточный лимит запросов от одного пользователя. В этом случае нужно переключиться на другую модель или сменить IP-адрес (браузер менять не обязательно, просто смените IP и обновите страницу).
Итоги
LMArena.ai — полезная платформа, которая предоставляет доступ ко всем популярным моделям нейросетей. С недавнего времени появилась возможность работать с моделями для генерации изображений, но пока такой функционал доступен лишь в разделе Arena (battle). Вы можете использовать чат-боты для рабочих задач или чтобы протестировать модель и купить платный тариф в дальнейшем.
