Организация больших модельных систем (LMSYS) провела независимое сравнение разных систем генеративного ИИ. Тестирование было основано на битвах 1 на 1, в которых выбранная пара чат-ботов отвечала на вопросы пользователей. Для сравнения выбрали 89 моделей ИИ (некоторые были представлены разными версиями).
Всего за время тестирования провели 750 000 раундов и составили таблицу победителей. Пользователи отправляли свой запрос двум случайно выбранным ИИ и оценивали, какой ответ лучше.
Первое место разделили две версии одного разработчика - OpenAI: GPT-4-Turbo-2024-04-09 и GPT-4-1106-preview.
Кроме качества ответа оценивали работу чат-ботов на разных языках (английский, китайский, французский), знание моделей в программировании, уместность ответов и скорость генерации текста.
В десятку лидеров вошли другие версии GPT, модели Bard и Gemini от Google, Claude 3 от Anthropic AI и Llama 3 от Meta (организация запрещена в России и признана экстремистской).
Со всеми результатами битвы ИИ и другой статистикой можно ознакомиться здесь.