В России запустили платформу LLM Arena для оценки качества больших языковых моделей
Краудсорсинговая платформа LLM Arena позволяет оценить нейросети как от российских компаний, так и от зарубежных разработчиков. Она работает по принципу международного рейтинга LMSYS Chatbot Arena и позволяет тестировать нейросети и оценивать их ответы на основании пользовательских задач.
Краудсорсинговая платформа LLM Arena позволяет оценить нейросети как от российских компаний, так и от зарубежных разработчиков. Она работает по принципу международного рейтинга LMSYS Chatbot Arena и позволяет тестировать нейросети и оценивать их ответы на основании пользовательских задач.
Проект реализован Романом Куцевым в сотрудничестве с экспертами по нейросетям и бывшими разработчиками TrainingData. «Наша цель — создать объективный, открытый и актуальный рейтинг языковых моделей на русском языке. Тестировать российские LLM на родном языке на реальных задачах было сложно, поэтому мы решили создать свою платформу, чтобы пользователи могли сравнивать модели и делать выводы», — говорит основатель LLM Arena Роман Куцев.
