Революционная работа Meta AI представляет собой самоулучшающуюся модель языка, которая разрабатывает и использует собственные данные для обучения. Этот автономный подход позволяет модели поэтапно повышать свои возможности, превосходя заметных аналогов, таких как Claude 2, Gemini Pro и GPT-4 0613 в рейтинге AlpacaEval 2.0.
Вот как она работает:
-
Инициализация: Начинается с опытной предварительно обученной модели языка и набора данных, помеченных людьми.
-
Создание самоинструкций: Модель автономно создает новые запросы на основе исходных данных, а затем формулирует несколько возможных ответов.
-
Самооценка: Каждый ответ тщательно анализируется и оценивается моделью на основе таких критериев, как актуальность и фактическая точность.
-
Генерация данных для обучения: Оптимальные и некачественные ответы выбираются для создания разнообразного набора данных для обучения, который обучает модель различать высококачественные и низкокачественные ответы.
-
Итеративное обучение: Модель переобучается с помощью нового набора данных для обучения, постоянно повторяя этот цикл для постепенного самосовершенствования.
Используя этот новаторский подход, модель успешно развивается на основе своих собственных идей, минимизируя зависимость от внешних ресурсов и совершенствуя свои возможности самооценки. Каждая итерация повышает ее умение, открывая путь к более автономным системам искусственного интеллекта, работающим с языком.
Подробную методологию можно найти в научной статье здесь.
