Создание лучших моделей начинается с пересмотра показателей

Aug 06, 2023

Ученые-компьютерщики Университета Южной Калифорнии представляют лучший способ измерения производительности генеративных моделей искусственного интеллекта на Международной конференции по машинному обучению (ICML).

Фото предоставлено: Metamorworks/Getty Images

«Генераторные модели ИИ — это, по сути, методы, которые изучают некоторые данные и пытаются создать больше этих данных. Точное измерение производительности этих моделей становится все более важным из-за быстрого роста их применения в последующих задачах», — сказал Махьяр Хаятхой, ученый-компьютерщик из Института информационных наук Университета Южной Калифорнии (ISI).

На 40-й Международной конференции по машинному обучению (ICML '23), проходившей с 23 по 29 июля в Гонолулу, Гавайи, Хаятхой, который работает с исследовательской группой VIMAL (Лаборатория визуального интеллекта и мультимедийной аналитики) в ISI, представил свою последнюю работу по производительность генеративных моделей.

Хаятхой сказал: «Обычно люди не особо внимательно следят за производительностью. Они полагаются на существующие тесты и пытаются создать лучшие модели, но не всегда ясно, действительно ли эти модели лучше. Поэтому я считаю очень ценным внимательно присмотреться к тому, что означает слово «лучше» и к тому, является ли метод, которым вы измеряете это «лучшесть», точным».

Статья написана в соавторстве с директором-основателем VIMAL Ваэлем Абдалмагидом, доцентом-исследователем кафедры электротехники и вычислительной техники Мин Се Университета Южной Калифорнии в Витерби и директором исследований ISI. АбдАльмагид сказал о статье: «Генераторный ИИ — это, по большому счету, плохо изученный черный ящик. В разгар ажиотажа вокруг ChatGPT и больших языковых моделей (LLM) кому-то пришлось притормозить и попытаться изучить поведение этих моделей, чтобы лучше охарактеризовать их производительность».

Генеративная модель использовалась для создания изображения черной дыры, когда у ученых были части изображения, и, учитывая эти части, модель могла построить остальное. Но генеративные модели действуют ближе, чем черные дыры. Хаятхой сказал: «Они используются во многих приложениях; многие методы обнаружения на основе изображений, например, обнаружение раковых опухолей при медицинском сканировании или человеческих лиц на фотографиях, используют в своей работе тот или иной тип генеративного искусственного интеллекта для повышения точности; есть также случаи прямого использования генеративного ИИ при открытии лекарств, прогнозировании динамики и физическом моделировании».

Хаятхой объяснил, как это сделать: «Часто у нас нет доступа к такому количеству данных, сколько нам нужно, поэтому мы используем генеративные модели как способ расширить количество наблюдений, на которых мы обучаем нейронные сети». Нейронные сети — это вычислительные модели, используемые в искусственном интеллекте, которые определяют связи в наборах данных.

Пример: если вы хотите, чтобы приложение обнаруживало раковую опухоль, нейронную сеть необходимо обучать на очень большом наборе данных опухолей, и генеративная модель может создать такой набор данных. Качество сгенерированного набора данных описывается точностью и разнообразием.

Хаятхоэй объясняет эти атрибуты на примере генерации человеческого лица. «С помощью генеративных моделей мы пытаемся изучить распределение данных на основе нескольких наблюдений. Таким образом, модель может видеть ограниченное количество человеческих лиц и пытаться сгенерировать бесконечное количество человеческих лиц. «Верность» описывает, насколько реалистичны изображения. И тогда возникает вопрос, насколько «разнообразно» поколение; модель генерирует одно и то же лицо? Генерирует ли он лица разных форм, цветов, фона и так далее».

Стандартный метод измерения производительности генеративной модели — количественная оценка точности и разнообразия с использованием показателей, называемых «точность» и «напомнимость» соответственно.

В своей статье Хаятхой теоретически показывает, что существуют недостатки в точности и полноте. «Люди используют эти измерения, чтобы создавать лучшие модели или решать, какую модель использовать в своем приложении. Когда эти измерения ошибочны, это означает, что все эти решения также потенциально ошибочны», — сказал Хаятхои.

Хаятхой объяснил, как он подошел к этой задаче: «Мы провели эксперименты, чтобы показать, что эта проблема существует, и математически доказали, что на самом деле, при некоторых предположениях, это очень общая проблема. А затем, исходя из результатов математического анализа, мы создали модифицированную версию для расчета этих показателей, которые облегчают проблему».