Компания Google представила фреймворк LANISTR для обучения ИИ на неполных данных

Он повышает эффективность обучения мультимодальных моделей. Как отмечается в блоге Google Cloud AI, фреймворк использует стратегию предобучения на основе маскирования и благодаря этому может маскировать информацию как в рамках одной модальности, так и сразу в нескольких. Например, часть текста или области изображения скрываются, а модель обучается прогнозировать эти отсутствующие фрагменты. Также фреймворк может маскировать целиком все данные определенной модальности.

Таким образом, специалисты компании предлагают решить проблему, когда имеющиеся наборы данных содержат элементы, в которых отсутствует одна или несколько модальностей, что негативно сказывается на производительности моделей, обученных на таких датасетах.

Отмечается, что в экспериментах на наборах данных из ритейла и медицины LANISTR продемонстрировал существенно более высокую точность и обобщающую способность по сравнению с другими методами.