Google обучила свою нейросеть дорисовывать реалистичные фото

Ученые из Google Research представили нейросеть, которая умеет реалистично дорисовывать новые объекты на фотографиях. Как объяснили разработчики, алгоритм этих манипуляций со снимками базируется на генеративно-состязательной нейросети. Алгоритм обучался на фотографиях, а также уже были эксперименты с вертикальными видеороликами.

Разработчик Google используют две отдельных подпрограммы. Одна дорисовывает фрагменты на фотографиях, а вторая ― сранвивает результаты работы первой нейросети с фотографиями реального мира и пытается найти генерированные изображения. Ученым удалось добиться высокого качества обучения нейросети, давай ей на изучение два снимка. Один ― исходная фотография с залитым одним цветом прямоугольного фрагмента. Второе изображение является маской, показывающей, какая часть экрана была залита. В экспериментах использовалось заполнение одним цветом прямоугольников в четверть, половину или 3\\4 площади фотографии.

Благодаря таком подходу, алгоритм-дискриминатор концентрировался на тех фрагментах, которые дорисовал генератор. В результате, сначала повысилось качество распознавания подделок, а потом ― усовершенствовались результаты обученного генератора. В качестве выборки для обучения ученые использовали два миллиона фотографий из коллекции Places365-Challenge.

Google активно развивает свои технологии искусственного интеллекта и все, что имеет практическую ценность, внедряет в свои продукты. Хотя коллектив компании вынудил руководство отказаться от сотрудничества с военными, нейросети успешно используются и в обычных сервисах Гугла. Например, в Google Photos появилась новая функция ― распознание текста на фотоснимках и других изображениях. С помощью платформы искусственного интеллекта Lens и оптическое распознавание символов сервис хранения фотографий научился читать и понимать надписи и другой текст на фотографиях. Кроме поиска, пользователь может выделить текст на скриншоте или снимке с помощью инструмента Lens и скопировать выделенный фрагмент, как обычный текст. ИИ автоматически распознает слова на изображении и позволит вставить их в заметки или отправить в другую программу. В первую очередь этот инструмент становится доступен в программе Гугл Фото на Android, затем появится в веб-версии сервиса и на платформе iOS.