В MIT создали инструмент для редактирования изображений «в один клик», который может не подчиняться командам человека

Исследователи из MIT и IBM разработали инструмент Paint Studio, который позволяет добавлять, редактировать и удалять объекты на фотографиях одним движением. Система работает с артефактами, но выдаёт правдоподобный результат.

По словам профессора MIT Антонио Торральбы, инструмент обладает «строгой индивидуальностью» и не станет выполнять действия, если посчитает, что они не подходят для изображения.

Все приложения для рисования следуют инструкциям пользователей, но наше может решить не рисовать ничего, если человек пытается поместить объект в невозможное положение. Это инструмент для рисования со строгой индивидуальностью и он открывает окно, которое позволит понять, как генеративные состязательные нейросети представляют визуальный мир.

Антонио Торральба

профессор MIT

Демонстрацию работы приложения разместили на отдельном сайте. Инструмент пока работает только с уже загруженными изображениями низкого качества, а рисовать можно ограниченным числом «кистей»: травой, деревьями, кирпичами, куполами, небом, облаками и дверьми.

Чаще всего результат выходит реалистичным, а при противоречии с реальным миром алгоритм не меняет ничего на изображении. В некоторых случаях нейросеть оставляет артефакты на картинках — алгоритм пока не совершенен.

Для создания инструмента использовали нейросеть, состоящую из двух частей. Одна генерирует примеры реалистичных фотографий, а другая пытается найти разницу между сгенерированной картинкой и реальной. Таким образом модель совершенствуется и учится выдавать изображения определённого уровня реалистичности.

Источник: tjournal.ru