Новый алгоритм на основе машинного обучения, разработанный специалистами Google и МТИ, позволяет смартфонам обрабатывать фотографии в режиме реального времени, в тот момент, когда изображение захватывается видоискателем и еще до того, как снимок сделан и сохранен.
Нейронная сеть научилась выжимать из снимка максимум, наблюдая за работой пяти профессиональных фотографов, которые отредактировали 5000 кадров. Но главная инновация заключалась в том, чтобы сделать алгоритм достаточно быстрым и производительным, чтобы ретуширование происходило еще в процессе кадрирования.
Google и другие компании использовали машинное обучение для обработки изображений и раньше, но большой размер фотографий, а также ограниченные возможности «железа» не позволяли редактировать снимки в реальном времени. Для того чтобы обойти эту проблему, инженеры разработали алгоритм обработки изображения в низком разрешении, когда оно проходит через видоискатель камеры, а затем увеличили разрешение без потери качества.
По сравнению с системами, которые редактируют полноразмерные изображения, новый подход требует всего одной сотой ресурсов памяти. Это позволяет выводить на экран уже обработанную картинку, даже если камера постоянно движется.
Помимо автоматической настройки яркости и контраста алгоритм можно научить имитировать стиль различных фотографов, утверждают инженеры. Они собираются представить свою работу на конференции цифровой графики Siggraph на этой неделе, сообщает Science Alert.
