Новость из разряда событий, случающихся, пожалуй, не чаще, чем события уровня открытия бозона Хиггса. Популярная голливудская актриса Кристен Стюарт удивила все сообщество исследователей вопросов искусственного интеллекта, став соавтором опубликованной научной работы о машинном обучении.
Мечта миллионов фанатов франшизы «Сумерек» недавно совершила режиссерский дебют и сняла короткометражную драму «Come Swim» («Пойдем поплаваем»), при работе над которой использовалась технология машинного обучения, известная как «перевод стиля». Это метод, при котором эстетика одного изображения или видеокадра наносится на эстетику другого изображения или кадра для создания импрессионистского визуального стиля.
При поддержке специалиста по визуальным эффектам Бхаутика Йоши и продюсера Дэвида Шапиро Стюарт стала соавтором научной работы, описывающей процесс создания фильма и тех технологий, которые в нем использовались. Статья опубликована в крупнейшей научной онлайн-библиотеке arXiv, где публикации не проходят научного рецензирования.
Фанаты актрисы, как и специалисты в сфере исследований искусственного интеллекта, были удивлены (и рады) узнать, что Стюарт приняла активное участие в этой работе.
Сама работа имеет заглавие «Оживление импрессионистских картин в фильме Come Swim с использованием переноса стиля на базе нейронных сетей» и предлагает детальный анализ того, как можно использовать подобный метод машинного обучения для создания кино. В самой статье короткометражка «Пойдем поплаваем» описана как «поэтичный импрессионистский портрет убитого горем человека, находящегося под водой».
Для передачи визуального стиля между кадрами команда создателей фильма использовала существующие нейронные сети, с помощью которых они сначала переносили нужную стилистику на тестовый кадр, а затем шаг за шагом изменяли картинку, добавляя «блоки нового цвета и текстур» до тех пор, пока не получали желаемый эффект. После нужной настройки передачи стиля, они применяли этот метод в различных частях картины, создавая кадры, как те, что можно увидеть ниже. По сути, этот метод похож на какой-то очень продвинутый вариант прогрессивной развертки.
Разумеется, последовала и ожидаемая негативная реакция на опубликованную работу: «Какого черта голливудская актриса вообще полезла в среду машинного обучения, где она ни черта не понимает?». Однако важнее здесь все же тот факт, что инструменты машинного обучения, которые однажды были интересны исключительно тем людям, которые ими практически жили, становятся все более и более популярными. Открытые исходники структурного ИИ вроде тех же Tensor Flow и Keras позволяют любому желающему попробовать свои силы в написании кода ИИ и создании на их базе конкретных коммерческих методов обработки вроде того же переноса стиля (кстати, та же социальная сеть Facebook весьма активно использует фильтры изображений, созданные на базе этого метода) и способствуют продвижению подобных технологий в культуру.
В конце концов, революции ИИ-технологий будет зависеть не просто от огромных массивов данных и мощных процессоров, способных эти данные классифицировать и адаптировать для работы. Здесь немаловажным также является и создание открытого сообщества разработчиков, а также доступных инструментов для работы. И научная статья Стюарт является отличным примером тому, как это может работать и чего благодаря этому мы сможем достигнуть.
Сама короткометражка «Пойдем поплаваем» была показана на кинофестивале «Сандэнс-2017». Ниже можно посмотреть тизер киноленты.
