Унутре нейронка: Яндекс превратил искусственный разум в реставратора

2 Июня 2018

МОСКВА, 1 июня — Нейросети сочиняют стихи и музыку, но способны ли они вершить? Александр Крайнов, наставник службы компьютерного зрения и технологий машинного интеллекта Яндекса, обсказал, как его команде удалось превратить искусственный интеллект в реставратора картин, когда подобные технологии проникнут в нашу жизнь и какие нестандартные задачи смогут воплощать.

Сияние искусственного разума

Благодаря развитию математики и росту вычислительных мощностей у ученых появилась прекрасная возможность формировать сложные нейросети, конструкции искусственного интеллекта, умеющие воплощать нетривиальные задачи и даже мыслить креативно, создавая новые патроны искусства и технологий.

К примеру, только за последние два года ученые запустили ИИ, обыгрывающий человека в непросчитываемую древнекитайскую игру го, обучаясь при этом с нуля, отыскивающий важнейшие события в истории по газетам, плетущий сценарии к компьютерным играм, раскрашивающий фотографии и видеоролики под Ван Гога и рисующий индивидуальные картины.

В 2017-м представили систему ИИ, умеющую отличать родинки от меланомы лучше, чем самые опытные дерматологи. Чуть раньше программисты Яндекса создали нейросети, зафиксировавшие музыкальные альбомы в духе Нирваны и Гражданской обороны и рисовавшие в стиле Василия Кандинского.

Многие из этих творческих достижений искусственного разума стали возможными благодаря так называемым конкурсным, или GAN, сетям, не только распознающим какие-то объекты или решающим задачи, но и самостоятельно вырабатывающим что-то новое.

Как правило, такая конструкция ИИ состоит из двух конкурирующих между собой блоков. Один из них, генератор, предлагает новые варианты, а другой, инспектор, пытается понять, нет ли неправильности и укладываются ли выполненные выкладки в определенные критерии.

Такую сеть сложнее обучить нужным действиям и достичь максимума производительности, но зато она потом гораздо надежнее. С другой стороны, ее можно научить даже тому, что сам человек плохо себе представляет.

Сделай то, не знаю что

С этой проблемой недавно встретились программисты Яндекса, занимающиеся конструкциями машинного зрения для беспилотников и глазами Алисы, виртуального ассистента российской поисковой компании.

Это, по сути, был просто изобретательный эксперимент. Нас нашли ребята из Екатеринбурга, которые занимаются стрит-артом, и попросили поразмыслить, какие технологии позволят получить что-то новое, выходящее за рамки обыденного кибернетического искусства, объясняет Крайнов.

По его словам, данный проект был для него и его команды своеобразным хобби, никак не связанным с тем, чем обычно занимаются разработчики систем машинного зрения Яндекса копированием того, как видит мир человек.

Обычно нейронные сети приучаются на примерах. По сути, они копируют имеющиеся патроны. Это замечательно работает с музыкой и стихами если ИИ сочиняет музыку или стихи как человек, все в восторге. Неожиданно обернулось, что с изобразительным искусством это не так, рассказывает Александр.

Как отмечает Крайнов, продукты творчества нейросетей, простые стилистические копии художников, казались зрителям скучными и неинтересными, тем, что может каждый. Нам пришлось решать задачу без четкой формулировки заставить искусственный интеллект сделать что-то не так, как это бы сделал человек, и чтобы результат при этом не был ерундой, поясняет исследователь.

Ученые подумали и нашли нетривиальный выход из ситуации они поставили нейросеть в такие условия, в которых, как выражается Крайнов, она в принципе не могла поступить как человек в силу неполноты данных и ограниченности самой сети, неизменных черт ее устройства.

В этом нам подсобил наш недавний проект, совокупный с коллегами из Сколтеха, Deep Image Prior. Это классическая научная работа, у которой вряд ли будут применимые применения в ближайшее время. В ее рамках нейросеть пытается воспроизвести изображение без обучения, получая на входе лишь какой-то шум, рассказывает специалист Яндекса.

Глубинную сеть, как установили исследователи из Яндекса и Сколтеха, можно использовать для удаления шумов из изображения, повышения его разрешения и даже восстановления потерянных сегментов картинки или удаления различных надписей, нанесенных поверх фотографии, не тренируя ее на большом наборе примеров и других изображений. По сути, ученые случайно убирали структуру самой сети, а анализируемые ею данные оставались всегда одинаковыми.

Эти же идеи Крайнов и его сподвижники применили для создания нейросети, выполняющей роль своеобразного реставратора древних фресок и картин, поврежденных от времени или вандалами.

Наше вмешательство в данном случае заключалось в том, что мы указывали сети на те части картинки, кои необходимо заменить. Все остальное она делала сама, не получая никаких подсказок и ориентируясь только на окрестное изображение. Это невероятно сложная задача, успешное решение которой демонстрирует, что нейронная сеть может подыскать априорную информацию, имеющуюся в одной фотографии, подчеркивает Крайнов.

В заданном случае, пояснил исследователь, это можно сравнить с тем, как если бы конструкция ИИ AlphaGo Zero, способная к беспримерному самообучению, стала мастером этой древнекитайской стратегии, сыграв всего одну партию, а не миллиарды игр с менее совершенной копией себя.

На службе искусства и науки

Кибернетического реставратора опробовали на древнеримской фреске, найденной в Испании в 1968 году. Во времена династии Флавиев она декорировала пол виллы Ла-Ольмеда. Художники и искусствоведы восстановили большую часть фрески: на ней изображен один из сюжетов древнегреческих мифов о похождениях Ахиллеса. Однако некоторые элементы так и остались непонятными.

Ясность внес кибернетический реставратор. Художники стрит-арта Анна Клец, Андрей Колоколов и Максим Парфенов распечатали то, что вышло, на стене одного из жилых домов в Екатеринбурге при помощи особого принтера, полученного специально для этой цели. Вывод картинки занял несколько 1 дней, и печать была увенчанная практически в тот момент, когда Крайнов и стрит-артеры выступали на конференции YaC 2018 в Москве с рассказом о том, чего им удалось достичь.

Исследователь отмечает: все это можно использовать не только для подобных развлекательных целей, но и для решения нешуточных научных задач, в том числе восстановления картин, документов и прочих артефактов.

В этой закрутки нужно ориентироваться не на одно изображение, а на какой-то их класс, на котором учится нейросеть. Пару целый месяцев назад наши коллеги из компании NVidia придумали методику восстановления обрезанных лиц на фотографиях с помощью сети, обучавшейся на базе фотографий знаменитостей, продолжает Александр.

Подобные системы искусственного интеллекта, отмечает он, помогут также познать, какой художник написал ту или иную картину, или вычислить подделку.

Состязательные сети, достраивающие изображения, удивительно хорошо отличают своеобраза от подделок. Проверяющая часть, обычно играющая вспомогательную роль в обучении и работе, способна выявлять подделки и копии работ того или иного художника лучше, чем эксперты, поясняет Крайнов.

Путь к сингулярности

Пока эти технологии интересный, но сугубо научный эксперимент. Однако в будущем, тогда, когда вычислительные мощности заметно возрастут, они могут стать обыденностью, тем, что есть на каждом телефоне, компьютере или другом гаджете.

Наши дети будут фотографировать или снимать видео, редактируя изображение прямо на телефоне, улучшая качество одним кликом, заменяя людей на снимках на знакомых или что-то другое при помощи нейросетей. При просмотре фильмов мы сможем заменять одних актеров на других или на самого себя, сделав одно селфи. Скоро это будет доступно каждому, рассказывает Александр.

Некоторые ученые считают, что будущая эволюция нейросетей в конечном итоге приведет к тому, что они обретут способность самостоятельно вершить и решать самые общие заботы, приблизившись по возможностям к человеку. Другие относятся к этому скептически без человека и его оценки того, что делают нейросети, плоды их творчества нельзя вычислять чем-то, имеющим самостоятельную нужность.

Как полагает Крайнов, ответ на этот вопрос несколько сложнее, чем обе эти точки зрения. С одной стороны, нейронная сеть действительно может выступать в роли своеобразного цензора, оценивающего работу другой системы неестественного интеллекта.

С другой стороны, все нейронные сети обучаются на ограниченном наборе данных, и когда мы говорим об их творчестве, речь идет о подражательстве, а не о создании действительно чего-то нового. Конечно, они могут достичь внушительных успехов на этом поприще, но в стихах, картинах, кинолентах, созданных человеком, отражается все же его жизненный опыт, эмоции и переживания, иллюстрирует Крайнов.

У нейронных сетей нет никаких переживаний, жизни и прошлого. По сути, как выражается врач Яндекса, они представляют собой набор формул, который посвящённый для решения лишь какой-то конкретной задачи, даже такой сложной, как копирование стиля известного художника или поэта.

Когда мы говорим о произведениях искусства, наше восприятие прекрасного всегда формируется из двух частей собственно работы самого художника и тех эмоций, которые у нас возникают. Поэтому я разрешаю, что те вещи, которые создаст нейросеть, ускорят у нас эмоции и заставят нас их домыслить, изготовить чем-то великим и ценным. Но это уже будет творчество зрителя, а не сети, которая просто послужит корнем творческого импульса человека, заключает Крайнов.

Редактор рубрики

Леонид Кузьмин

Место события на карте мира:

Унутре нейронка: Яндекс превратил искусственный разум в реставратора

комментарии (0)

Другие интересные новости

Квартет Сандры Фракенберг исполнит народные песни в джазовой аранжировке