Миналата година група немски компютърни учени направиха вълни, като демонстрираха нов компютърен алгоритъм, който може да превърне всяко цифрово неподвижно изображение в произведение на изкуството, имитиращо живописните стилове на майстори като Винсент ван Гог, Пабло Пикасо и Едвард Мунк. Макар и впечатляващ подвиг, прилагането на същата техника върху движещи се изображения изглеждаше възмутително по онова време. Но сега друга група изследователи са го разбрали, бързо и безпроблемно създавайки движещи се цифрови шедьоври, Карл Енгелкинг пише за Discover .
Свързано съдържание
- Този анимиран филм за Ван Гог е направен изцяло от маслени картини
- Тази изкуствена невронна мрежа генерира абсурдни пикап линии
Във видео демонстрация програмистите показват артистичните способности на алгоритъма си, като трансформират сцени от филми и телевизионни предавания като Ледена епоха и Мис Марпъл в анимационни картини с щракване на мишката. Но разработването на алгоритъма не беше малък подвиг.
За да създадат такава детайлна трансформация, компютърният учен Леон Гатис и неговите колеги от университета в Тюбинген разработиха алгоритъм за дълбоко обучение, който изтича от изкуствена невронна мрежа. Имитирайки начините, по които невроните в човешкия мозък осъществяват връзки, тези системи за машинно обучение могат да изпълняват много по-сложни задачи от всеки стар лаптоп.
Ето как става: когато гледате снимка на картина или гледате филм на вашия лаптоп, сте свидетели на вашия компютър, който декодира информацията във файл и го представя правилно. Но когато тези изображения се обработват чрез невронна мрежа, компютърът е в състояние да вземе много различни слоеве информация, съдържащи се в тези файлове, и да ги раздели отделно на части.
Например, един слой може да съдържа информацията за основните цветове в звездната нощ на Ван Гог, докато следващият добавя малко повече детайли и текстура и т.н., според MIT Technology Review . След това системата може да променя всеки отделен слой поотделно, преди да ги постави отново, за да създаде изцяло ново изображение.
„Ние можем да манипулираме и двете представи независимо, за да произвеждаме нови, възприемащи смисъл образи.“ Gatys пише в проучване, публикувано на сървъра за предпечат arXiv.
Прилагайки тази система на слойно обучение към картини на Пикасо и Ван Гог, за да назовем няколко, изследователите успяха да разработят алгоритъм, който „научи“ компютъра да интерпретира цялата тази информация по начин, който разделя съдържанието на живопис от неговия стил. След като разбра как Ван Гог използва четки и цветове, след това може да приложи този стил като филтър на Photoshop към изображение и ефективно да го пресъздаде в емблематичния си стил, Мат Макфарланд пише за Washington Post . Но прилагането на тази техника към видеото представи изцяло нов набор от проблеми.
„В миналото ръчното преначертаване на изображение в определен художествен стил изискваше професионален художник и дълго време“, пишат Мануел Рудер и неговият екип от Университета в Фрайбург в своето ново изследване, публикувано също на arXiv. „Правенето на това за видео последователност с една ръка беше извън въображението.“
Когато Рудър и колегите му за първи път се опитват да прилагат алгоритъма към видеоклипове, компютърът изби гоблена. В крайна сметка те разбраха, че програмата третира всеки кадър от видеото като отделно неподвижно изображение, което накара видеото да трепне неправилно. За да се справят с този проблем, изследователите поставят ограничения върху алгоритъма, който не позволява на компютъра да се отклонява твърде много между кадрите, пише Engelking. Това позволи на програмата да се уталожи и да приложи последователен стил в целия видеоклип.
Алгоритъмът не е перфектен и често има проблеми с работата с по-голямо и по-бързо движение. Това обаче все още представлява важна стъпка напред в начините, по които компютрите могат да изобразяват и променят видео. Въпреки че е в начален стадий, бъдещите алгоритми могат да могат да приложат този ефект върху видеоклипове, направени чрез приложение за смартфон, или дори да представят версии за виртуална реалност на любимите ви картини, съобщава MIT Technology Review .
Идеята да се стигне до стила на един художник до набор от данни може да отблъсне някои хора, а също така отваря вратите за всички нови видове изкуство, които никога досега не се смятаха за възможно.
