Искусственный интеллект все активнее помогает людям в творчестве. Он не заменяет ручной труд, но упрощает работу и помогает придумывать новые креативные решения. Например, благодаря искусственному интеллекту появилась профессия нейрохудожника. Это специалисты, которые создают контент для киноиндустрии, рекламы, анимации и других областей с помощью искусственного интеллекта.
Мы поговорили с одним из них — Алексеем Лотковым. Алексей работает фрилансером над разными проектами в сотрудничестве с Corridor Crew, студией Honkfu и другими компаниями. В интервью он рассказал о том, почему нейросети пока не могут создавать фотореалистичный визуал, в чем они уступают анимации, сколько зарабатывают нейрохудожники и как стать одним из них.
— Совсем недавно мы еще ничего не знали о нейрохудожниках. Как вы им стали?
— Я был одним из первопроходцев: профессия только формировалась, когда я начинал. И даже сейчас не скажу, что она сформировалась до конца. Мы работаем на стыке разных визуальных искусств: 3D, композитинга, монтажа и других. Нет четкого разделения, что сегодня я просто моушн-дизайнер, а завтра нейромоушн-дизайнер. Чтобы классно рассказывать истории, нужны разные инструменты.
В мое время учиться профессии было особо негде. Я смотрел туториалы на YouTube и сам экспериментировал с разными нейронными сетями. А потом нейросети стали обрастать комьюнити, появилось больше материалов в Discord, на Reddit и YouTube. Советую с них и начать, если вы тоже интересуетесь нейронками.
— Если вы работаете с разными инструментами, в какой момент понимаете, что пора подключать нейросети?
— В нейросетях протекает большая часть моей работы: обычно клиент сразу приходит с проектом, где хочет использовать искусственный интеллект. Но нейронка никогда не выдает итоговый результат. Часто я вручную исправляю за ней косяки, иногда правки прилетают и от заказчика. Тут уже одной нейронкой не обойтись — на помощь приходят другие инструменты, например, фотошоп. Поэтому скорее это работает в обратную сторону: нужно решить, когда и какие традиционные инструменты использовать.
— Сколько генераций и промтов обычно нужно, чтобы сделать классно?
— Все зависит от заказчика и его готовности к тому, что итоговый результат может быть другим. Если обращаются студии, то проект отсматривает куча посредников, и у всех свои правки. Поэтому на одну сцену вполне может уйти две недели генерации и куча перебранных вариантов — 100 иллюстраций, 50 видов анимации. Но сила нейронок в том, что мы легко можем вносить глобальные правки. Перегенерировать всю сцену? Не вопрос! Зато точечные изменения внести почти нереально. Бывает, прилетает комментарий: «а подвиньте пиццу на пару сантиметров влево». Это уже нет — придется переделывать весь шот.
— Случалось полностью перекраивать проект с учетом возможностей нейросети?
— Обычно нейросети применяют и на стадии препродакшена. Заказчик уже приходит с брифом, сделанным в нейронке, и просит чистовик. Но барьеров у нейросетей и правда много. Часто приходится объяснять, как лучше построить визуал, чтобы это хорошо сработало.
Как правило, итоговый результат и задумка не похожи, но не сказать, что финальный вариант хуже. Например, сейчас мы делаем короткометражку, где хотели добиться фотореализма. Мы месяцами бились над этой задачей и поняли, что нейронка пока так не может. Тогда решили уйти в более стилизованную сторону — сделать что-то среднее между фотореализмом и анимацией. Это было довольно интересно, потому что проект изменился на 180 градусов. И теперь уже почти готовую короткометражку мы перерендериваем в другом стиле, чтобы она заиграла новыми красками.
— Что мешает нейросетям добиваться фотореализма? И когда это станет возможно?
— Для начала нужно ответить на вопрос, что делает визуал фотореалистичным. Необязательно качественная картинка. Ролик может быть снят и на видеорегистратор, но при этом выглядеть реалистично за счет динамики, освещения, движения. И вот тут нейронки пока сильно проигрывают анимации: они часто создают странные движения, неестественную мимику.
Чтобы нейронка приблизилась к реалистичной картинке, нужен большой датасет. Если мы говорим про видео, то нейросеть отсматривает миллионы кадров, а потом учится сама из шума создавать ролики. Многие нейросети обучались на материалах, у которых нет лицензии. Поэтому с юридической точки зрения этот вопрос находится в серой зоне. А если нужен качественный датасет, то нужно идти к кинокомпаниям, которые, естественно, захотят за это много денег. И нет гарантии, что этих материалов хватит — нужны реально огромные объемы.
— Поговорим о нейросетях в анимации. На что они способны, в чем пока ограничены?
— Как я уже сказал, у нейросетей есть барьеры в движении. Например, не получится сделать сцену, где герой достает меч и начинает баталию. Нужен креативный подход. Можно разбить сцену на несколько кадров. Один шот — одно действие: вот персонаж достал меч, вот встал в позу, вот начал бить.
Некоторые вещи нейронка делает быстрее и проще. Например, клоуз-апы и параллаксы. А еще создает видео, где постоянно меняется стиль картинки, что тоже круто. Главное — нужен режиссер, который хорошо разбирается в нейронках и понимает, где их применять.
В таких нейронках, как Luma Dream Machine, Kling, Runway для создания анимации достаточно первого и последнего кадра. Дальше нейросеть сама дорисовывает картинку. Например, недавно мы закончили работу над рождественской короткометражкой про ослика. В одной из сцен персонаж подходит к окну, после чего камера показывает весь город. Для этой сцены у нас были только две плоские картинки, а нейросеть сама заполнила пространство между ними.
— И все-таки, какая нейросеть лучшая для создания анимации?
— Одной нейросети нет — обычно я закидываю материал во все подряд и смотрю, какая лучше всего сработала. Если говорить конкретнее, то я чаще всего использую Runway, Kling, MiniMax, VIDU и LUMA. Если хочется создать мультик, то лучше всего справится MiniMax — наверное, 25 % нашего клипа про ослика мы сделали именно там.
— У вас есть проекты, которые вы особенно любите? Расскажите об одном из них!
— Эксклюзив! Последние две недели мы делали проект для американской сети фаст-фуда Frankie & Benny’s. Это был рекламный ролик, приуроченный к праздничной кампании «Рождество как у нью-йоркца». Креативный бриф был такой: сделать ролик, где еда становится частью города. Без нашего креативного инпута тоже не обошлось: мы придумали, что будем брать реальные фотографии и дорисовывать к ним элементы нейронкой. Потом заанимировали картинку с помощью Image to Video и сделали композитинг в After Effects, чтобы придать атмосферы. Так и получилась у нас Статуя Свободы со спагетти и подземка, где с потолка валятся фрикадельки.
Работа с нейронками — это всегда новый челлендж, где ты сам с нуля придумываешь пайплайн. Особенно в небольших проектах — здесь можно креативить самому и пробивать новые потолки. Наверняка что-то похожее уже сделали в 3D, но точно не в нейросетях и с другими бюджетами.
— Как к нейросетям относятся крупные игроки индустрии вроде Disney и Pixar?
— В сентябре я был в Лос-Анджелесе, общался с аниматорами оттуда. Большинство из них настроены радикально против. Не знаю, что думают исполнительные продюсеры о нейросетях, но для художников это табу.
В самом Голливуде есть компании, которые заинтересованы в нейронках и используют их. Например, компания TCL — китайский производитель бытовой техники с подразделением в Лос-Анджелесе. Там работает целый отдел художников, которые создают нейроконтент. Я тоже с ними сотрудничаю. Мы даже экспериментировали с тем, в каких направлениях нейронка работает лучше — драме, комедии, документалистике или анимации. Пока с анимацией нейросеть справляется лучше всего.
— Почему именно с анимацией?
— Нейронным сетям очень сложно реалистично передать экспрессию эмоций и мимику. Мы так эволюционировали, что лицо настоящего человека можем распознать сразу же — отсюда и эффект зловещей долины. Нейросети пока не перешли этот барьер, и поэтому им сложно создавать по-настоящему интересные и захватывающие истории, связанные с реалистичным визуалом. В анимации потолок дозволенного в плане лиц и той самой нереалистичности гораздо выше (или вообще отсутствует), поэтому многие недочеты и слабости нейросетей тут не проявляются.
— А где сейчас востребованы нейрохудожники в России?
— Нейрохудожники востребованы много где. Практически любое агентство сейчас экспериментирует с нейронными сетями, пытаясь применить их в своих пайплайнах. Хороших специалистов в стране не больше 20, поэтому конкуренции почти нет. Если человек еще и с Adobe, 3D, Houdini и ComfyUI работает, то цены ему нет. Но поскольку индустрия очень динамичная, важно не только разбираться в инструментах, но и постоянно искать новые пути решения. Начинающие специалисты в среднем зарабатывают от 10 долларов в час (как в России, так и за рубежом). За год работы можно вполне дойти до 25 долларов в час.
В своем окружении я уже привлек к проектам всех, кого знаю. В том числе и студенток курса Animation School по нейросетям. У нас сложилось своего рода фриланс-объединение, где я скорее выступаю супервайзером. Думаю, что в ближайшее время буду привлекать еще людей — проектов больше, чем свободных рук.
— Как начинающему нейрохудожнику создать портфолио и где найти работу?
— В нейросетях можно создать крутой визуал самому. Просто делайте творческие проекты, которые показывают уровень скиллов и ваше видение. И не забывайте делиться ими в соцсетях: большинство заказчиков пришли ко мне после залетевшего ролика с рукой. Иногда можно постучаться к компаниям напрямую: посмотрите, кто в своих соцсетях постит контент с нейронками, и отправьте портфолио. В тематические каналы в Telegram и Discord тоже можно заглядывать.