У світі, де креативність та інновації йдуть пліч-о-пліч, ми вирішили віддати належне тим, хто стоїть на передовій digital-маркетингу — SMM-спеціалістам. Наша команда створила не просто пісню, а цілий мультиплікаційний кліп під назвою "Енгейджмент зросте" використовуючи найсучасніші AI-технології.
Для реалізації нашої ідеї ми залучили ряд потужних нейромереж, кожна з яких відіграла свою унікальну роль у створенні кліпу:
- Claude: написання тексту пісні, з особливим фокусом на створення рими для репу
- Suno AI: генерація музики
- Midjourney: створення візуальних образів персонажів
- Runway: анімація персонажів та синхронізація губ (LipSync)
- CapCut: монтаж відео та додавання спецефектів
Спочатку ми звернулися до Claude, щоб він допоміг із текстом. Виявилося, що реп – це складно, адже потрібно багато рими. Але ми впорались). Вже під час генерації тексту ми зрозуміли яка буде назва цієї пісні. Промт нижче:
"Привіт! Склади пісню про будні ЕсЕмЕм спеціаліста. Про правки, написання постів, зйомку рілс, хештеги, одруківки, провокаційні коментарі від користувачів та тролінг. Жанр РЕП Умови наступні: має бути 2 куплети, потім приспів, і так ще раз, а потім ще раз. Всі куплети різні. приспів однаковий. І куплети і приспів складаються з 4 рядків. Всі рядки мають бути римованими. Структури рими а,б,а,б Не використовуй слова МИ і не починай рядок зі слова ТИ"
Далі ми скористалися Suno AI, щоб створити музику. Тут все просто – закидуємо в блок "лірика" весь текст, обираємо потрібний жанр (ми обрали ukraine rap, Ukr-hop, hiphop, one male voice) і тиснемо згенерувати. Серед згенерованих версій обрали потрібну і створили повну версію. Сам звук доступний за посиланням. Напочатку тексту рекомендуємо додати всілякі звуки вимови, щоб пісня краще проспівувалась.
Далі настав час для генерації сцен – тут ми використали Midjourney. Вирішили взяти двох героїв, адже в пісні звучать два чоловічі голоси. До речі, героя в червоних штанах малювали з нашого CSD. Ігорю, привіт!
Промт для персонажа:
amazing character design, [30-year-old man, with brown fashionable hair, with a beard, wearing an oversized white T-shirt, black rapper pants, white sneakers], background [vintage coffee shop], character sheets in 6 different poses, full body, bright colours, complex details, high resolution, 8K --ar 16:9 --style raw
Для генерації сцен:
[phone selfie] of caricature character, [30-year-old man, with brown fashionable hair, with a beard], wearing [an oversized white T-shirt, black rapper pants, white sneakers], [laptop on table, staring in front of him], turned to face the shot, background [vintage coffee shop], exaggerated proportions, bold lines, vibrant colors, intricate details --ar 16:9 --cref посилання на потрібного персонажа --ar 16:9
Для апскейлу картинок ми використали нейромережу Magnific AI, а для інпейнтінгу (тобто очищування від зайвих артефактів) – Playground AI. Останнє – це медитативний процес.
Анімацію довірили Runway, адже Haiper AI видавав забагато морфінгу. А Pika, SD та Pixverse – недостатньо якісну картинку. LipSync теж робили в Runway, але цього разу він трохи підвів. Довелося генерувати окрему кількість звичайних кадрів і витягувати за допомогою монтажу.
Останній кадр, де хлопець в білій футболці танцює, зробили в Viggle.
А от справжнім героєм став CupCat! Завдяки цьому застосунку кліп перетворився на динамічну ЛСД-епілепсію з цікавими ефектами. Дякуємо розробникам. Ось як виглядає проєкт на монтажі:
Пісня "Енгейджмент зросте" демонструє, як AI-технології можуть бути використані для створення оригінального та захопливого контенту в музичній та рекламній індустріях. Він показує, що навіть складні творчі завдання, такі як написання репу чи створення анімації, можуть бути успішно виконані за допомогою нейромереж. А відео ви можете переглянути за посиланням.
Якщо вас зацікавив подібний досвід і ви хочете щось схоже, пишіть нам =)