Suno v3.5: Audio Input режим
В своей статье
"Suno prompt (стиль) = рыбалка. Альтернатива?" на Хабре (8 авг. 2024),
я подробно рассмотрел вопрос использования режима Audio Input в Suno,
как альтернативу задания стиля с помощью команд в Style.
Каталог Suno песен. Suno дневник.
В этом разделе я привожу примеры, сгенерированные в процессе тестирования Audio Input,
включая фрагменты, использованные в качестве "исходного материала" для генерации - от простейших (6 сек. Drums + 1 нота),
до нарезки в 1 мин. из готовых композиций. + Выводы по каждому примеру.
Раздел Suno: Гармонизация и Autotune.
#1. A cappella (Vorob)
Хотелось проверить, как Suno смешивает стили - для этого эта а-капелла (42 сек.) оказалась почти идеальным материалом. В Lyrics повторил текст полностью, в Style попробовал разные "задания".
Latin Acoustic Guitar
, Small Jazz Band, Grand-piano, Acoustic bass, Saxophone
, Hindustani, Indian national musical instruments, Percussions
Hip-Hop
1. Прекрасный пример! Оказывается, если вы попадаете в ноты и держите темп/ритм, то вам достаточно спеть, а Suno "подыграет", да еще в стиле, который вы ему укажете!. ( Надо, однако, попробовать спеть "мимо нот и ритма" - и посмотреть, может Suno все еще и подправит :-)
2. Не все указания в параметрах стилей были "исполнены", но в целом получилось достаточно грамотное смешение стиля с "исходником".
3. Конечно, в генерациях местами ломается форма/структура, но в целом - очень хороший и обнадеживающий результат.
#2. "On the Beach" (CROtB)
Был использован инструментальный трек (вокал удален) популярной работы Криса Ри (Chris Rea). В 52 сек. включены разные части композиции,
причем, такты перепутаны, что "сломало" риф - иначе Suno не принимал(о) фрагмент. Цель - посмотреть вариативность Suno при
одном и том же входном материале и одинаковом Style: Male vocals - т.е. генерацию Similarities.
Представлены волновые формы с разделением Vocal/Instr., чтобы легче анализировать структуру.
Длительность треков не превышает 3:07, что соответствует ограничению 4-х мин. рендера (0:52 + 3:07).
Выбранная Suno структура (Intro, Verse ...) практически во всех треках с длит. 3:07 не укладывается в макс. время и генерация оборвана.
Темп, тональность и аккорды (наличие) у треков (в первые 45 сек.) определены автоматически.
1. В некоторых треках есть плавные, но очень большие изменения темпа, что похоже на сбой в генерации.
2. Suno в целом использует тональность, гармонию и инструменты исходного фрагмента. И, даже если есть развитие, то "сдержанное", поскольку стиль, по сути, не задавался - только Male vocals.
3. В этих примерах мне самым интересным представляется то, что при неизменных условиях (Lyrics, Style) Suno для каждой генерации выбирает новую форму/структуру (Это хорошо видно на треках Voc/Instr.). И если в 1 мин. фрагменте "формы нет" (уж в этом точно), а Lyrics здесь одинаковый и короткий, то значит Suno имеет какие-то шаблоны форм. Если так, то наш "исходник" - "набор красок", которыми "раскрашивается" форма (Intro, Verse, ...).
CROtB. Треки En10 ... En51
128/Fm - Fm,Cm,C,Bbm,Gdim,Gm
128/Fm - Fm,C#,Cm,F,Gdim,Bb
128/Fm - Fm,C#,Cm,F,Bbm,B
128/Fm - Fm,Cm,F,C#,Bbm
128/Fm - Fm,Gdim,C,Cm,C#
128/Fm - Fm,Cm,C#,F,C,Gdim
128/Fm - Fm,C#,C,F,Cm,G
128/Fm - Fm,C#,C,F,Eb,Gdim
128/Fm - Fm,Cm,C#,C
CROtB. Треки Ru10 ... Ru51
128/Fm - Fm,Cm,C,Bbm,Gdim,Gm
130/Fm - Fm,C#,Cm,F,Gdim,Bb
130/Fm - Fm,C#,Cm,F,Bbm,B
129/Fm - Fm,Cm,F,C#,Bbm
129/Fm - Fm,Gdim,C,Cm,C#
130/Fm - Fm,Cm,C#,F,C,Gdim
127/Fm - Fm,C#,C,F,Cm,G
130/Fm - Fm,C#,C,F,Eb,Gdim
128/Fm - Fm,Cm,C#,C
#3. Два такта Drums + 1 нота (DrTrGb3)
Это проверка, как Suno "отработает" очень простой материал - 2 такта триольных, слегка Jazzy, ударных
и ОДНУ ноту - Gb (F#) малой октавы.
Можно ли таким способом задать темп и тональность, привнося минимум своих звуков?
Темп - 83 bpm. Длительность - 6 сек.
В Lyrics - ничего, т.е. инструментал,
а в Style - разные команды, не совсем согласующиеся с исходником.
v20,v21 - Style: Heavy Rock Blues, Distortion Guitar Solo, Harmonica Solo
v30,v31 - Style: Reggae, Clean Guitar Solo, Trombone Solo
Темп, тональность и аккорды (наличие) у треков определены автоматически.
83/B - B,C#m,F#,E,Bm,Abm
83/B - B,Bm,Abdim,F#,Abm,E
83/B - B,C#,Abm,F#,Ebm,E
83/Bm - Bm,A,G,F#,B,D
1. Изначальный триольный рисунок ударных сохранился и отразился на фактуре во всех генерациях. Конечно, с усложнениями, характерными для указанного стиля. Все стили "сработали на отлично" и в ритмике, свойственной жанру, и в наборе инструментов.
2. С тональностью немного сложнее, но понятно. Исходная нота (Gb/F#), в 5 из 6 треков, принята за IV ступень (субдоминанту), а сама тональность Мажор (в 5 из 6 треков). Скорее всего, это отражает статистику для музыки в выбранных стилях, а может и общую статистику. Для точного задания тональности просто следует включать в "исходник" аккорд.
#4. "Body and Soul" (EGRL)
Группа E-Gens (Новосибирск) - мои стариные друзья и коллеги - Евгений Титков и Евгений Комаров. Я собрал фрагмент в 59 сек. из их композиции "Body and Soul" (Альбом "Renewed Light", 2013), комбинируя разные по плотности части и сохраняя вокал. В версиях с v10 по v41 Style вообще не задавал. В v50,v51 вписал Jazz, в v60,v61 - Hip-Hop, в v70,v71 - Latin, Acoustic Guitar Solo, однако, генерацию эти указания практически не изменили.
, , , Style: no style
, Style: Jazz
, Style: Hip-Hop
, Style: Latin, Acoustic Guitar Solo
[Instrumental Intro]
E-Gens present their new album "Renewed Light", it's really great! Below is the list of album's songs.
[Verse 1] Pain! Body and Soul! Renewed Light! Hidden Rage! Sunrise! Holy Dreams! Crystal World! Everything is Wise! Sweet Disease! Not for Sale! Think! I'm Your Guide!
[Chorus 1] Listen to the E!-Gens! Listen to the E!-Gens! Listen to the E!-Gens! Listen to the "Renewed Light" (Renewed Light)
[Instrumental Solo] [Breakdown]
[Chorus2] ... [Instrumental Ending]
1. Системе хватило материала, чтобы генерить, развивать не только аккомпанемент, сохраняя стилистику, но и вокал (мне кажется, что он, в принципе, похож на исходный).
2. При таком плотном, "самодостаточном" материале Suno не смог(ло) привнести стилистику Jazz, Hip-Hop, Latin, Acoustic Guitar Solo, которую я навязывал сознательно и провокативно. Причем, смешения стилей не произошло, несмотря на то, что указания были "широкими", без деталировки.
#5. Drums + аккорды C#m,Dm (90 и 130 bpm)
Тестирование: как заготовка для House сгенерится со Style Reggae,
и наоборот - заготовка для Reggae - со Style House - ведь типичные темпы для стилей разные.
И исходные аккорды (C#m, Dm, C#m, Dm...) не характерные ни для Reggae, ни для House.
В каждом фрагменте только Drums + обыгрывание аккордов на фортепиано.
Темпы - 90 и 130 bpm. Длительность - 22 и 15 сек.
В Lyrics - текст (En) песни "Work" из
альбома "Место под солнцем" (CD, 2006).
130 bpm для Audio Input
[Verse 1] Want some food on your plate - don't wake up so late. Want to butter your bread - don't be lazy instead. What is one man's dew - can be poison to you. Do the job you know best work will feel like rest. Want to win someone's heart - get a job for a start. Only he is good, who provides you with food. (I'm working)
[Chorus 1] Only through working hard you will get the regard. (I'm working) (I'm working)
v20,v21 - Style: Reggae, Male vocals
Темп, тональность и аккорды (наличие) у треков определены автоматически.
90/C#m - C#m,C#,D,A,Dm,E
130/C#m - C#m,D,C#
130/C#m - C#m,D,Dm,Ab,B,A
1. Даже при таком "минимальном" исходном материале система пытается встроить элементы указанного стиля, по сути, в неподходящий "исходник", как по темпо-ритму, так и гармонии - сделать House из Reggae и наоборот.
2. Типичная гармония для Reggae была бы I, V, vi, IV (пусть C,G,Am,F), а для House i, VII, VI (пусть Am,G,F), но Suno без проблем развивает имеющийся материал и добавляет доп. инструменты в последовательность из полутоновых смещений - C#m,Dm,C#m,Dm.
3. Кажется это интересный способ найти что-то необычное, но, в тоже время, "вписывающееся" в жанр, а это важно.
#6. Drums + Chords + свой риф
Цель - "вписать" свой ход в генерацию. Тональность - Dbm, темп - 117 bpm, длительность - 42 сек.
Попробовал эту заготовку для песни "Странная девушка" (v.7.0), а также в нескольких версиях для песни Нины Орловой "Чингачгук".
Результат генераций в нарезках из коротких фрагментов - 2 фрагмента из "Странная девушка", и 5 фрагментов из "Чингачгук".
Styles для "Чингачгук":
1. Miku voice, Vocaloid, chiptune, electroswing, happy
2. Latin Dance, Vocaloid, chiptune, happy, trumpet solo
3. Latin, Female vocals, Dance, Happy, Trumpet solo
4. Male vocals, Major Key, Happy
5 фрагм. из генерации для п. "Чингачгук"
1. Темп сохраняется, исключая сбои (заметное ускорение) и замедление в конце (может быть в форме).
2. Тональность сохраняется, исключая модуляцию (может быть в форме).
3. Ритмика аккордов и своего рифа сохраняется.
4. Поскольку данный риф по характеру ближе у остинатному применению (повтору), то он не включается при смене аккордов, а применяется в основном в проигрышах.
5. Система достаточно хорошо смешивает "исходник" и новые инструменты, согласно заданному стилю.