Компания OpenAI недавно получила громогласный успех благодаря потрясающим возможностям ChatGPT, которые включают в себя: написание академических аннотаций, планирование вечеринки и даже возможность автоматического написание песни в стиле австралийского певца и автора Nick Cave.
Успех ChatGPT вызывает опасения Google в том, что будущее традиционной поисковой машины туманно. Это побудило компанию начать разрабатывать ИИ-версию поиска Google вместе с другими ИИ-проектами, такими как технология создания изображений.
Неудивительно, что Google начала работу в ещё одном направлении: музыки, которую создаёт ИИ. Гигант поиска построил ИИ-бота, который может создавать музыку из текстового задания или даже историй, отражающих определенный эпоху.
Google называет эту ИИ-систему “MusicLM”, вероятно, это ее версия ChatGPT в области написания музыки. 26 января Google опубликовал исследовательскую статью, в которой описывается MusicLM как “модель, генерирующая музыку высокого качества из текстовых описаний” (источник TechCrunch).
Yesterday, Google published a paper on a new AI model called MusicLM.
The model generates 24 kHz music from rich captions like "A fusion of reggaeton and electronic dance music, with a spacey, otherworldly sound. Induces the experience of being lost in space." pic.twitter.com/XPv0PEQbUh
— Product Hunt 😸 (@ProductHunt) January 27, 2023
Чтобы MusicLM создала музыку, сначала должен быть написано детализированное текстовое описание, указывающий стили или жанры. Но даже такие простые задания, как: “основной саундтрек аркадной игры…с запоминающимся электрогитарным риффом” или “фьюжн из реггетона и электронной танцевальной музыки, с космическим и другомирным звучанием” могут дать потрясающие результаты. (послушать можно по ссылке выше).
"MusicLM: Generating Music from Text"https://t.co/XG1FyPNd4S
Impressed to see the quality of autogenerated vocals has gone way up! Sounds real but in a foreign language. pic.twitter.com/4U32ttoexI
— Jay Hack (@mathemagic1an) January 27, 2023
Google обучал MusicLM на уже существующем музыкальном контенте, поэтому не удивительно, что около 1% примеров может быть похоже на те песни или мелодии, которые вы уже где-то слышали. Это может вызывать опасения по поводу способности MusicLM легко копировать мелодии, рифы или иные музыкальные фразы из песен, которые юридически принадлежат авторам-людям. Это может вызвать неприятные прецеденты в будущем.
По этой, и иным причинам, о которых в Google не распространяются, дать общий доступ к этому ИИ в ближайшее время не планируют. Однако, компания выложила 5500 примеров сгенерированной музыки в общий доступ, её можно послушать и лично оценить мастерство MusicLM. Этот набор данных, известный как “MusicCaps”, теперь доступен на странице Github Google.
F.A.Q.
Что такое MusicLM?
MusicLM – это модель машинного обучения, разработанная Google, которая умеет создавать музыку на основе текстовых предложений.
Как работает MusicLM?
MusicLM работает как генеративный модель языка, используя нейронные сети для генерации музыкальных композиций на основе текста. Она обучается на большом количестве данных о музыке и тексте, чтобы сгенерировать музыку, соответствующую заданию.
Для эффективной работы MusicLM требуется ли детальное и подробное текстовое описание?
Чем выше подробность, тем лучше конечный результат, но это условие не обязательно. В некоторых случаях нейросеть может создать довольно приятную мелодию из описания, которое состоит из одного предложения.
На что способна MusicLM?
MusicLM способна генерировать музыкальные композиции на основе текстовых примеров.
Доступна ли MusicLM для публичного использования и почему?
Нет, сейчас MusicLM доступна только для внутреннего использования корпорацией Google. Это связано с тем, что нейросеть была обучена на музыке, которая принадлежит людям, и если дать её в общий доступ, неизбежно в сгенерированных мелодиях мы услышим знакомые мотивы, что может быть причиной подачи иска к Google.