Google представила браузерного нейросетевого барабанщика

Исследователи из Google создали сервис DrumBot, который в реальном времени дополняет мелодию на синтезаторе партией на ударных. Сервис работает в виде браузерного приложения, к которому можно подключить синтезатор, рассказывают разработчики в своем блоге. Код и инструкции для использования сервиса на стороннем сервере опубликованы на GitHub.

Алгоритмы машинного обучения для работы со звуком обычно можно разбить на две основные группы. Одни алгоритмы создают новую музыку — ее однако, сложно назвать качественной с эстетической точки зрения. Алгоритмы второй группы же помогают музыкантам и композиторам при создании и исполнении музыки — и сейчас они достаточно развиты.

Во многом такие алгоритмы развиваются усилиями исследователей из проекта Magenta, входящего в состав Google. Например, они разработали вариационный автокодировщик, позволяющий преобразовывать музыку на разных инструментах или в разных стилях в другие, сохраняя при этом общую мелодию, ритм и другие ключевые свойства. На его основе они создали программу, позволяющую добавлять партию на ударных к мелодии, исполненной на другом инструменте.

Пока подобные алгоритмы и сервисы работают с записанными мелодиями и не могут быть использованы в качестве замены реальному музыканту, способному подыграть на барабанах или другом инструменте. В новом проекте разработчики из Magenta использовали ту же нейросетевую модель для более удобного сервиса, работающего в реальном времени. Сервис работает в виде браузерного приложения, а пользователь может задать мелодию на своем синтезаторе, подключив его к компьютеру, или использовать виртуальный синтезатор на экране.

После того, как пользователь сыграл два такта, алгоритм генерирует и воспроизводит соответствующую ударную партию. При этом он может продолжить играть, и на следующих двух тактах алгоритм будет проигрывать новую партию. Разработчики реализовали сервис в виде легковесного браузерного алгоритма и Node.js-программы, работающей на более мощном облачном сервере.

Одна из авторов отметила, что сервис принимает мелодию и выдает результат в виде MIDI-последовательности, поэтому музыканты могут использовать удобные им инструменты, а также записывать полученные композиции, чтобы работать с ними дальше. Сервис можно развернуть на своем компьютере, код и инструкции для этого опубликованы на GitHub.

Источник: https://nplus1.ru/

Заглавная иллюстрация: https://ua.depositphotos.com/

Tags:

ТЕБЕ МОЖЕТ ПОНРАВИТЬСЯ

Лучшая рождественская реклама брендов — 2019

Чем ближе одна из самых долгожданных дат года, тем охотнее бренды шутят, сочиняют сказки и рассказывают людям душещипательные истории.

В Україні зняли соціальну рекламу, яка закликає перенести святкування Різдва на 25-те грудня

19 грудня була оприлюднена соціальна реклама, яка спрямована на популяризацію ідеї перенесення святкування Різдва з 7-го січня на 25-те грудня.

Бренд – поняття суспільне. Теми, тенденції та уроки Eurobest-2019

Цьогорічні роботи Eurobest показали, що бренди наразі відмовляються від кампаній, розрахованих на швидкий але короткочасний успіх, та поверхневих спроб «присусідитися» до актуальних питань.