Wydzielanie wokali z utworów zawsze było sporym utrapieniem i zna ten temat każdy muzyk i producent, który kiedykolwiek próbował zrobić remix/mashup swojego ulubionego utworu. Z pomocą przychodzi uczenie maszynowe i sztuczna inteligencja, dzięki której cały proces przebiega w tempie błyskawicy, a wyniki w zależności od konkretnego utworu, mogą być naprawdę spektakularne!

Deezer, czyli Francuski konkurent Spotify i Tidala wypuścił Open Source’ową wersję ich oprogramowania o nazwie Spleeter. Wykorzystuje on sztuczną inteligencję opartą na bibliotece TensorFlow od Google. Pliki wiszą na Github i są dostępne do pobrania za darmo, dla każdego kto tylko będzie umiał je wykorzystać. Ano i właśnie bo z tym nie jest już tak kolorowo… Spleeter został napisany w Pythonie (język programowania) i aby móc go wykorzystać, należy pierw ściągnąć środowisko Conda, a następnie pobrać pliki z repozytorium używając polecenia wpisywanego w linii komend:

git clone https://github.com/deezer/spleeter
conda env create -f spleeter/conda/spleeter-cpu.yaml
conda activate spleeter-cpu

Wymaga to pewnej podstawowej wiedzy z zakresu programowania. Dla osób, które nie chcą nic instalować istnieje inne rozwiązanie. Można przetestować Spleetera dzięki Google Colab, który jest Pythonowym obszarem roboczym od Google w chmurze. Wystarczy przejść pod ten adres https://colab.research.google.com/…/spleeter.ipynb

Spleeter wynikowo podzieli utwór na dwie, cztery lub pięć osobnych ścieżek dźwiękowych zwanych “stemami”:

• Wokal (śpiew) | Akompaniament (2 stemy)
• Wokal | Perkusja | Linia basowa | Inne (4 stemy)
• Wokal | Perkusja | Linia basowa | Linia melodyczna | Inne (5 stemów)

Wyniki nie są perfekcyjne – słychać niestety trochę zniekształceń, ale jest to krok milowy w tego typu zabiegach, a samo wydzielanie trwa dość szybko. Spleeter obsługuje procesory graficzne CUDA znane z kart NVIDII, co powinno znacznie przyśpieszyć proces izolacji wokalu.

Jak to działa w praktyce, możecie zobaczyć na poniższymch filmach. Na blogu WAXY.ORG znajdziecie więcej spektakularnych przykładów dźwiękowych, gdzie wzięto na tapetę utwory takich artystów jak m.in. Marvin Gaye czy Led Zeppelin.