L'Intelligenza Artificiale che suona la batteria: ecco DrumNet di Sony

Sony ha condotto un esperimento nell'ambito dell' Intelligenza Artificiale che ha previsto l'uso di un modello di machine learning per la generazione condizionale di una traccia audio "musicalmente plausibile" che riproducesse il suono della grancassa di una batteria in realzione agli altri strumenti presenti in un determinato brano. Come la stessa Sony spiega, l'obiettivo non è quello di sostituire i musicisti con un algortimo, ma di offrir loro una serie di risorse a supporto della loro creatività.

Per realizzare DrumNet, questo il nome del modello di machine learning, i ricercatori hanno elaborato un codice basilare per codificare la relazione tra il brano di riferimento e il nuovo materiale che deve essere generato, così che l'AI possa creare una varietà di pattern della cassa a prescindere da eventuali differenze di tempo e cadenze.

"Abbiamo proposto un modello di architettura che codifica le interazioni ritmiche della cassa con i pattern di basso e rullante. Ciascuna mappatura identifica le relazioni tra i vari strumenti, così che un intero brano sia associato ad una sequenza di codici di mapping. Invece che controllare le caratteristiche del materiale generato, il controllo è su come il materiale generato è in relazione al materiale di condizionamento" hanno spiegato i ricercatori.

Il sistema AI è stato allenato realizzando un dataset di 665 brani di vari generi, e dove per ciascuno la strumentazione ritmica era disponibile in tracce audio separate. Per realizzare i pattern di cassa i ricercatori hanno campionato il suono della grancassa di una batteria, operando poi sull'ampiezza e sui picchi dell'onda per creare suoni di diversa dinamica.

La sperimentazione ha quindi impegnato il sistema di Intelligenza Artificiale a generare pattern di cassa in maniera condizionata o applicare pattern ritmici ricavati da un brano per introdurre pattern simili in un altro brano. Il sistema ha inoltre realizzato versioni all'80%, 90%, 110% e 120% del tempo di un brano e determinato i relativi codici di mapping.

"Siamo riusciti a dimostrare che i codici di mapping sono ampiamente invarianti per tempo e ritmo e che i tracciati di cassa musicalmente plausibili possono essere generati da un rullante e da un basso sia tramite mapping code, sia tramite trasferimento di stile, in questo caso deducendo il mapping code da un altro brano" concludono gli autori, che proveranno in futuro ad applicare lo stesso approccio per generare una tracce audio con pattern di rullante e con linee di basso.

Chi volesse ascoltare alcuni esempi dei brani elaborati da DrumNet può recarsi qui

Non è il primo caso di una sperimentazione che vede le tecniche di Intelligenza Artificiale e machine learning applicate alla musica. A luglio la startup canadese Landr ha raccolto 26 milioni di dollari (e tra i finanziatori c'è proprio Sony con il suo Sony Innovation Fund) per una tecnologia che analizza stili musicali allo scopo di creare processori di post-produzione audio su misura, Google e OpenAI hanno in precedenza messo a disposizione MsuseNet, una rete neurale capace di generare composizioni di 4 minuti con 10 differenti strumenti combinando vari stili musicali, mentre Facebook ha sfruttato l'intelligenza artificiale per convertire brani di un genere in altri stili. Insomma, l'AI potrebbe presto diventare uno strumento prezioso nelle mani dei musicisti.