AI還會寫歌？研究報(bào)告AI可依據(jù)歌詞生成旋律

從歌詞中生成音符序列可能聽起來像是科幻小說的內(nèi)容，但人工智能可能會把這變成普遍的現(xiàn)實(shí)。日前，在 Arxiv.org 上發(fā)表的一篇論文中，來自東京國立信息學(xué)研究所的研究人員描述了一種能夠從已學(xué)習(xí)音節(jié)和音符關(guān)系產(chǎn)生“歌詞調(diào)節(jié)”旋律的機(jī)器學(xué)習(xí)系統(tǒng)。

“來自歌詞的旋律生成一直是人工智能和音樂領(lǐng)域的一個具有挑戰(zhàn)性的研究問題，它能夠?qū)W習(xí)和發(fā)現(xiàn)有趣的歌詞和伴奏旋律之間的潛在關(guān)系。”該論文的共同作者寫道，“隨著現(xiàn)有歌詞和旋律數(shù)據(jù)集的發(fā)展以及AI，歌詞和旋律之間的音樂知識挖掘逐漸成為可能。”

正如研究人員解釋的那樣，音符有兩個音樂屬性：音高和持續(xù)時間。音高是聲音的感知屬性，其在頻率相關(guān)音階上通過高度或低度來組織音樂;而持續(xù)時間表示音調(diào)或音調(diào)被發(fā)聲的時間長度。

研究人員的AI系統(tǒng)使用對齊數(shù)據(jù)與長短期記憶(LSTM)網(wǎng)絡(luò)結(jié)。LSTM網(wǎng)絡(luò)是一種能夠?qū)W習(xí)長期依賴性的遞歸神經(jīng)網(wǎng)絡(luò)，經(jīng)過訓(xùn)練，可以在音節(jié)和單詞級別學(xué)習(xí)聯(lián)合嵌入數(shù)學(xué)表示來捕捉歌詞的突出結(jié)構(gòu)，隨著時間的推移就能學(xué)會在給出歌詞的同時預(yù)測旋律，同時考慮到歌詞和旋律之間的關(guān)系。

為了訓(xùn)練它，該團(tuán)隊(duì)編制了又12,197個MIDI文件組成的數(shù)據(jù)集，每個文件都配有歌詞和旋律對齊。在將語料庫分成訓(xùn)練、驗(yàn)證和測試并將它們嵌入模型之后，研究者進(jìn)行了一系列測試以確定它預(yù)測的旋律與歌詞、MIDI、音符持續(xù)時間和休息持續(xù)時間順序?qū)R的程度。他們報(bào)告稱，他們所用的人工智能系統(tǒng)不僅“在各個方面”都超越了基線模型，而且與人類音樂的分布非常接近。

研究人員寫道：“音樂和人工智能中歌詞的旋律生成仍然未得到很好的探索。利用深度學(xué)習(xí)技術(shù)制作旋律是一個非常有趣的研究領(lǐng)域，旨在了解和輔助人類的音樂創(chuàng)作活動。”

如果該研究未來能夠有所進(jìn)展，人工智能可能很快就會成為音樂家們的寶貴工具。今年7月，總部位于蒙特利爾的創(chuàng)業(yè)公司Landr籌集2600萬美元用于開發(fā)分析音樂風(fēng)格的產(chǎn)品，以創(chuàng)建定制的音頻處理器，而今年早些時候，OpenAI和谷歌推出了利用音樂生成算法的在線創(chuàng)作工具。最近，索尼的研究人員研究了特定條件下的kick-drum軌道生成的機(jī)器學(xué)習(xí)模型。讓AI從事作曲甚至更廣泛的音樂工作，似乎很快就不屬于天方夜譚。