只需 1 分钟,这个网站用 AI 分离歌曲的人声、伴奏和乐器声
整理:Just
出品:AI科技大本營(ID:rgznai100)
疫情期間,在家待著閑來無事,一些技術(shù)人員就喜歡以技術(shù)的方式找點(diǎn)樂子,順帶賺錢最好了。
將歌曲中的人聲和樂器聲分離是一件讓想使用音樂伴奏的人頭疼的事情,傳統(tǒng)的音樂制作軟件使用門檻較高,處理起來不光費(fèi)時(shí)而且效果不一定好。
團(tuán)子DanGo.ai(https://dango.ai/)——微博網(wǎng)友@無吔學(xué)生近期利用AI技術(shù)做的這個(gè)能分離音頻軌道的網(wǎng)站火了。
在音樂分離這一領(lǐng)域,實(shí)際上已經(jīng)有一些免費(fèi)的AI工具。比如,由法國音樂流媒體服務(wù)公司Deezer為研究目的而開發(fā)的Spleeter開源工具,只需要提供一個(gè)音頻文件,然后Spleeter就會將它分成兩個(gè)、四個(gè)或五個(gè)獨(dú)立的音軌,非常有用。
團(tuán)子DanGo.ai就是基于Spleeter開源工具做的。利用AI技術(shù)并通過上千首歌曲數(shù)據(jù)的訓(xùn)練,用戶只需要上傳歌曲,等待1分鐘,目前就可以提取歌曲中的伴奏、人聲、鋼琴、貝斯、鼓點(diǎn)等多音軌壓縮文件,效果要好于Au或者GoldWave之類的傳統(tǒng)音頻處理軟件。
@無吔學(xué)生表示,這是他禿了一個(gè)月頭的成果。
據(jù)網(wǎng)站作者介紹。團(tuán)子主要由基于MIT協(xié)議的開源項(xiàng)目Spleeter制作的,同時(shí)在其之上增加了一些功能魔改使效率與音質(zhì)得到提升。團(tuán)子基于深度神經(jīng)網(wǎng)絡(luò)(DNN)實(shí)現(xiàn)的音軌分離所誕生的人工智能,它使用Python/Tensorflow開發(fā)。
那么,團(tuán)子 DanGo.ai 與傳統(tǒng)的音樂分離軟件有什么不同?
一般而言,傳統(tǒng)音樂分離軟件所謂的“消音”一般是簡單的帶阻濾波,用人話說就是把人聲所在的頻率直接暴力擦除,這就會導(dǎo)致消音后的歌曲變得特別“糊”——表現(xiàn)為鼓點(diǎn)、某些樂器的消失。作者解釋,這是因?yàn)槿寺晻湍承┫嗤l率的樂器重疊,單純的摳除這個(gè)頻率,不光會消除人聲,也會消除在這個(gè)頻率里的樂器。而根據(jù)歌曲的不同,人聲/和聲所在的頻率也并非固定,這就導(dǎo)致提取出的伴奏不但效果糟糕,而且仍然帶著部分殘余的人聲。
“當(dāng)然,也有一些人發(fā)現(xiàn),歌曲中的人聲錄音一般是單聲道的,而歌曲的樂器未必是這樣。于是人們也嘗試使用左右聲道“相減”(如Au中的中置聲道提取器)來提取伴奏或人聲。但是提取的效果基本仍然很差,因?yàn)闊o法保證樂器不是多聲道的,也無法保證人聲是否被混音師加了后期處理效果器而變成多聲道,所以它并不適合多數(shù)歌曲(尤其是現(xiàn)代音樂)。”
作者稱,團(tuán)子DanGo.ai 則不用考慮上述讓人心智損傷的事情。該軟件用了大量的音樂數(shù)據(jù)進(jìn)行訓(xùn)練,“我們可以把團(tuán)子想象成一個(gè)大腦——我們讓它聽了非常多的歌曲用來“訓(xùn)練”它。現(xiàn)在它非常懂得歌曲,理解歌曲中各個(gè)樂器的存在,也能謹(jǐn)慎細(xì)心的剝離開人聲和伴奏,從而最大程度的保留各個(gè)音軌的質(zhì)量。”
目前,用戶可用團(tuán)子 DanGo.ai 網(wǎng)站試聽5首分離的多音軌歌曲。當(dāng)然,如果你想要更多高質(zhì)量的生成歌曲還需付費(fèi),付費(fèi)歌曲會保留30天的歌曲文件讓用戶下載。
最后給出作者的制作網(wǎng)站的一個(gè)demo視頻,可以聽出歌曲不同多音軌的效果,你感受下?
RECOMMEND
推
薦
閱
讀
? ? ? ? ? ? ?
? AI社群??
? ? ? ? ? ? ? ??
對AI感興趣的小伙伴,
網(wǎng)易智能有12個(gè)不同垂直領(lǐng)域社群等你加入
添加智能菌微信:kaiwu_club
和我們一起探討AI的故事~
你有沒有“在看”鴨?
總結(jié)
以上是生活随笔為你收集整理的只需 1 分钟,这个网站用 AI 分离歌曲的人声、伴奏和乐器声的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 一份 2.5k star 的《React
- 下一篇: open ai gpt_让我们来谈谈将G