當前位置:首頁  媒體浙大

機器人也來給亞運會唱會歌了?看看“余音”如何唱歌

發布時間:2020-09-16來源:小時新聞作者:王湛 黃子洋 柯溢能0

如果在2022年第19屆亞運會的現場,你聽到的會歌既有點2008年北京奧運會主題曲《我和你》的熟悉旋律,又有點《同在藍色星球上》、《榮光》等經典曲目的影子,會不會突然充滿熱血與歸屬感?

能夠多曲旋律結合并非易事,但作為浙江大學AI+藝術領域的一大成就,“余音”,正努力實現這一目標,并跟一眾參賽創作人員一起參與著亞運會會歌征集活動。

“余音”目前還在積極導入相關民族、體育等元素擴充著音樂庫,優化音樂算法,加緊創作“亞運會會歌”。在未來,它還可能應用到更多的音樂設計中。這么有藝術感的人工智能,到底是如何為音樂賦能的呢?

可實現多種國家風格會歌編排

還會針對APP、酒店進行個性化推薦

 杭州2022年第19屆亞運會音樂作品征集第一階段在六月時已經向公眾開放,浙江大學計算機科學與技術學院副教授張克俊和他的團隊也將帶“余音”參加此次征集活動。

“余音”,取自成語“余音繞梁”,由浙江大學人工智能省部共建協同創新中心研發。它屬于音樂創作人工智能,只需要導入視頻、圖片,便可以自動檢索庫存生成符合相關情境的音樂。

先前,“余音”團隊曾導入亞運會“三寶”照片及視頻進行配樂生成,兩分鐘后一段原創曲目誕生——曲目風格輕快明亮,和“三寶”青春洋溢的形象較為吻合。

張克俊說:“目前‘余音’主要通過識別視頻中的情境相關屬性,再根據現有系統數據里的音樂素材去創造符合視頻情境的音樂,用音樂將先前無聲視頻文件合成為有聲視頻(vlog)?!?/p>

關于智能音樂創作中用到的樂器,張克俊團隊目前基本限定在這五種——鋼琴、吉他、低音貝斯、弦樂與鼓,這也是目前主流的配樂常見的樂器搭配,“大部分是三四種組合在一起。但之后亞運會會歌的制作,會適當融入更多的民族樂器元素?!?/p>

五年前,張克俊團隊就開始積累中國民樂數據,現在已有一個較為全面的“民族音樂庫”。近期,“余音”團隊正匯聚東南亞、韓國、日本等國的民族特色音樂。

“除了多樂器音樂生成外,我們還將嘗試在創作中融入國家特色,并應用于亞運會相關App比如酒店、餐飲及運動場館等相關的App中,提供個性化定制服務”,張克俊希望“余音”能讓每一個國家的人即使身處異鄉,也能在使用軟件或進入房間時聽到他們“專屬的亞運音樂”,感受到自家風格的熟悉旋律。

除了民族音樂,張克俊團隊也會繼續收集含體育競賽元素的曲子比如奧運會《我和你》、《Hand in hand(手拉手)》以及花樣游泳、啦啦操等代表性運動的曲目,以實現會歌風格的融合。

他也期望,“‘余音’取得初步成果后,能和亞運會官方進一步溝通,進而做出讓大家滿意的作品?!?/p>

音樂生成“萬花筒”

只需要一段視頻、一張圖片

目前“余音”還屬于研究型產品,從數據庫檢索或生成音樂片段這一步非常迅速,只需要幾秒;但是合成有聲Vlog比較耗時,“如果導入Vlog有一分鐘,那最終版有聲Vlog導出也需要一分鐘左右,系統合成速度與視頻時長相關?!?/p>

“余音”識別應用情境分兩步,首先是淺層理解,主要根據圖片或視頻包含的主要色彩及亮度進行配樂?!氨热鐏嗊\會三寶‘江南憶’的顏色明亮度都較高,那它對應的音樂通常比較明快、活潑?!睆埧丝≌f。

接著,“余音”就需要去識別物體或人物的特點、狀態等信息。張克俊強調,系統會關注物體運動變化的關鍵幀,分析出一些關鍵屬性(如節奏點)去驅動音樂檢索或生成。

但是他也坦言,“目前“余音”在第二步中的準確率和效率還有待提高?!辈贿^,隨著“余音”訓練數據的不斷積累和算法的優化,這些問題將有望逐步被解決。

此外,余音”可以基于大數據,高效計算出如常用和弦、百搭和弦等,甚至發現潛在“樂理”,促進樂理理論的發展和應用。

“目前,AI音樂生成的機制更像是一個萬花筒,可以在短時間內生成數以萬計的音樂,但可控性還較差”張克俊提到,如果把曲子拆分成四段,即便每一段旋律單獨聽都不錯,但合在一起也可能十分突兀。因此,在有聲vlog生成后,有時還需要進行必要的人工潤色。

“余音”團隊功夫深

年底產品也將從實驗室走出來

張克俊介紹他的團隊時說,實驗室不少學生都具有音樂相關的興趣和特長,“‘余音’團隊一共21人,其中大部分都來自于計算機科學與技術、數字媒體以及設計學相關專業?!?/p>

他笑道,“我們團隊大部分的成員也都有樂器、樂理相關基礎,‘能說會唱’,甚至可以自己組建樂隊!”

其實,張克俊的團隊自2006年起就開始做音樂情感分析相關研究了,“近年來AI作曲逐漸進入大眾視野,團隊研究方向也從從情感分析拓展到音樂情感生成,于是2017年上半年后,‘余音’慢慢從實驗室中研發出來?!?/p>

對于之后的發展,張克俊也做了不少預期規劃:“隨著‘余音’的準確度、效率和穩定度的不斷提升,應該在一年左右會走出實驗室,推向市場?!?/p>

現階段,“余音”的樂曲編排、音色混編、并軌導出等部分工作還需要借助人機交互完成。張克俊希望,在未來能夠與視頻制作公司、作曲家及相關工作者合作,獲取更多的經驗知識,進而逐步減少人工參與,提升AI作曲的“智能度”,他說。

他強調:“‘余音’設計初衷是希望人工智能賦能音樂藝術,提升機械性工作的完成效率和準確性,與創作者一起專注于更有創造性的工作。我們通過降低音樂認知和創作門檻,在提高音樂創作效率的同時,探索音樂藝術的更多可能性?!?/p>


小時新聞2020年9月15日

 


福彩中奖预测 内蒙古11选五任五遗漏一定牛 藏宝阁2肖2码默认论坛 双色球技巧 香港2020六开开奖记录 山西11选5软件 2020马会资料精选免费大全 连码是指什么生肖 湖北11选五任三最大遗漏 平特肖怎么计算出来的 13835平特一肖