新華社香港7月17日電? 題：人機(jī)交互音樂會：唱響不一樣的《東方之珠》
新華社記者 陸敏
“小河彎彎向南流,，流到香江去看一看……”
歌聲響起處,，大屏幕上五彩斑斕的3D音畫隨著旋律“起舞”,，晶瑩欲滴的珠子不斷幻變出城市,、海港、船帆,，還有月色和燈火,，水母在玫瑰色的天空中游弋，巨大的海浪卷出彩虹……
一場別開生面的音樂會14日在香港大會堂音樂廳舉行,，擔(dān)任指揮的是香港浸會大學(xué)交響樂團(tuán)音樂總監(jiān)潘明倫,。在真人樂團(tuán)的現(xiàn)場伴奏下，300多個虛擬人聲合唱一曲《東方之珠》,，配上由人工智能為歌曲創(chuàng)作的3D音畫，瑰麗奇幻,，氣勢恢宏,。
人工智能專家、浸會大學(xué)副校長郭毅可接受新華社記者專訪（7月11日攝）,。新華社記者 吳曉初 攝
“這應(yīng)該是全球首場同類的人機(jī)合作表演,。”人工智能專家,、浸會大學(xué)副校長郭毅可說,，“人和機(jī)器共同創(chuàng)作和完成一個藝術(shù)作品，我們做到了,?！?/p>
這是浸會大學(xué)“香港人機(jī)共生藝術(shù)創(chuàng)造平臺技術(shù)建設(shè)”項(xiàng)目拿出的第一份成績單。這一項(xiàng)目去年獲得香港特區(qū)政府撥款5200多萬港元,，開展為期5年的藝術(shù)科技研究,。
組建人工智能“合唱團(tuán)”
今年是香港回歸祖國25周年，項(xiàng)目團(tuán)隊(duì)首先想到了歌曲《東方之珠》,?！坝萌藱C(jī)交互的方式進(jìn)行再創(chuàng)作，以此送上我們的祝福,?！必?fù)責(zé)該項(xiàng)目的郭毅可說,。
第一個挑戰(zhàn)是“組建”320個虛擬歌手組成的人工智能“合唱團(tuán)”。
通過收集專業(yè)歌手的錄音歌曲,，他們提取和分解了聲樂的主要特點(diǎn),，開發(fā)了聲樂的生成模型，成功創(chuàng)建了一個四聲部的合唱,，同時(shí)通過8個人的人聲采樣,，生成320個具有全新音色的虛擬歌手，“組建”成團(tuán),。
虛擬歌手們開始“唱”得并不好,，會唱錯、唱不上高音甚至破音跑調(diào),?！奥曇艟褪穷l率，教它們學(xué)唱歌不算太難,，就是需要不斷地通過調(diào)整頻率進(jìn)行改善,。”郭毅可說,。
在彩排中,，香港浸會大學(xué)交響樂團(tuán)音樂總監(jiān)潘明倫身上多處綁著傳感器，他不時(shí)與臺下的技術(shù)團(tuán)隊(duì)進(jìn)行溝通（7月11日攝）,。新華社記者 吳曉初 攝
第二個挑戰(zhàn)是表演時(shí)的人機(jī)互動,。在舞臺上，指揮和樂團(tuán)是真人,，虛擬歌手們要學(xué)會“聽”指揮的指令,，做到與交響樂團(tuán)的現(xiàn)場演奏無縫銜接，而這并非易事,。
記者在彩排現(xiàn)場看到,，指揮潘明倫脫去了西裝，他的腰上,、肩上,、手臂和手腕處都綁著裝有傳感器的綁帶，他不時(shí)停下指揮,，與臺下的技術(shù)團(tuán)隊(duì)進(jìn)行溝通磨合,。
傳感器的作用是把指揮的肢體動作“同聲傳譯”給人工智能合唱系統(tǒng)?！半y點(diǎn)也在于此,，指揮的手勢不是固定的，需要有個模糊邏輯讓系統(tǒng)學(xué)習(xí)。開始挺亂的,，現(xiàn)在越練越好了,。”郭毅可說,。
經(jīng)過長達(dá)半年的科研攻關(guān)和人機(jī)磨合,，浸大的人工智能合唱團(tuán)成功地完成了與真人交響樂團(tuán)的合作。
人工智能眼里的“東方之珠”
最大的突破來自人工智能的“創(chuàng)作”,。配合歌曲意境,，人工智能自主創(chuàng)作的3D音畫，用天馬行空的想象力和表現(xiàn)力向人類描述了它眼中的“東方之珠”,。
在這段時(shí)長約4分鐘的3D音畫里,，人工智能共生成近3000張圖像，且畫面之間邏輯順暢,，并與《東方之珠》的歌詞和旋律相匹配,。“根據(jù)歌詞內(nèi)容不斷變化,，動態(tài)生成各種場景,。鏡頭設(shè)計(jì)了一個虛擬的飛行視角，其速度和高度隨旋律而變化,，音量高就飛得高,；節(jié)奏快，速度也會加快,?！惫憧烧f。
香港浸會大學(xué)交響樂團(tuán)樂手在彩排中演奏（7月11日攝）,。新華社記者 吳曉初 攝
剛開始的時(shí)候，團(tuán)隊(duì)只是讓人工智能根據(jù)歌詞生成一幅幅畫,，將它們簡單連接,。隨著探索的深入，他們開始嘗試讓人工智能“創(chuàng)作”三維視頻,?！斑@需要對歌詞內(nèi)容系統(tǒng)地理解，而且邏輯必須連貫,，并且自動生成,。這個時(shí)候我們的創(chuàng)新就開始了?！惫憧烧f,。
要做到這一點(diǎn)，首先要讓機(jī)器學(xué)會理解歌詞的文字內(nèi)涵，人“教會”機(jī)器了解一些相對應(yīng)的關(guān)系,，比如香江代表著香港,，“珠”的意象要成為貫穿音畫的主線等，在此基礎(chǔ)上讓機(jī)器自主想象,，自行創(chuàng)作,。而在機(jī)器完成創(chuàng)作后，具備不具備美感和意義則需要人來反饋,，并幫助它修正,。
“這就是人機(jī)交互的創(chuàng)作?！惫憧烧f,，“我們開發(fā)了一個人工智能驅(qū)動的媒體藝術(shù)家模型，‘東方之珠’音畫是我們向超級人工智能藝術(shù)家目標(biāo)邁出的重要一步,?！?/p>
讓科技賦能藝術(shù)
在以往的人工智能藝術(shù)創(chuàng)作中，一個傳統(tǒng)的思路是機(jī)器模仿人,。郭毅可對此并不認(rèn)同,。他認(rèn)為，在藝術(shù)創(chuàng)作領(lǐng)域,，人工智能有自己獨(dú)特的創(chuàng)造能力,。隨著人機(jī)交互技術(shù)的進(jìn)步，它的創(chuàng)作可以跟人不一樣,，也可以被人理解和欣賞,，并可能隨著人對美學(xué)的需求而不斷改進(jìn)。
“科學(xué)上的突破往往最先來自于觀念,，我認(rèn)為我們中國人有這個能力,，不在人家的話語體系里轉(zhuǎn)圈圈。我們這次的創(chuàng)新在于理念變了,，由此找到了新的突破點(diǎn),。”郭毅可說,。
人工智能專家,、浸會大學(xué)副校長郭毅可（右二）在彩排現(xiàn)場（7月11日攝）。新華社記者 吳曉初 攝
《東方之珠》音畫第一版,，整個圖像投影在一顆珠子上,，然后珠子一層層打開，到“流到香江去看一看”時(shí),，突然幻變成了一朵紫荊花,。“我們都驚呆了，‘香江’的概念居然會以一朵紫荊花的形態(tài)展現(xiàn),，非常奇妙,，這就是機(jī)器的創(chuàng)造力?！彼f,。
如果相信機(jī)器能夠創(chuàng)造，那么未來的藝術(shù)會是什么樣,？這個問題令郭毅可和他的團(tuán)隊(duì)興奮,。郭毅可認(rèn)為，科技賦能藝術(shù),，人機(jī)達(dá)成更多的互動與交流,，為藝術(shù)的發(fā)展帶來全新的可能。
下一步,，人機(jī)互動要向更深層次探索,，比如連接意識、情感,?！拔覀兛梢园衙栏芯幋a，讓機(jī)器認(rèn)識美感,，然后讓美感成為它創(chuàng)作的一部分,，這是我們研究的一個重要方向?！惫憧烧f,。
郭毅可希望將來能人機(jī)合作創(chuàng)作一部歌劇，將編,、導(dǎo),、演、唱集成展現(xiàn),?！疤剿鳠o止境，沒有什么是不可能的,。”他說,。
