在當(dāng)今數(shù)字化時(shí)代，虛擬現(xiàn)實(shí)（Virtual Reality，VR）和增強(qiáng)現(xiàn)實(shí)(Augmented Reality, AR)技術(shù)正迅速成為創(chuàng)新交互體驗(yàn)的前沿。這些技術(shù)通過(guò)模擬或增強(qiáng)用戶的視覺(jué)和聽(tīng)覺(jué)感知，開(kāi)辟了全新的沉浸式體驗(yàn)領(lǐng)域。
特別地，音頻技術(shù)在這一進(jìn)程中扮演著至關(guān)重要的角色。它不僅增強(qiáng)了視覺(jué)體驗(yàn)的真實(shí)感，還通過(guò)聲音的空間定位、動(dòng)態(tài)反饋和情感表達(dá)，為用戶創(chuàng)造了一個(gè)全方位、多層次的感官世界。
隨著技術(shù)的不斷進(jìn)步，音頻技術(shù)與VR和AR的結(jié)合正逐漸改變我們與數(shù)字世界的互動(dòng)方式。從游戲到教育，從醫(yī)療到藝術(shù)，音頻技術(shù)的應(yīng)用前景無(wú)限廣闊。
1．音頻技術(shù)在虛擬現(xiàn)實(shí)中的應(yīng)用
在虛擬現(xiàn)實(shí)音頻的背景下，一個(gè)核心研究問(wèn)題是空間音頻技術(shù)。這種技術(shù)通過(guò)模擬人類在現(xiàn)實(shí)世界中對(duì)聲音的三維感知，為每個(gè)3D對(duì)象提供具有定位感的音頻源。雙耳音頻技術(shù)利用了人耳對(duì)聲音到達(dá)時(shí)間差異和強(qiáng)度差異的敏感性，從而實(shí)現(xiàn)對(duì)聲音來(lái)源方向和距離的準(zhǔn)確判斷。
在VR環(huán)境中，應(yīng)用雙耳音頻技術(shù)為音頻的創(chuàng)新使用提供了新機(jī)遇。它允許虛擬對(duì)象擁有可以被精確定位的音頻源。這種音頻源的本地化不僅增強(qiáng)了VR體驗(yàn)的真實(shí)感，而且由于其非視覺(jué)的特性，它不會(huì)像視覺(jué)反饋那樣對(duì)用戶的視域造成干擾。這樣的音頻設(shè)計(jì)可以更加自然地融入VR環(huán)境，使用戶在探索虛擬空間時(shí)能夠獲得更加豐富和沉浸式的體驗(yàn)。[1]
圖1 空間音頻技術(shù)
此外，空間音頻技術(shù)還可以用于增強(qiáng)用戶對(duì)虛擬環(huán)境中事件的感知，例如通過(guò)聲音提示用戶注意某個(gè)方向的動(dòng)態(tài)或即將發(fā)生的事情。這種音頻提示可以是微妙的，但卻非常有效，因?yàn)樗昧巳祟悓?duì)聲音的自然反應(yīng)，而不需要用戶將注意力從當(dāng)前任務(wù)上轉(zhuǎn)移開(kāi)。[2]
虛擬現(xiàn)實(shí)在不同情境中的應(yīng)用帶來(lái)了許多機(jī)遇，同時(shí)也面臨著需要克服的新挑戰(zhàn)，其中一些挑戰(zhàn)可以通過(guò)有效使用音頻技術(shù)來(lái)解決。
在用戶/玩家可以自由環(huán)顧其環(huán)境的敘事情境中，可以使用音頻提示來(lái)引導(dǎo)用戶的視線和注意力到關(guān)鍵點(diǎn)，避免占用有限的視覺(jué)空間，并提供持續(xù)的信息流，用于辨別環(huán)境本身的空間屬性。而且聲音具有“始終開(kāi)啟”的特性，能夠傳遞空間特征，例如通過(guò)混響來(lái)實(shí)現(xiàn)，并且具有全方位屬性，這并不依賴于像頭戴式顯示器這樣的顯示設(shè)備的有限視野。
音頻相關(guān)技術(shù)在虛擬現(xiàn)實(shí)中的應(yīng)用
（1）音頻空間定位技術(shù)。通過(guò)將立體聲技術(shù)與虛擬現(xiàn)實(shí)技術(shù)相結(jié)合，使得用戶準(zhǔn)確的感受聲音的來(lái)源以及空間的傳播路徑。這種技術(shù)可以使得用戶更好的判斷來(lái)自不同方向的聲音，增強(qiáng)虛擬世界的沉浸感。
（2）環(huán)境音效模擬技術(shù)。通過(guò)音效編輯、混音和特效處理等技術(shù)手段,可以模擬各種環(huán)境聲音,如風(fēng)吹樹(shù)葉聲、雨滴聲、水流聲等。這些逼真的環(huán)境音效能夠提升用戶的沉浸感,使虛擬世界與現(xiàn)實(shí)世界之間的界限更加模糊。
（3）語(yǔ)言交互技術(shù)。通過(guò)語(yǔ)音識(shí)別和合成技術(shù),用戶可以與虛擬環(huán)境中的虛擬角色進(jìn)行真實(shí)的對(duì)話。這種交互方式使得用戶能夠更加便捷地操作虛擬環(huán)境,增加了用戶的參與感與沉浸感。
2．音頻技術(shù)在增強(qiáng)現(xiàn)實(shí)中的應(yīng)用
增強(qiáng)現(xiàn)實(shí)(Augmented Reality, AR)技術(shù) 旨在將計(jì)算機(jī)生成的虛擬內(nèi)容與物理環(huán)境無(wú)縫融合，使虛擬內(nèi)容與現(xiàn)實(shí)世界融為一體。
AR可以增強(qiáng)人們對(duì)周圍環(huán)境的感知和互動(dòng)，也可以幫助人們更輕松地完成現(xiàn)實(shí)世界的任務(wù)。然而，絕大多數(shù)AR研究都集中在視覺(jué)增強(qiáng)上。音頻增強(qiáng)現(xiàn)實(shí)(Audio Augmented Reality, AAR)仍未得到充分開(kāi)發(fā)。
在音頻增強(qiáng)現(xiàn)實(shí)中，虛擬聽(tīng)覺(jué)內(nèi)容被融合到物理世界中，以增強(qiáng)用戶的真實(shí)聲學(xué)環(huán)境。模擬真實(shí)世界的聽(tīng)覺(jué)。
隨著價(jià)格合理的消費(fèi)級(jí)技術(shù)的出現(xiàn)，用于交互式3D音頻的收聽(tīng)和錄制，音頻增強(qiáng)現(xiàn)實(shí)體驗(yàn)的提供變得更加普及。AAR技術(shù)通過(guò)在真實(shí)聽(tīng)覺(jué)環(huán)境中加入虛擬音頻實(shí)體，實(shí)現(xiàn)了對(duì)環(huán)境的擴(kuò)展。這種技術(shù)已經(jīng)被廣泛應(yīng)用于電話會(huì)議、無(wú)障礙音頻系統(tǒng)、基于位置的音頻游戲、純音頻游戲、協(xié)作工具、教育以及娛樂(lè)等多個(gè)領(lǐng)域。[3]
與傳統(tǒng)耳機(jī)相比，AAR技術(shù)的一個(gè)顯著優(yōu)勢(shì)在于，它不會(huì)在私人聽(tīng)覺(jué)空間和公共聽(tīng)覺(jué)空間之間形成隔閡。AAR技術(shù)追求的是聲學(xué)透明性，即用戶在使用過(guò)程中，應(yīng)該能夠像沒(méi)有佩戴耳機(jī)一樣自然地感知周圍環(huán)境，同時(shí)難以區(qū)分哪些聲源是真實(shí)存在的，哪些是由技術(shù)生成的。
然而，實(shí)現(xiàn)這種聲學(xué)透明性，讓聽(tīng)者無(wú)法區(qū)分真實(shí)與虛擬聲源，仍然是該技術(shù)領(lǐng)域面臨的一個(gè)主要技術(shù)挑戰(zhàn)。
在音頻增強(qiáng)現(xiàn)實(shí)的研究領(lǐng)域，目前的研究重點(diǎn)主要集中在技術(shù)特性上，以及這些技術(shù)如何與設(shè)備和媒體進(jìn)行交互。然而，對(duì)于用戶體驗(yàn)的深入探索相對(duì)較少。
現(xiàn)有研究涉及了音質(zhì)感知、區(qū)分真實(shí)與虛擬聲音的能力、真實(shí)感的營(yíng)造，以及用戶對(duì)AAR可穿戴設(shè)備的適應(yīng)性等方面。
AAR的空間音頻和格式技術(shù)在沉浸式劇院中的應(yīng)用，為創(chuàng)造虛構(gòu)空間和平行現(xiàn)實(shí)提供了新途徑，能夠以多樣化的方式吸引觀眾，并有可能促進(jìn)更多的互動(dòng)、參與和協(xié)作。
沉浸式劇院中的耳機(jī)劇院依賴于雙耳聲音技術(shù)，這種聲音虛擬現(xiàn)實(shí)加強(qiáng)了觀眾的沉浸感，并提升了表演的多模態(tài)體驗(yàn)。但許多耳機(jī)劇院表演因?yàn)槭褂^眾彼此隔離，以及沒(méi)有將物理耳機(jī)作為表演的一部分來(lái)認(rèn)可，而受到了批評(píng)。為了克服這些限制，一些劇院團(tuán)體已經(jīng)開(kāi)始在現(xiàn)場(chǎng)表演中使用雙耳錄音設(shè)備。
例如，英國(guó)國(guó)家劇院的《安娜》和英國(guó)合拍劇團(tuán)（Complicité）的《邂逅》等作品，就通過(guò)耳機(jī)為觀眾提供了更加親密和直接的表演體驗(yàn)。這些劇目通過(guò)結(jié)合增強(qiáng)的聲音效果和現(xiàn)實(shí)生活中的互動(dòng)，創(chuàng)造了一種新型的戲劇體驗(yàn)，既利用了AAR技術(shù)的優(yōu)勢(shì)，又保持了現(xiàn)場(chǎng)表演的互動(dòng)性和共同體驗(yàn)。[4]
圖2 英國(guó)合拍劇團(tuán)（Complicité）出品的《邂逅》舞臺(tái)劇劇照（圖片源于網(wǎng)絡(luò)）
微軟的HoloLens 2 是一款混合現(xiàn)實(shí)頭戴設(shè)備，它通過(guò)先進(jìn)的傳感器和攝像頭捕捉現(xiàn)實(shí)世界的環(huán)境信息，然后通過(guò)高分辨率的全息圖像疊加在用戶的視野中。HoloLens 2 配備了空間聲音技術(shù)，這種技術(shù)可以創(chuàng)建3D音頻效果，讓用戶感覺(jué)到聲音似乎來(lái)自虛擬對(duì)象所處的實(shí)際空間位置。
例如，在建筑設(shè)計(jì)中，設(shè)計(jì)師可以通過(guò)HoloLens 2聽(tīng)到從不同方向傳來(lái)的聲音，增強(qiáng)對(duì)空間布局的感知，從而提高設(shè)計(jì)效率和體驗(yàn)。
圖3 微軟HoloLens增強(qiáng)現(xiàn)實(shí)設(shè)備
參考文獻(xiàn)
[1]Baker, H. 2022. “Meta: $1 Billion Spent In Quest Store.”UploadVR. Accessed October 17, 2022.
[2] Barlow, C., T. Michailidis, G. Meadow, J. Gouch, and E.Rajabally. 2019. “Using Immersive Audio and Vibrationto Enhance Remote Diagnosis of Mechanical Failure inUncrewed Vessels.” Audio Engineering SocietyConference: 2019 AES International Conference onImmersive and Interactive Audio, York, UK.
[3] M. Comunità, A. Gerino, V . Lim, and L. Picinali, “Design and Evaluation of a Web- and Mobile-Based Binaural Audio Platform for Cultural Heritage,”Appl. Sci., vol. 11, no. 4, paper 1540 (2021 Feb.)
[4] S. Russell, G. Dublon, and J. A. Paradiso,“HearThere: Networked Sensory Prosthetics Through Auditory Augmented Reality,” in Proceedings of the 7th Augmented Human International Conference, paper 20.
|
