但是相比較現(xiàn)在VR體驗上的一些眩暈、視覺上的問題，聲音其實被很多人忽視了。不過隨著越來越多的公司進入到VR視頻內容創(chuàng)作領域中，VR音頻正在成為大家攻堅的一個新方向。
當我們觀看VR視頻時，往往會有種錯覺，聽得到耳機里有聲音，但是卻搞不清聲音從哪里傳來；或者是偏個頭換了觀看視角，但是聲音并沒有隨著我們的視角“轉過來”，它仍然在原來的地方。確實，如果VR內容里的音頻處理不好，沉浸式體驗效果將會大打折扣。比如小編之前玩過一個VR射箭游戲，雖然人是在虛擬環(huán)境里，但是耳朵里聽到的都是外面嘈雜的環(huán)境聲。
什么是VR音頻
VR音頻的概念，其實可以和3D音頻掛鉤。簡而言之，VR音頻，就是通過耳機或者音箱，結合頭部追蹤等技術，讓體驗者在轉動頭部等動作的時候可以聽到自己各個方向不同距離和強度的聲音。
通俗來說，就是用戶在現(xiàn)場實際能聽到，能帶來臨場感的聲音。有做VR音頻的業(yè)內人士介紹道，“比如說在酒館里的一個場景，大家在討論、喝酒以及各種聊天的聲音，你在那兒聽的聲音就應該是你覺得在現(xiàn)場的聲音，而且要和視頻無縫對接�！�
但是相比較現(xiàn)在VR體驗上的一些眩暈、視覺上的問題，聲音其實被很多人忽視了。不過隨著越來越多的公司進入到VR視頻內容創(chuàng)作領域中，VR音頻正在成為大家攻堅的一個新方向。
在VR音頻中，這些公司在行動
傳統(tǒng)的音頻技術公司杜比實驗室，和專注于VR視頻拍攝制作的Jaunt展開合作，在Jaunt的VR內容融入了杜比全景聲，用戶通過Jaunt VR應用可以輕松訪問到所有支持杜比全景聲的虛擬現(xiàn)實體驗。
2015年4月，谷歌收購了專門為VR打造現(xiàn)實音效的初創(chuàng)公司Thrive Audio，THRIVE Audio是一家誕生于都柏林大學圣三一學院（Trinity College Dublin）工程系的公司，它專注于設計可以體驗3D音頻的耳機。
2016年5月份，F(xiàn)acebook收購VR音頻公司Two Big Ears。Two Big Ears是一家位于蘇格蘭的初創(chuàng)型企業(yè)，專門為全景視頻等內容打造空間音效。Two Big Ears把其音頻軟件免費提供給感興趣的VR內容制作人，而Facebook借此機會來吸引更多的人打造VR內容。
英偉達推出專門用于虛擬現(xiàn)實場景的“VRWorks Audio”音頻技術，VRWorks Audio利用英偉達OptiX光跡追蹤引擎，能夠即時追蹤環(huán)境中的多個聲音路徑，真實的反映出周圍環(huán)境中物體的大小、形狀和材料。
Oculus授權VisiSonic的音頻技術，并最終將其融入Oculus Audio SDK 中。這項技術經(jīng)過定制的HRTF算法，可以實時計算出游戲世界中聲源的方位與距離信息。
2017年，Valve收購了一家叫Impulsonic的VR音頻公司，該公司為游戲開發(fā)者創(chuàng)建了基于物理原理的空間音頻定位軟件。他們的產(chǎn)品Phonon 3D可以讓開發(fā)者為他們的3D環(huán)境及VR體驗增加雙聲道3D音頻。
對于普通消費者來說，或許會疑惑，如何在只有雙聲道立體聲輸出的耳機上聽到來自各個方向的聲音呢？其實，如果想要得到理想的VR音頻，從音頻的采集到編輯制作以及最后的合成輸出，整個流程需要攻克很多技術難題。目前業(yè)內比較成熟的解決方案也不少，但是大部分都還停留在理論的層面，實際應用的案例少之又少。
VR音頻如何采集錄制？
HRTF（人頭傳遞函數(shù)）
首先我們科普一下一種叫做雙耳錄音（Binaural recording）的技術。這個技術能夠逼真的模擬人耳對聲音定位以及頻率的響應。HRTF就是基于這個技術用數(shù)學模型來建模的一種音頻定位算法。通過HRTF的算法，能夠在最終輸出的音頻中還原出音源的方向和距離。
在實際運用中，HRTF可以想象成是一個濾波器，對原始聲音進行頻段上的調整，使其接近人耳接收到的聽感效果。
Waves的Nx技術
Waves的Nx技術核心是用算法將傳統(tǒng)錄音中缺失的信息插入到信號中，以此來讓大腦在聆聽音樂時獲得空間感。為了增強現(xiàn)場感，Nx技術還允許用戶鍵入個人頭部及耳朵的尺寸信息，算法可以根據(jù)這些信息進行實時調整。
它提供了一個叫Head Tracker 硬件，這個集成了陀螺儀的硬件可以綁定到耳機上，然后電腦實時計算陀螺儀變化后聲像的變化，再配合英特爾的Real Sense攝像頭，Waves提供的軟件就能追蹤頭部移動，在耳機中獲得具有沉浸感的聲音體驗。
Ambisonics
Ambisonics是一種研發(fā)于上個世界70年代的球形環(huán)繞聲技術。它既是一種錄音制式，也是一種編解碼算法。
從錄音制式來看，Ambisonics可以理解為是M/S立體聲錄音制式的三維擴展，以一定方式組合的四個振膜陣列記錄了具有高度和深度信息的四軌聲音信號。
從編解碼方式來看，采用 Ambisonics 方式錄制得到的聲音信號可以通過計算變換后，以雙聲道立體聲、5.1、7.1，甚至是11.1、22.2等各種多聲道環(huán)繞聲格式來輸出。另外，Ambisonics可以作為一種音頻文件格式用于保存和流通，YouTube在去年推出的支持全景視頻的音頻格式就采用了Ambisonics技術。
無論是采取哪種形式采集錄制VR音頻，最終的目的都是能夠在VR中感受到真正具有沉浸感的聲音�？偟膩碚f，相比較2016年前半段時間，現(xiàn)在已經(jīng)有越來越多的大公司開始布局VR音頻。不過想要真正實現(xiàn)虛擬現(xiàn)實中的臨場音頻效果，還需要面對采集成本、現(xiàn)場干擾等等因素，路漫漫其修遠兮，VR音頻還需要“上下求索”。
|
