RICOH THETA TECHNOLOGY

帶來創新和驚奇的成像體驗。
RICOH 技術即將要開拓未知的領域。

能讓機身更輕薄的光學技術

極輕巧的雙鏡頭折疊光學技術實現了驚艷的輕薄機身。

RICOH THETA 球面全景圖像的開發採用創新設計,相機前後皆使用極輕巧、超廣角的鏡頭,以遠大於魚眼鏡頭的180 度視角收集光線,再使用兩個 90 度棱鏡,將收集到的光線分配給左右兩側的圖像感測器。

即使採用了雙鏡頭,藉由折疊魚眼光學元件的對稱配置,THETA 仍擁有僅 17.9 毫米厚的輕薄機身(THETA V,不包括鏡頭部分)。
這個設計不僅簡約時尚,而且鏡頭之間的距離更短,產生的視差* 1非常小。

*1 兩台相機的不同視點。

極輕巧、超廣角鏡頭專為球面全景圖像而設計、調校。

要以最小的視差拼接兩個圖像,產生完全自然的樣貌,將整張圖像的解析度提高至統一的水平是必不可少的。為此,我們採用了 RICOH 原創的投影法。鏡頭塗層不僅涵蓋可見光光譜,甚至也涵蓋紅外光譜,這是在一般相機鏡頭做不到的。因為中心和周邊之間的波長特性和角度相依性不同,所以經常難以調校魚眼鏡頭。然而,儘管有這樣的困難,我們還是成功創造出不論在中心或邊緣皆統一的著色,能讓圖像品質更漂亮、更自然。

產生 360 度圖像的圖像處理技術

Kiyotaka Kitajima

無可見接縫的球面全景圖像的產生過程

1.圖像處理

首先,使用來自兩個圖像感測器的圖像資料,進行基本的圖像處理。接下來,除了一般數位相機進行的基本的圖像處理之外,還處理圖像以便從兩個圖像感測器中取得適當的亮度和著色。具體而言,兩個圖像感測器之間的各別感光度差異已校正,並且根據從兩個圖像的資料中測出的亮度取得綜合判定,對每個圖像感測器進行曝光補償。

2. 圖像拼接

接下來便會將兩張圖像拼接起來。模式配對會分別對兩張影像計算參考圖像與對照圖像在每個區域中的偏差量,以找出拼接的位置。然後,再參考偵測出的拼接位置以及各個光學鏡頭系統的特性,把兩張圖象轉換為球形全景圖像格式。把兩張圖像合成為球型格式後,就變成了最終、單張的球型全景圖像。透過這個方法,模式配對會偵測拼接位置並將其套用至球型全景圖像的轉換參數中,形成動態的拼接過程,實現兩張圖像的即時拼接。

1.圖像處理

首先,使用來自兩個圖像感測器的圖像資料,進行基本的圖像處理。接下來,除了一般數位相機進行的基本的圖像處理之外,還處理圖像以便從兩個圖像感測器中取得適當的亮度和著色。具體而言,兩個圖像感測器之間的各別感光度差異已校正,並且根據從兩個圖像的資料中測出的亮度取得綜合判定,對每個圖像感測器進行曝光補償。

2. 圖像拼接

接下來便會將兩張圖像拼接起來。模式配對會分別對兩張影像計算參考圖像與對照圖像在每個區域中的偏差量,以找出拼接的位置。然後,再參考偵測出的拼接位置以及各個光學鏡頭系統的特性,把兩張圖象轉換為球形全景圖像格式。把兩張圖像合成為球型格式後,就變成了最終、單張的球型全景圖像。透過這個方法,模式配對會偵測拼接位置並將其套用至球型全景圖像的轉換參數中,形成動態的拼接過程,實現兩張圖像的即時拼接。

球面全景圖像

麥卡托投影用於球面全景圖像,將座標分配到球形表面上的每個畫素位置。
換句話說,以地球做比喻,把經度和緯度看作兩個軸,地球的表面就會是平面的。
使用者可以使用專用的應用程式檢視整張球面全景圖像,用手指上下滑動以改變視點、放大和縮小圖像。在應用程式中,球面全景圖像會像是貼圖材質映射在球型物件上,藉著指定方向和視角,就可以像附著在球面上一樣,顯示球面全景圖像。

連結視訊及音訊的360度空間音訊

360度空間音訊指的是使用VR檢視器及頭戴式耳機連結播放的視訊及音訊。
RICOH THETA V運用了兩項技術,依觀看者的視線方向重現音場的變化,使VR的體驗更加真實、更加身歷其境。

1. THETA V 空間音訊錄製 - 多聲道模擬立體聲

1. THETA V 空間音訊錄製 - 多聲道模擬立體聲

多聲道模擬立體聲是一種立體音訊技術,能按照360度錄製空間音訊,再以[錄製/播放]的格式重現自然的方向性。多聲道模擬立體聲會將音訊來源轉換成四個訊號,包括基本訊號(W)、前/後擴展訊號(X)、左/右擴展訊號(Y),以及上/下擴展訊號(Z),以便重現帶有方向性的音場。RCOH THETA V配備了多顆內建全向性麥克風,可合成錄製音訊來源的方向性,產生WXYZ四個訊號。
TA-1是具有多聲道模擬立體聲功能的麥克風,能將錄製下來的音訊來源轉換成WXYZ四個訊號。
由於採用這種方式,在錄製後也可以旋轉整個音場,音場會追蹤圖像的前/後、左/右、上/下移動,就算360度圖像的視點變了也沒關係,因此,它可以錄製及播放恍若身歷其境的音訊。

2. THETA V空間音訊播放 - HRTF(頭部相關傳輸函數)

2. THETA V空間音訊播放 - HRTF(頭部相關傳輸函數)

人們可以用聲音傳到兩耳時的音量差異及延遲時間辨認音訊的到達方向。瞭解這兩項因素的差異之後,就有辦法在播放時產生音訊來源往任何一個方向移動的感覺。
HRTF以數學方式來表現(濾波)上面提到的音訊資料特性值差異。與影像中使用立體音訊錄下的音訊來源結合時,音訊來源就可以往前/後、左/右、上/下方向移動,就像360度圖像追蹤使用者的頭部移動那樣。
這項技術使用在RICOH THETA V上,並且把濾波器應用在錄製的音訊之中,使其能夠偵測出類似實際場景的方向性及距離感。
* 由於HRTF的資料會根據個人頭部、身體和耳朵形狀的混響而改變,因此相同的感覺可能並不適用於所有人。

憑藉這兩項技術的背景,可以在適用RICOH THETA V空間音訊檔案格式的播放環境,搭配有頭戴式耳機和頭部追蹤功能的HMD或VR檢視器,連結正在觀看的360度圖像與360度音訊,給予觀看者如臨其境的感受,體會最真實的視覺、聽覺VR體驗。