RICOH THETA TECHNOLOGY
映像体験に革新と驚きを。
新たな領域を切り拓くリコーの技術。
RICOH THETA 共通
薄型ボディを可能にした光学技術
超小型二眼屈曲光学技術により驚異の薄型ボディを実現。
「RICOH THETA」の全天球イメージは超小型・超広角レンズを本体の前面・背面に配置し、魚眼レンズの180度を大幅に超える画角によって集光された光を、2つの90度プリズムによって左右のイメージセンサーに振り割ける独創の基本設計です。
二眼でありながら全天球をカバーする屈曲魚眼光学系の対称配置によって、厚さわずか17.9mm（THETA V、レンズ部を除く）という薄型ボディを実現。
シンプルでスタイリッシュなデザインだけでなく、レンズ間の距離を短くすることで視差*1を極めて抑えることも可能にしました。
*1 2つのカメラでの視点の位置が異なること。
超小型・超広角レンズは全天球専用に設計・チューニング。
2枚の画像を少ない視差で違和感なく繋げるために必要だったのが、画像全体の解像度を均一に上げること。そこで、リコー独自の射影方式を採用しました。さらにレンズのコーティングは可視光領域にとどまらず、一般的なカメラレンズには施さない赤外領域にまで拡大。中心と周辺で波長特性や角度依存性が異なるため、チューニングが困難と言われる魚眼レンズであっても、中心と周辺の色味の差をなくし、美しく自然な画質を獲得することができます。
RICOH THETA 共通
360°イメージを生成する画像処理技術
Kiyotaka Kitajima
繋ぎ目のわからない、全天球画像ができるまで
1. 画像処理の流れ
はじめに、2つの撮像素子から得られる画像データを用いて、基本画像処理を行います。ここでは、通常のデジタルカメラでも行われている基本的な画像処理に加え、2つの撮像素子から明るさや色味が合った画像が得られるような処理を行っています。具体的には、撮像素子の感度の個体差を補正したり、2つの画像データから検出した明るさを総合判断して2つの撮像素子それぞれの露出制御を行ったりしています。
2. 繋ぎ画像処理スティッチング
次に、2枚の画像の繋ぎ画像処理を行います。2枚の画像それぞれにおいて、パターンマッチング処理によりエリア毎に基準画像と比較画像のずれ量を算出し、繋ぎ位置を検出。そして、検出した繋ぎ位置と各光学系レンズ特性を考慮して、2枚の画像をそれぞれ全天球イメージ形式に変換します。この2枚の全天球イメージ形式の画像をブレンドすることで、最終的に1枚の全天球イメージが生成されます。このようにパターンマッチング処理で繋ぎ位置を検出し、それを全天球イメージ形式への画像変換パラメータに反映する独自の「繋ぎ処理スティッチング」を行うことで、リアルタイムで2つの画像を繋ぐことができます。
1. 画像処理の流れ
はじめに、2つの撮像素子から得られる画像データを用いて、基本画像処理を行います。ここでは、通常のデジタルカメラでも行われている基本的な画像処理に加え、2つの撮像素子から明るさや色味が合った画像が得られるような処理を行っています。具体的には、撮像素子の感度の個体差を補正したり、2つの画像データから検出した明るさを総合判断して2つの撮像素子それぞれの露出制御を行ったりしています。
2. 繋ぎ画像処理スティッチング
次に、2枚の画像の繋ぎ画像処理を行います。2枚の画像それぞれにおいて、パターンマッチング処理によりエリア毎に基準画像と比較画像のずれ量を算出し、繋ぎ位置を検出。そして、検出した繋ぎ位置と各光学系レンズ特性を考慮して、2枚の画像をそれぞれ全天球イメージ形式に変換します。この2枚の全天球イメージ形式の画像をブレンドすることで、最終的に1枚の全天球イメージが生成されます。このようにパターンマッチング処理で繋ぎ位置を検出し、それを全天球イメージ形式への画像変換パラメータに反映する独自の「繋ぎ処理スティッチング」を行うことで、リアルタイムで2つの画像を繋ぐことができます。
全天球イメージ
全天球イメージは、正距円筒図法を用いており、各画素の位置が球体の表面の座標と対応づけられます。
すなわち、地球を例とすると、地球の表面を緯度と経度を2軸として2次元画像化していることになります。
ユーザーは専用アプリを使うことで、指で画像を上下左右に動かして視点を変化させたり、拡大／縮小を行って全天球イメージを閲覧することができます。アプリ側の処理としては、全天球イメージをテクスチャーとして球状物体表面にマッピングし、方向と画角を指定することで、全天球イメージを球体に貼ったような画像が表示されます。
RICOH THETA V
映像と音声がリンクした360º空間音声
360º空間音声とは、VRビューアーとヘッドフォンで再生することにより、動画の動きに合わせて音声がリンクすること。
「RICOH THETA
V」では2つの技術を採用し、視聴者が見ている方向に応じて音場の変化を再現。より没入感の高いリアルなVR体験を可能にしました。
1. THETA Vの空間音声収音 ～アンビソニックス～
1. THETA Vの空間音声収音 ～アンビソニックス～
アンビソニックスは立体音響技術のひとつで、360ºすべての空間の音声を収録し、自然な方向性で再現する
[収音/再生]フォーマットのこと。アンビソニックスは音源を基準となる信号 (W)、前後の広がりの信号(X)、左右の広がりの信号 (Y)、上下の広がりの信号
(Z)の4つに変換し、方向性を持った音場を再現します。
「RICOH THETA V」は本体に無指向性のマイクを複数内蔵し、収録した音源から指向性を合成し、WXYZの4つの信号を作り出します。
3DマイクロフォンTA-1はアンビソニックスに対応したマイクであり、収録した音源をWXYZの4つの信号に変換します。
この方法は後から音場全体を回転させることも可能なため、360ºイメージと合わせた時に視点が変わっても、音場を前後、左右、上下の画像の動きに追従することができ、実際の状況と近い音声を収録・再生することができます。
2. THETA Vの空間音声再生 ～HRTF (頭部伝達関数)～
2. THETA Vの空間音声再生 ～HRTF (頭部伝達関数)～
人は音の到達方向を、両耳に届く音の大きさの差や、到達までの時間差で把握しています。これら2つの差分を把握することで、再生の際に任意の場所に音源が移動したように感じさせることができます。
HRTFは上記の差分特性値を音響データとして数式化
(フィルタ化)したもので、これを立体音響を使って収録した映像音源に掛け合わせることで、頭の動きに360º画像が追従するのと同じように、前後左右方向や高さ方向に音源を移動させることができます。
「RICOH
THETA V」はこの技術を採用し、収録した音声にフィルタを畳み込むことで、方向感や距離感を実際に近い形で認識させることができます。
*HRTFは個人の頭や体、耳の形の反響により変わるデータのため、すべての方が同じ感覚を得られるわけではありません。
この2つの技術を背景に「RICOH THETA V」の空間音声ファイル形式に対応した再生環境では、
ヘッドフォンとヘッドトラック機能のあるHMDやVRビューアーを使用することで、
人が見ている360ºイメージの方向とリンクして360º方向の音がきこえるようになり、
従来よりもさらに、その場にいるような視覚+聴覚のリアルなVR体験が実現できます。
