Vol.4
RICOH THETA 開発者インタビュー
全天球4K動画
開発者に聞く。

松本普通の4K動画は、画面全体を4K（3840pixel×1920pixel）におさめる動画になります。一方、全天球（360°）の動画は4Kの一部分を切り出して表示するため、普通の4K動画よりも解像度が重要になります。

解像度の重要性とは、こういうことです。2K動画を全天球で使った場合、実際に見る範囲はたとえば、960×540程度の解像度になるとしますね。それが4Kになると、FULL HD（1920×1080）相当に高まるのです。

普通の4K動画は、意外と一般の方が取り扱うにはややオーバースペックなところもあると思うんです。解像度が高すぎるという点で。それに対して、全天球動画は4Kのうまみを存分に味わうことができるものだと思います。

株式会社リコー Smart Vision事業本部
製品開発センター デバイス開発部 庄原 誠

庄原 特に動画については、これまでのTHETAでは2K（1920×960）でした。そこから4Kへ、というのは正当な進化だと思います。解像度を考えれば、2015年にTHETA Sを出した時点で「なんで4K対応しないんだ」というユーザーの方々の声も届いていましたし。

ただ当時は、再生環境の普及状況などを鑑みると、4K対応にするには時期が早いと判断していました。THETAの使われ方として、スマートフォンにつなげて映像を見ることが多いと思います。でも、肝心のスマホが十分に4K再生に対応できていなかったんです。

松本4K動画を動かすためのスペック、そこが追いついていなかった。ようやく普及してきたのではないかなと。

松本今回、画像センサー（撮像素子）のスペックも、撮影した映像や画像を処理するプロセッサのスペックも、ともに性能が上がりました。ただし、それでも4K動画を扱うには、処理速度的にかつかつの状況なのです。そのため、「画像処理を良くしよう」とがんばり過ぎると、ガクガクと微妙な動画になりかねない。

THETA Vでは、4K29.97fps（fps ＝ 1秒あたりに記録されるフレーム数）を実現しています。映像のクオリティを高めつつ、表示のなめらかさに関わるフレーム数を出せるようにする、両者の処理のバランスには気を配りました。

静止画と動画では、内部で行う処理内容が異なるんですね。THETA Vは、4K動画専用の高速な処理ができるようにしています。従来のTHETAは、静止画をきれいに撮ることに比重が置かれていましたが、これからは動画カメラとしてもより満足していただけると思います。

庄原独自の画像処理は主にGPU（Graphics Processing Unit）で実現しているため、GPUの性能は重要でした。4Kの大きな容量の画像を、1秒間に30フレーム画像処理して転送するわけですから。GPUでのプログラムも工夫をしなければなりませんでしたが、合わせてメモリ転送、プロセス、スレッドを見直しながら、システム全体を効率よく信号処理する方法をいろいろ検討しました。

松本やりたいですね。どんどん処理は厳しくなる一方ですが（笑）。

庄原それと解像度も向上させたい。動画で8Kを実現したいですね。

松本かなり盛り上がりました。やはり、比較対象が以前の機種の動画でしたから。昭和のブラウン管のテレビが、いきなり地デジの画質になったくらいのインパクトがありました。

庄原4Kになると、ディテールが細かく表現されるので、まるで静止画が動いているような感覚で。リアリティが全然違うという印象を受けました。

株式会社リコー Smart Vision事業本部
製品開発センター デバイス開発部 松本 和宏

松本あまりに想像以上で、周りの人たちも、ファーストインプレッションとしては「すごい！」という声しか出なかったですね。現在は、その時点から画質のチューニングを積み重ねているので、よりインパクトのある映像に仕上がっている手応えがあります。

庄原今回は4KのUVC（USB Video Class ＝ WEBカメラなど、USB接続するカメラの標準規格）に対応しています。なかでも動画の圧縮コーデック（H.264）を使うため、UVC1.5に対応しました。従来モデルもUVC1.5に対応していましたが、フルHDまでだったので、4Kでは初めてでした。実は、開発を始めてから、開発メンバーがとまどっていまして。4KのUVC1.5に対応しているデバイスで、レファレンス、参照できるものが見当たらないんですね。そこで、「4KのUVC1.5で出力できる機種は、THETA Vが最初なのかも」と気づかされました（笑）。

庄原そのため、細々としたところで問題も起きました。規格やソフトがフルHD以下であれば問題ないけれど、サイズが大きくなると適用外や動作不良となるため、対応が必要でした。Windows®もMacも、パソコン側のドライバが、4KのUVC1.5に対応したのは今年（2017年）の4月ことではないかと思います。THETA Vの開発はそれより先行していたので、なにが起こるかというと…。

松本UVCをベースとするライブストリーミングがうまく動かないとき、ウチのTHETAが悪いのか、受け手側のWindows® PCが悪いのか、どうにも見当がつかないんです（笑）。

庄原結局、パソコン側のドライバも開発しながら、発売までの間、しっかりと検証は進めました。

庄原今後は「それができるものを最初に提供したい」という思いはあります。

従来、全天球の動画をパソコン側で取り扱う上で課題だったのが、魚眼の撮像データを貼り合わせて360°にする処理にかかる負荷です。THETA Sまではパソコンの中で撮像データを貼り合わせるソフトを、ドライバの一部として組み込んでいました。全天球4K動画はデータが重いので、パソコンに依存すると負担も膨大になります。そこでTHETA Vは、本体でこの処理を行えるように工夫し、パソコン側の負荷を軽減しました。

松本 2Kと4Kとでは、数字は2倍であってもデータ量としては4倍になるんです。そこまでパソコンに任せようとすると、負担もかなりのものですからね。

庄原ただ、実際に4K29.97fpsでライブストリーミングを行う場合、それなりにハードルが高いことは事実です。パソコンもハイスペックなものが必要ですし。ただ、THETA Vのようなデバイスがなければ、その先に進むこともできないわけですからね。新しいことをするための素材を提供できたのではないかな、と。

松本ひたすらテスト撮影を行います。最終的に出てきた画（え）から、違和感があるポイントを詰めていく、という辿り方が多いですね。私は長い間、画質を見てきているので、直感的にとらえては掘り下げる感じでしょうか。

画質を詰めていく工程には、ゴールはありません。やっていくと欲が出てくるんですね。段階を経て各拠点から仕上がってくるもののレベルがどんどん上がると、指摘すべき点のレベルも上がっていくので…。発売日という期限がなければ、いつまでも取り組みたい（笑）。ギリギリまでこだわったポイントですね。

庄原松本は、本当に細かく見てくれるので助かりました。常にTHETA Sの画質と見比べながら、画質設計を行ってくれていましたし。少しでも良くしよう、と最後の最後までチューニングをやっていってくれました。松本がいなかったら、THETA Sを超えるものはできなかったと思います。

松本それは言い過ぎでしょう（笑）。

庄原どういうものを、どんな技術でつくるのか、開発チームをどのような布陣にするかということを含めて、その立ち上げから関わりました。企画に近いところから、開発、設計まで全般的に携わりました。

今回は4K動画、360°空間音声、リモート再生などの新機能が盛り込まれました。これらは、実は初号機のプロトタイプを開発していたときから出しているアイデアなんです。そういった中の一部が、今回入れられることになりました。当時から温めているアイデアで実現していないものは、まだまだあります。

松本庄原は、「THETAはカメラじゃないんだよ」ってよく話すんです。もちろんいい意味で、なのですが。

庄原「カメラをつくる」という目線でいると、「従来のカメラらしくない部分」が気になってきます。自分で壁をつくって先に進めなくなってしまう。その常識を超えた製品がTHETAですから。ユーザーの方々にとって、新しい体験をもたらすモノをつくりたいんです。そうした積み重ねがあって、THETA Vは形になっています。

今後も全天球カメラとして普通に使っていただきたいというのが第一にあります。それに加えて、リモート再生など新しい体験を提供する上で、Android^™というシステムは最適でした。

松本開発者から見ると、Android^™でできることは、基本的にTHETA Vでもできてしまうんですよ。今回の開発メンバーは、Android^™を触ったことがない者が多かったのですが、彼らが「思った以上に、THETA Vはスマートフォンだ」と言うんです。まだ本体ができ上がる前、ソフトウェアの検討段階では大きなスマートフォンを使っていました。その上でアプリなどを走らせていた。そうやって開発したものが、いまのTHETA Vに載っているわけですから。

THETA Vはディスプレイを持たないデバイスですが、見えない裏側ではおなじみの画面がちゃんとあるんです。開発当初は、スマートフォンで普通に使われているアプリでYouTubeも見ることもできました。

庄原臨場感が高まり、よりその場にいるような体験ができるようになると思います。THETA Vでは全天球画像で音の定位を実現するためにアンビソニックスによる空間音声記録を採用しました。これによって音の定位ができるようになり、どの方向から音が発しているのかがわかるようになりました。全天球画像は映像の一部を見ることが多く、見える空間領域は限られています。一方、音は見えていない領域からも聞こえます。そして、音のする方向を振り返ると音を発しているものの映像が高精細で見えるため、360°空間音声と全天球4K動画の組み合わせは相性が良いと思います。

松本ISP（画像処理用のプロセッサ）がTHETA Sよりも進化しているので、画質面でメリットが出ています。動画では4Kという解像度が得られ、静止画ではどれだけシャープさを感じられるか、という解像感が変わったと思います。動画の話になりますが、フルHDの出力モードもありまして。同じフルHDでも、THETA Sと比べて解像感は格段に上がりました。

センサーの画素数はTHETA Sと同じなのですが、センサーとシステム全体をつなぐインターフェイスが改良されていて、高速なデータの転送ができるようになっています。4Kを実現させる速度ですね。

これらは、メインプロセッサであるSnapdragonの性能をうまく引き出すことで実現したことです。さらに、一眼レフカメラで培ってきた画像処理のノウハウを活かすことで、カメラとしての基本性能も向上しました。

松本なので、がんばることにしました。静止画は、画質としてある程度のクオリティを維持したいので、ISO3200を上限としています。動画のISO6400というのは、画質というより「今まで見えなかったものが見えてくる」メリットを優先した結果です。

庄原相当暗いなあ、と思える場所でもわりと普通に見えるくらいです。

松本街灯がまばらにあるような夜道程度なら、まったく問題ありません。ナツメ球くらいの豆電球しか点けていない寝室でも、それなりに撮れます。もちろん、すごく明るくは撮れませんよ。

庄原人の目で見た感覚に近いかもしれないですね。

庄原H.265（HEVC）は動画圧縮の規格で、8Kにも対応できるフォーマットとして出てきたものです。これによって、画質を劣化させずそれまでの約2倍の圧縮率、半分のデータ量に圧縮できるようになりました。

ですが、この規格はまだ一般的には普及しつつある段階です。H.265で圧縮されたコンテンツを再生できるデバイスが少ないんですね。でも、将来主流になることを見越してTHETA Vでは対応しています。なんといっても、データ量が半分になれば、ストレージの圧迫も軽減される。ユーザーの方々にとって大きなメリットがありますから。

庄原BLE（Bluetooth® Low Energy）がつきました。これによって、スマートフォンのGPSから取得した位置情報を自動で画像データに埋め込むことが可能です。スマートフォンはポケットに入れたままで構いません。BLEは省電力なので、バッテリーの消費も抑えられます。

これまでもTHETA Sでスマートフォンから撮影すると位置情報はついていましたが、本体ボタンを押すだけでGPS情報を付けられるようにしたかった。普段よく行く場所なら、どこで撮った場所もわかりますが、初めての旅先だと助かります。

松本これは、ずっと普通のカメラを使ってきた者の意見ですが。THETAは、「被写体といっしょに自分も写る」ことも強みだと思います。わざわざ隠れて撮れば別ですが、普通に使っていると、必ず写真に自分が入るんです。

私はこれまで、プライベートでも多くの写真を撮ってきました。でも、自分が写っている写真は、集合写真くらいしかない。一歩間違えば、集合写真にも写っていなかったりします。自分が撮影しているからですね（笑）。後から見た時に、そこにちゃんと自分がいるのはうれしいことです。

庄原THETAの良さは手軽なところですよね。日常をどんどん残してほしいなと思うんです。日常を撮っておけば、後で気がつくことが必ずある。「こんなことが起きていたんだ」とか、「当時はこんな家具を使っていたんだ」とか、なにかしらあるはずです。撮影者の意図をこえて「撮りたかったもの以外が写る」ということは、とても意味があることだと思います。