Vol.4 RICOH THETA 開発者インタビュー 全天球4K動画 開発者に聞く。 Vol.4 RICOH THETA 開発者インタビュー 全天球4K動画 開発者に聞く。

Vol.4
RICOH THETA 開発者インタビュー
全天球4K動画
開発者に聞く。

株式会社リコー
松本 和宏(左)/庄原 誠(右)

「4Kのうまみを存分に味わうことができる。それが、全天球4K動画です」

最初に伺いたいのは、一般的な4K動画と全天球4K動画の違いです。

松本普通の4K動画は、画面全体を4K(3840pixel×1920pixel)におさめる動画になります。一方、全天球(360°)の動画は4Kの一部分を切り出して表示するため、普通の4K動画よりも解像度が重要になります。

解像度の重要性とは、こういうことです。2K動画を全天球で使った場合、実際に見る範囲はたとえば、960×540程度の解像度になるとしますね。それが4Kになると、FULL HD(1920×1080)相当に高まるのです。

普通の4K動画は、意外と一般の方が取り扱うにはややオーバースペックなところもあると思うんです。解像度が高すぎるという点で。それに対して、全天球動画は4Kのうまみを存分に味わうことができるものだと思います。

THETA Vでは4Kで360°動画撮影ができるようになりました。このタイミングで導入した理由は?

株式会社リコー Smart Vision事業本部 製品開発センター デバイス開発部 庄原 誠

株式会社リコー Smart Vision事業本部
製品開発センター デバイス開発部 庄原 誠

庄原 特に動画については、これまでのTHETAでは2K(1920×960)でした。そこから4Kへ、というのは正当な進化だと思います。解像度を考えれば、2015年にTHETA Sを出した時点で「なんで4K対応しないんだ」というユーザーの方々の声も届いていましたし。

ただ当時は、再生環境の普及状況などを鑑みると、4K対応にするには時期が早いと判断していました。THETAの使われ方として、スマートフォンにつなげて映像を見ることが多いと思います。でも、肝心のスマホが十分に4K再生に対応できていなかったんです。

松本4K動画を動かすためのスペック、そこが追いついていなかった。ようやく普及してきたのではないかなと。

「第一印象は、開発者である自分もすごい!としか言えなかった」

全天球4K動画撮影を搭載するにあたって、苦労したことは。

松本今回、画像センサー(撮像素子)のスペックも、撮影した映像や画像を処理するプロセッサのスペックも、ともに性能が上がりました。ただし、それでも4K動画を扱うには、処理速度的にかつかつの状況なのです。そのため、「画像処理を良くしよう」とがんばり過ぎると、ガクガクと微妙な動画になりかねない。

THETA Vでは、4K29.97fps(fps = 1秒あたりに記録されるフレーム数)を実現しています。映像のクオリティを高めつつ、表示のなめらかさに関わるフレーム数を出せるようにする、両者の処理のバランスには気を配りました。

静止画と動画では、内部で行う処理内容が異なるんですね。THETA Vは、4K動画専用の高速な処理ができるようにしています。従来のTHETAは、静止画をきれいに撮ることに比重が置かれていましたが、これからは動画カメラとしてもより満足していただけると思います。

ハードウェアの変更がターニングポイントになっているわけですね。

庄原独自の画像処理は主にGPU(Graphics Processing Unit)で実現しているため、GPUの性能は重要でした。4Kの大きな容量の画像を、1秒間に30フレーム画像処理して転送するわけですから。GPUでのプログラムも工夫をしなければなりませんでしたが、合わせてメモリ転送、プロセス、スレッドを見直しながら、システム全体を効率よく信号処理する方法をいろいろ検討しました。

この経験を踏まえて、より映像のなめらかさを追求した秒間60フレームもゆくゆくは目指したい?

松本やりたいですね。どんどん処理は厳しくなる一方ですが(笑)。

庄原それと解像度も向上させたい。動画で8Kを実現したいですね。

開発中、実際にTHETAVで撮影した4K動画を見たときの第一印象は。

松本かなり盛り上がりました。やはり、比較対象が以前の機種の動画でしたから。昭和のブラウン管のテレビが、いきなり地デジの画質になったくらいのインパクトがありました。

庄原4Kになると、ディテールが細かく表現されるので、まるで静止画が動いているような感覚で。リアリティが全然違うという印象を受けました。

株式会社リコー Smart Vision事業本部 製品開発センター デバイス開発部 松本 和宏

株式会社リコー Smart Vision事業本部
製品開発センター デバイス開発部 松本 和宏

松本あまりに想像以上で、周りの人たちも、ファーストインプレッションとしては「すごい!」という声しか出なかったですね。現在は、その時点から画質のチューニングを積み重ねているので、よりインパクトのある映像に仕上がっている手応えがあります。

「世界で初めて、4K動画のライブストリーミングに対応しました」

ライブストリーミング機能も4Kに対応したとのことですが。

庄原今回は4KのUVC(USB Video Class = WEBカメラなど、USB接続するカメラの標準規格)に対応しています。なかでも動画の圧縮コーデック(H.264)を使うため、UVC1.5に対応しました。従来モデルもUVC1.5に対応していましたが、フルHDまでだったので、4Kでは初めてでした。実は、開発を始めてから、開発メンバーがとまどっていまして。4KのUVC1.5に対応しているデバイスで、レファレンス、参照できるものが見当たらないんですね。そこで、「4KのUVC1.5で出力できる機種は、THETA Vが最初なのかも」と気づかされました(笑)。

庄原そのため、細々としたところで問題も起きました。規格やソフトがフルHD以下であれば問題ないけれど、サイズが大きくなると適用外や動作不良となるため、対応が必要でした。Windows®もMacも、パソコン側のドライバが、4KのUVC1.5に対応したのは今年(2017年)の4月ことではないかと思います。THETA Vの開発はそれより先行していたので、なにが起こるかというと…。

松本UVCをベースとするライブストリーミングがうまく動かないとき、ウチのTHETAが悪いのか、受け手側のWindows® PCが悪いのか、どうにも見当がつかないんです(笑)。

庄原結局、パソコン側のドライバも開発しながら、発売までの間、しっかりと検証は進めました。

ライブストリーミングができる4Kカメラとして、THETA Vはレファレンスになりそうですね。

庄原今後は「それができるものを最初に提供したい」という思いはあります。

従来、全天球の動画をパソコン側で取り扱う上で課題だったのが、魚眼の撮像データを貼り合わせて360°にする処理にかかる負荷です。THETA Sまではパソコンの中で撮像データを貼り合わせるソフトを、ドライバの一部として組み込んでいました。全天球4K動画はデータが重いので、パソコンに依存すると負担も膨大になります。そこでTHETA Vは、本体でこの処理を行えるように工夫し、パソコン側の負荷を軽減しました。

松本 2Kと4Kとでは、数字は2倍であってもデータ量としては4倍になるんです。そこまでパソコンに任せようとすると、負担もかなりのものですからね。

庄原ただ、実際に4K29.97fpsでライブストリーミングを行う場合、それなりにハードルが高いことは事実です。パソコンもハイスペックなものが必要ですし。ただ、THETA Vのようなデバイスがなければ、その先に進むこともできないわけですからね。新しいことをするための素材を提供できたのではないかな、と。

「さらなる進化のために。画質を詰めていく工程には、ゴールはありません」

チームを牽引して、4Kなどの画像処理開発をまとめていくにあたってポイントとなったことは。

「さらなる進化のために。画質を詰めていく工程には、ゴールはありません」

庄原今回はAndroidをベースとするシステムを採用しましたが、リコーのカメラとしては初めての試みでした。しっかりとした製品に仕上げるため、経験豊富な専門家で構成する開発チームをつくりました。もともとリコーには、『PENTAX』、『GR』といった一眼レフカメラや従来モデルで培った画質設計や画像処理の知見があります。それらの知見を活かせるシステム設計を行いました。ベースはAndroidですが、中身はTHETA専用にチューニングされています。

松本初の試みということで課題もありました。それぞれの拠点で仕上げたものは最高にいいのに、全体を合わせてみると上手くいかない点もあって。最終画質を向上させるために調整を繰り返しました。

それは、どうやって打開するのですか。

松本ひたすらテスト撮影を行います。最終的に出てきた画(え)から、違和感があるポイントを詰めていく、という辿り方が多いですね。私は長い間、画質を見てきているので、直感的にとらえては掘り下げる感じでしょうか。

画質を詰めていく工程には、ゴールはありません。やっていくと欲が出てくるんですね。段階を経て各拠点から仕上がってくるもののレベルがどんどん上がると、指摘すべき点のレベルも上がっていくので…。発売日という期限がなければ、いつまでも取り組みたい(笑)。ギリギリまでこだわったポイントですね。

庄原松本は、本当に細かく見てくれるので助かりました。常にTHETA Sの画質と見比べながら、画質設計を行ってくれていましたし。少しでも良くしよう、と最後の最後までチューニングをやっていってくれました。松本がいなかったら、THETA Sを超えるものはできなかったと思います。

松本それは言い過ぎでしょう(笑)。

「THETAはカメラじゃない、とよく言われました」

そんな庄原さんは、今回4K動画以外ではどんな開発に関わったのでしょうか。

庄原どういうものを、どんな技術でつくるのか、開発チームをどのような布陣にするかということを含めて、その立ち上げから関わりました。企画に近いところから、開発、設計まで全般的に携わりました。

今回は4K動画、360°空間音声、リモート再生などの新機能が盛り込まれました。これらは、実は初号機のプロトタイプを開発していたときから出しているアイデアなんです。そういった中の一部が、今回入れられることになりました。当時から温めているアイデアで実現していないものは、まだまだあります。

松本庄原は、「THETAはカメラじゃないんだよ」ってよく話すんです。もちろんいい意味で、なのですが。

庄原「カメラをつくる」という目線でいると、「従来のカメラらしくない部分」が気になってきます。自分で壁をつくって先に進めなくなってしまう。その常識を超えた製品がTHETAですから。ユーザーの方々にとって、新しい体験をもたらすモノをつくりたいんです。そうした積み重ねがあって、THETA Vは形になっています。

今後も全天球カメラとして普通に使っていただきたいというのが第一にあります。それに加えて、リモート再生など新しい体験を提供する上で、Androidというシステムは最適でした。

歴代THETAと初号機のプロトタイプ版(右2つ)

歴代THETAと初号機のプロトタイプ版(右2つ)

THETAの世界観が、THETA VのAndroidベースの独自OSによってますます広がっていく。

松本開発者から見ると、Androidでできることは、基本的にTHETA Vでもできてしまうんですよ。今回の開発メンバーは、Androidを触ったことがない者が多かったのですが、彼らが「思った以上に、THETA Vはスマートフォンだ」と言うんです。まだ本体ができ上がる前、ソフトウェアの検討段階では大きなスマートフォンを使っていました。その上でアプリなどを走らせていた。そうやって開発したものが、いまのTHETA Vに載っているわけですから。

THETA Vはディスプレイを持たないデバイスですが、見えない裏側ではおなじみの画面がちゃんとあるんです。開発当初は、スマートフォンで普通に使われているアプリでYouTubeも見ることもできました。

「360°空間音声と全天球4K動画の組み合わせは相性が良い」

全天球4K動画と360°空間音声を組み合わせることによって、映像表現はどう変わるでしょうか。

庄原臨場感が高まり、よりその場にいるような体験ができるようになると思います。THETA Vでは全天球画像で音の定位を実現するためにアンビソニックスによる空間音声記録を採用しました。これによって音の定位ができるようになり、どの方向から音が発しているのかがわかるようになりました。全天球画像は映像の一部を見ることが多く、見える空間領域は限られています。一方、音は見えていない領域からも聞こえます。そして、音のする方向を振り返ると音を発しているものの映像が高精細で見えるため、360°空間音声と全天球4K動画の組み合わせは相性が良いと思います。

解像度は、THETA Sと同じ14M相当ですが、画質に変化はありますか。

松本ISP(画像処理用のプロセッサ)がTHETA Sよりも進化しているので、画質面でメリットが出ています。動画では4Kという解像度が得られ、静止画ではどれだけシャープさを感じられるか、という解像感が変わったと思います。動画の話になりますが、フルHDの出力モードもありまして。同じフルHDでも、THETA Sと比べて解像感は格段に上がりました。

センサーの画素数はTHETA Sと同じなのですが、センサーとシステム全体をつなぐインターフェイスが改良されていて、高速なデータの転送ができるようになっています。4Kを実現させる速度ですね。

これらは、メインプロセッサであるSnapdragonの性能をうまく引き出すことで実現したことです。さらに、一眼レフカメラで培ってきた画像処理のノウハウを活かすことで、カメラとしての基本性能も向上しました。

「静止画の画質にこだわり、暗所での映像撮影も可能にしました」

画質に関わる部分でさらに。高感度が、静止画でISO3200まで設定できるようになりました。動画はISO6400まで上がりますね。

「静止画の画質にこだわり、暗所での映像撮影も可能にしました」

松本通常、静止画と動画があると、動画のほうが感度は上げられないものなんですね、それは、画像処理に時間をかけられないからで。静止画よりも、ライトな処理しかできなくなってしまうんです。また、静止画の場合は、露光時間を延ばせば、暗いところでもノイズを抑えた低感度の撮影もできます。THETA Vの動画については、30フレームの制限があるのでそんなことは当然ありえません。

でも、「なんとかやってみよう」ということになった。結構無茶な話ですが…(笑)。

庄原画質にこだわる松本としては、いやな話でしょう(笑)。

ユーザーの方々から「暗い場所でも映像を撮りたい」という要望が多かった?

松本なので、がんばることにしました。静止画は、画質としてある程度のクオリティを維持したいので、ISO3200を上限としています。動画のISO6400というのは、画質というより「今まで見えなかったものが見えてくる」メリットを優先した結果です。

動画においては、「とにかく撮れている、見える」ということを大切にしたんですね。

庄原相当暗いなあ、と思える場所でもわりと普通に見えるくらいです。

松本街灯がまばらにあるような夜道程度なら、まったく問題ありません。ナツメ球くらいの豆電球しか点けていない寝室でも、それなりに撮れます。もちろん、すごく明るくは撮れませんよ。

庄原人の目で見た感覚に近いかもしれないですね。

スペックを見ると、H.265にも対応していますね。

庄原H.265(HEVC)は動画圧縮の規格で、8Kにも対応できるフォーマットとして出てきたものです。これによって、画質を劣化させずそれまでの約2倍の圧縮率、半分のデータ量に圧縮できるようになりました。

ですが、この規格はまだ一般的には普及しつつある段階です。H.265で圧縮されたコンテンツを再生できるデバイスが少ないんですね。でも、将来主流になることを見越してTHETA Vでは対応しています。なんといっても、データ量が半分になれば、ストレージの圧迫も軽減される。ユーザーの方々にとって大きなメリットがありますから。

「THETAとは、セルフィー製造機であり、日常をまるごと残すツールにもなります」

最後に、ユーザーの方々に、おすすめの使い方を教えてください。

庄原BLE(Bluetooth® Low Energy)がつきました。これによって、スマートフォンのGPSから取得した位置情報を自動で画像データに埋め込むことが可能です。スマートフォンはポケットに入れたままで構いません。BLEは省電力なので、バッテリーの消費も抑えられます。

これまでもTHETA Sでスマートフォンから撮影すると位置情報はついていましたが、本体ボタンを押すだけでGPS情報を付けられるようにしたかった。普段よく行く場所なら、どこで撮った場所もわかりますが、初めての旅先だと助かります。

松本これは、ずっと普通のカメラを使ってきた者の意見ですが。THETAは、「被写体といっしょに自分も写る」ことも強みだと思います。わざわざ隠れて撮れば別ですが、普通に使っていると、必ず写真に自分が入るんです。

私はこれまで、プライベートでも多くの写真を撮ってきました。でも、自分が写っている写真は、集合写真くらいしかない。一歩間違えば、集合写真にも写っていなかったりします。自分が撮影しているからですね(笑)。後から見た時に、そこにちゃんと自分がいるのはうれしいことです。

庄原THETAの良さは手軽なところですよね。日常をどんどん残してほしいなと思うんです。日常を撮っておけば、後で気がつくことが必ずある。「こんなことが起きていたんだ」とか、「当時はこんな家具を使っていたんだ」とか、なにかしらあるはずです。撮影者の意図をこえて「撮りたかったもの以外が写る」ということは、とても意味があることだと思います。

プロフィール

松本 和宏 株式会社リコー Smart Vision事業本部 製品開発センター デバイス開発部

松本 和宏

株式会社リコー Smart Vision事業本部
製品開発センター デバイス開発部

2002年、現リコーイメージング株式会社入社。
デジタル一眼・コンパクトデジタルカメラの画質設計を担当。

庄原 誠 株式会社リコー Smart Vision事業本部 製品開発センター デバイス開発部

庄原 誠

株式会社リコー Smart Vision事業本部
製品開発センター デバイス開発部

2011年、リコー入社。
入社以来全天球カメラの開発を担当。博士(情報科学)

※本内容は、2017年9月15日公開時点の情報にもとづいています。