TECHNOLOGIE RICOH THETA

Un vent d’innovation et d’émerveillement souffle sur notre rapport à l’image.
La technologie de RICOH est sur le point de découvrir des territoires inexplorés.

Technologie optique permettant de réduire la taille du boîtier

Une technologie à trajet optique replié et à deux objectifs extrêmement compacte qui permet de réduire la taille du boîtier de manière importante.

Les images sphériques RICOH THETA sont créées par une conception novatrice qui utilise des objectifs très grand angle extrêmement compacts à l’avant et à l’arrière de l’appareil photo, ce qui permet de collecter la lumière à un angle de champ visuel qui dépasse de loin les 180 degrés d’un objectif fisheye, puis d’allouer cette lumière aux capteurs d’image sur la gauche et la droite à l’aide de deux prismes à 90 degrés.

Même avec deux objectifs, le THETA dispose d’un boîtier de seulement 17,9 mm d’épaisseur (THETA V, objectif non inclus) grâce à la disposition symétrique du trajet optique fisheye replié.
La conception est simple et raffinée. De plus, une plus courte distance par rapport à l’objectif permet de réduire au maximum l’erreur de parallaxe*1.

*1 Point de vue divergent de deux appareils photo.

Les objectifs très grand angle extrêmement compacts sont spécialement conçus et réglés pour les images sphériques.

L’uniformisation de l’image dans son ensemble est essentielle pour relier deux images avec une erreur de parallaxe minimale et obtenir un aspect totalement naturel. Pour atteindre cela, une méthode de projection développée par RICOH a été adoptée. Le revêtement de l’objectif couvre le spectre de lumière visible mais également le spectre infrarouge, qui n’est pas disponible sur les objectifs moyens. Les caractéristiques de longueur d’onde et la dépendance angulaire ne sont pas les mêmes au centre et en périphérie, il est souvent difficile de régler les objectifs fisheye. Cependant, en dépit de cette difficulté, nous sommes parvenus à créer une coloration uniforme au centre et sur les bords, ce qui permet d’obtenir une qualité d’image à la fois naturelle et magnifique.

Technologie de traitement de l’image permettant d’obtenir des images à 360 degrés

Kiyotaka Kitajima

Processus de création d’images sphériques sans reliures visibles

1. Traitement de l’image

Les données de l’image des deux capteurs d’image sont d’abord utilisées pour procéder au traitement de base. Puis, parallèlement au traitement de l’image de base effectué sur les appareils photo numériques classiques, les images sont traitées pour obtenir la coloration et la luminosité adaptées à partir de deux capteurs d’image. Les écarts de sensibilité entre les deux capteurs d’image sont notamment corrigés et l’exposition de chaque capteur d’image est compensée en fonction d’une décision complète obtenue à partir de la luminosité détectée dans les données des deux images.

2. Assemblage d’images

L’assemblage d’images est ensuite réalisé pour deux images. Pour chacune des deux images, la mise en correspondance des motifs calcule le décalage entre l’image de référence et l’image de comparaison dans chaque zone pour détecter la position d’assemblage. Ensuite, en utilisant la position d’assemblage détectée et les caractéristiques de chaque système optique, les deux images sont converties en un format sphérique. L’assemblage des deux images au format sphérique permet d’obtenir une image sphérique finale et unique. De cette façon, la mise en correspondance des motifs détecte la position d’assemblage et l’applique aux paramètres de conversion d’image du format sphérique, entraînant un processus d’assemblage dynamique qui permet de réaliser un assemblage en temps réel de deux images.

1. Traitement de l’image

Les données de l’image des deux capteurs d’image sont d’abord utilisées pour procéder au traitement de base. Puis, parallèlement au traitement de l’image de base effectué sur les appareils photo numériques classiques, les images sont traitées pour obtenir la coloration et la luminosité adaptées à partir de deux capteurs d’image. Les écarts de sensibilité entre les deux capteurs d’image sont notamment corrigés et l’exposition de chaque capteur d’image est compensée en fonction d’une décision complète obtenue à partir de la luminosité détectée dans les données des deux images.

2. Assemblage d’images

L’assemblage d’images est ensuite réalisé pour deux images. Pour chacune des deux images, la mise en correspondance des motifs calcule le décalage entre l’image de référence et l’image de comparaison dans chaque zone pour détecter la position d’assemblage. Ensuite, en utilisant la position d’assemblage détectée et les caractéristiques de chaque système optique, les deux images sont converties en un format sphérique. L’assemblage des deux images au format sphérique permet d’obtenir une image sphérique finale et unique. De cette façon, la mise en correspondance des motifs détecte la position d’assemblage et l’applique aux paramètres de conversion d’image du format sphérique, entraînant un processus d’assemblage dynamique qui permet de réaliser un assemblage en temps réel de deux images.

Image sphérique

La projection de Mercator est utilisée dans les images sphériques pour attribuer des coordonnées à chaque emplacement de pixel sur une surface sphérique.
En d’autres termes, en comparaison avec la Terre avec la latitude et la longitude comme étant deux axes, la surface de la Terre serait en deux dimensions.
Les utilisateurs peuvent utiliser une application dédiée pour modifier le point de vue en glissant le droit vers le haut, vers le bas, vers la gauche ou vers la droite de l’image. Ils peuvent également agrandir ou réduire l’image pour voir l’intégralité de l’image sphérique. Dans l’application, l’image sphérique est représentée en tant que texture pour un objet sphérique. L’image sphérique peut être affichée comme étant reliée à un sphère en définissant le sens et l’angle de vue.

Audio spatial à 360° avec vidéo et audio liés

L'audio spatial à 360° fait référence à la vidéo et l'audio liés lorsqu'il est lu sur une visionneuse RV et un casque.
Deux technologies sont utilisées sur le RICOH THETA V pour recréer les changements dans le champ acoustique en fonction de la direction dans laquelle la visionneuse regarde. Ceci offre une expérience RV plus réaliste et immersive.

1. Enregistrement audio spatial THETA V - Ambisonique

1. Enregistrement audio spatial THETA V - Ambisonique

Ambisonique est un type de technologie audio en trois dimensions qui enregistre l'audio spatial à 360° et qui recrée la directionalité naturelle dans un format [Enregistrement/Lecture]. Ambisonique convertit les sources audio en quatre signaux qui incluent le signal de base (W), le signal s'étendant vers l'avant/arrière (X), le signal s'étendant vers la gauche/droite (Y) et le signal s'étendant vers le haut/bas (Z) afin de recréer un champ audio avec une directionalité. Le RICOH THETA V intègre plusieurs microphones omnidirectionnels qui composent la directionalité à partir de sources audio enregistrées, créant ainsi les quatre signaux WXYZ.
Le TA-1 est un microphone compatible avec Ambisonique qui convertit des sources audio enregistrées dans les quatre signaux WXYZ.
Cette méthode permettant de tourner l'ensemble du champ audio après l'enregistrement, le champ audio suit le mouvement vers l'avant/arrière, la gauche/droite et le haut/bas des images et ce, même si le point de vue des images à 360° change, permettant ainsi d'enregistrer et de lire de l'audio très proche de la scène réelle.

2. Lecture audio spatial THETA V - HRTF (fonction de transfert associée à la tête)

2. Lecture audio spatial THETA V - HRTF (fonction de transfert associée à la tête)

Les utilisateurs peuvent constater la différence de volume dans les deux oreilles et le décalage avant que le son ne parvienne aux oreilles selon le sens d'arrivée de l'audio. En comprenant la différence entre ces deux facteurs, il est possible de créer la sensation d'une source audio se déplaçant dans n'importe quelle direction pendant la lecture.
HRTF exprime (filtre) mathématiquement la valeur caractéristique de cette sensation sous forme de données audio. Lorsqu'il est combiné à une source audio d'images enregistrées avec de l'audio en trois dimensions, la source audio peut être déplacée dans des directions vers l'avant/arrière, la gauche/droite et le haut/bas comme des images à 360° qui suivent le mouvement de la tête de l'utilisateur.
Cette technologie est utilisée sur le RICOH THETA V, et l'application du filtre dans l'audio enregistré permet de détecter un genre de directionalité et de distance qui est similaire à la scène réelle.
* Étant donné que les données de HRTF changent en fonction de la réverbération de la tête, du corps et de la forme de l'oreille de chaque individu, la même sensation peut ne pas être ressentie par tous les utilisateurs.

Sur la base de ces deux technologies, l'environnement de lecture compatible avec le format de fichier audio spatial du RICOH THETA V peut être associé à un HMD ou une visionneuse RV avec un casque et une fonction de suivi de la tête pour lier les images à 360° que les utilisateurs voient avec de l'audio à 360° pour une sensation de vécu offrant une expérience de RV audio et visuelle réaliste.