１　xRの普及

xRとはVR/AR/MRの総称である。古くから語られるVR（Virtual Reality）に加え、最近はより現実世界との融合を求めたAR（Augmented Reality）やMR（Mixed Reality）も発展してきており、それらの技術の総称としてxRと呼ばれている。（図表1）

【図表1　MRとVR/ARの関係】

　VRの歴史は古く、1968年に米国のアイバン・サザランド博士が頭部搭載型ディスプレイ（HMD ; Head Mounted Display）を開発して以降、様々な取り組みがなされてきた。2016年前後には、個人購入ができる程度に廉価なHMDが相次いで発売され、それ以降は広く社会への普及が進んでいる。

一方、AR/MRについても、1997年に通商産業省（現経済産業省）とキヤノンによりMRシステム研究所が設立されるなど、早くから研究開発への取り組みは始まっており、2016年ころから主にゲームやスマートフォン用アプリケーションで広く知られるようになった。

これらの技術に対し、当初はその目新しい映像体験が注目されがちであったが、最近ではITを用いた業務改革であるデジタルトランスフォーメーション（DX：Digital transformation）を実現するツールとして、様々な活用方法の開発が進んできている。そこで、それらの取り組み動向について、本稿にて紹介する。

なお、xRはゲームやアトラクションなどエンターテイメント分野、訓練シミュレータなどの軍事分野での活用も盛んであるが、本稿では主に産業向け分野に限定する。

２　VR/AR/MRの違い

VR（仮想現実感あるいは人工現実感）は、「現実ではないが、本質的には同じ環境」を作り出す技術である。コンピュータによって作られた仮想空間をあたかも現実のように体験する技術といえる。

AR（拡張現実感）は、現実世界に対してコンピュータがさらなる情報を付加する技術である。また、MR（複合現実感）は、現実世界と仮想世界を融合させる技術であり、VRからARまでを包含する概念のものになる。現在の市場では、特に空間的、時間的、光学的に整合性を保って融合しようとするものをMRと呼ぶことが多い（図表2）。

【図表2　VR/AR/MRの特徴】

３　xRシステムの構成要素と技術動向

xR技術を有効に活用するには、関連するハードウェアやソフトウェアの特性を理解し、目的に応じて適切な構成のシステムを築くことが肝要である。

xRシステムは一般に以下のハードウェアやソフトウェアにより構成される。

１　ディスプレイ装置

周囲の壁面に映像を投影する没入型壁面投影タイプやディスプレイと液晶シャッタグラスを組み合わせたタイプ、ホログラムタイプなど様々な方式が存在する。また、スマートフォンも手軽なディスプレイである。なかでも、近年盛んに開発されているディスプレイ装置はHMDである。

HMDは頭部に装着し、目の位置にあわせて映像を表示するものである。VR用HMDは目を覆い、仮想世界に没入するタイプが主流である。また、AR/MR用にはハーフミラーを用いて現実世界を透過する光学シースルー型や現実世界をビデオ撮影してコンピュータ内で現実と仮想を融合するビデオシースルー型がある。

前者はその原理上、コンパクトにできるが、仮想物が半透明になったり黒色が表現できなかったりする。後者は現実物と仮想物の位置関係が正確に表現できリアリティがあるが、現実と表示映像とにわずかな時間差が発生するなど、各方式で一長一短がある。

HMDメーカー各社は基本機能の充実に加え、視野角や解像度、ケーブル有無、映像のゆがみなど様々な観点から性能向上を図っている。軽量化も進んできているが、まだ装着の負担感や不快感を解消するには至っていない。HMDのコンセプトは長く変わっておらず、コンピュータの飛躍的発展と比して、その発展は遅れている。革新的な技術の出現が期待されている分野である。

２　トラッキングシステム

xRでは自身の動きに追従して映像をリアルタイムに変化させるため、常に空間内のHMDの位置や姿勢を追跡する必要がある。この追跡機能をトラッキングと呼ぶ。自身は動かず周囲を眺める用途であれば見ている方向、すなわちXYZ軸の回転方向である「ロール・ピッチ・ヨー」で定まる「姿勢」を把握すればよく、一般にジャイロセンサにてトラッキングする。

一方、自身が動き回る用途や、現実世界との整合が求められるMRでは「姿勢」に加えて「位置」、すなわち3軸の座標値を加えた六つの値を把握する必要がある。

トラッキングにはHMDを外部センサなどで観察するOutside-in方式と、HMDのカメラやセンサを利用するInside-out方式とがある。

前者の代表例は光学式センサによるトラッキングである。モーションキャプチャー装置から派生した技術で、高精度かつ安定した計測が可能になるが、設備が大がかりになる短所もある。

後者には、人工的なマーカーをカメラで撮影して自身の位置を算出するマーカー方式や、部屋や机など空間内の特徴を抽出して自身の位置を算出する空間特徴方法がある。また、HMDに装備した深度センサにより周辺の空間形状を把握してトラッキングを行う方法などもある。これらは手軽である反面、周辺の物体や人が動いていると誤差が生じやすいなどの短所もある。

各方式の特徴を理解し、移動範囲や視線方向などを考慮して適切な方式を選定することが重要である。

３　コンテンツ

コンテンツとはxRで体験する内容であり、それらはデータ化されている必要がある。360°カメラによる全周映像、3次元CADデータ、レーザースキャンによる点群データ、実機に重複表示したい設備操業データなど、その種類は多岐にわたる。3Dデータを静的に見る場合もあれば、例えば扉を開閉したり、スイッチを押して設備を動かしたりするなど、インタラクションをつける場合もある。また、色や光沢などの見栄えに関しても、ほぼ現実に近いものもあれば、単色でシンプルに作り上げたデータもある。

いずれにせよ、コンテンツはその制作作業が必要であり、xRを活用する上で負担となる。ただし、近年は3次元CADをデータ変換せずに直接xRシステムで見たり、クラウド上で大規模CADデータを自動変換するサービスが出てきたりしている。また、ゲームエンジンとよばれるソフトウェアを用いて動的な3Dデータを手軽に制作できること加え、物体の材質や周辺光などに応じて周辺物体の映り込みをリアルタイムに計算し、極めて現実に近い映像を再現できるようになってきている。

４　基盤ソフトウェア

ディスプレイ装置とトラッキングの情報を統合的に管理するソフトウェアである。また、アプリケーションソフトウェアと連携し、コンテンツデータをディスプレイ装置に表示する役割を果たす。

メーカーごとに、独自仕様のソフトウェアを提供しており、ディスプレイ装置が変わるとコンテンツが動作しない場合も多い。近年は、これらの問題を解消すべく、ソフトウェアの標準化の取り組みも始まっている。

４　活用事例

xRはその技術の発展に加え、働き方改革の機運や環境意識の高まりなどの社会的ニーズにも後押しされ、産業界の業務革新を支える様々な用途での活用が図られてきている。その用途は幅広く、また新しい用途が次々と開拓されている状況である。その中からいくつか紹介する。

A）仮想世界に没入し、仮想体験する

・災害や危険作業などを仮想体験し安全意識を高める（図表3）
・竣工前の仮想建築物に入りこみ、人の導線を確認する

【図表3　VRシステムを使った安全教育】

B）現実世界をデータ化し、再現する

・工場レイアウトを3Dデータ化し、新規設備の設置可否を検証する
・賃貸ルーム内の全周映像を記録し、現地に行かずに確認する

C）実物なしで各種検証を行なう

・構想中のデザインを他社製品と比較評価する（図表4）
・設計段階で、組立作業やロボットの動きを検証する（図表5）

【図表4　MRシステムを使った実車との比較（右の車のみCG）】

【図表５　MRシステムを使った組み立て作業性検証（工具は実物で、先端が接触すると色が変わる）】

D）情報を補強・補足する

・操業データや計測データを対象設備に重畳し、異常を早期検知する
・患部データを体と重畳して表示し、医療作業を補助する

E）見えない物を可視化する

・流体解析結果を現実世界に重畳し、その場の流体の流れを可視化する
・物陰に隠れた人や車を表示し、運転手に案内する

F）離れた場所と連携する

・危険現場や医療現場などで遠隔地から装置を操作する
・複数拠点で同じ製品設計データを表示し、共同でレビューする

xRを用いると、体験者は見るだけでなく「体感」でき、飛躍的に理解が深まる。例えば、高所作業の安全教育の場合、机上学習と異なり恐怖感も体感でき、教育効果が高まる。また、製造設備の導入に際し、現場作業者に早期に仕様確認してもらうことで導入期間を大幅に短縮できている。

これは、従来のCADやパース図による確認と比べて現場作業者の理解が深まり、意思決定が早まるとともに設備完成前に多くの問題点を解消できるようになったからである。

また、試作機や教育設備などの実機が不要となる効果も大きい。製作に伴うコスト削減や時間短縮はもちろん、設計変更が手軽にできたり、保管場所が不要であったりするなど長期的コストも抑えることができる。

今後も、これらのメリットを活かし、革新的な活用方法が生まれてくると思われる。

５　今後の課題

このように、産業界の様々な用途に活用され始めているxRであるが、より広く普及するための課題も多い。

常に課題として挙がるのが「酔い」である。酔いは人によってその程度が異なり、また定量評価が難しいこともあり、抜本的な解消策は確立していない。酔いを抑えるために、描画表示を早めたり、動きを予測して描画したり、映像内に固定点を加えたりするなど、様々な工夫が取り組まれており、当面は有効なノウハウを蓄積していくことが重要と思われる。

xRの運用定着に向けては、コンテンツの取り扱いが障害になることも多い。3次元CADデータは、複雑な形状や多くの部品構成によりデータのサイズが過大であったり、不要部品が混在していたりするため、適切な形に変換する必要がある。

その取り扱いには専門的スキルを要するため、エンジニア不在により運用が進まないケースがあり、今後は3Dデータ変換技術の自動化と高性能化が期待される。

また、視覚的体験にとどまらず、五感を用いてよりリアリティを追求することも求められてきている。特に触感がないことでリアリティを損なう場合が多いが、触感は物体から受ける反力に加え、ザラザラやひんやりなどといった感触なども考慮する必要がありその再現は難しい。ただし、近年は振動や電気などを用いて触感を体感できるハプティクスデバイスの開発も進んできており、今後それらのデバイスの実用化が期待される。

このように課題は残るが、xRを効果的に活用している企業では、これら課題を運用手法によって解決していることが多い。酔いを考慮した運用ルール作り、３Dデータ作業の教育カリキュラム作成、触感を感じるためのモック製作など、利用者の工夫により解決を図っている。技術進歩による解決と並行して、運用手法の開発やそのノウハウの蓄積も今後ますます重要になってくると考える。

６　おわりに

xRはデジタル空間と人間をつなげるインタフェースである。デジタルの力を利用して人間を時間的・空間的制約から解放し、その能力を向上させてくれる。

産業界ではIoT技術などを用いて、現実と同じ環境をデジタル空間に再現する「デジタルツイン」の取り組みが進んできている。5Gによる通信の大容量化と低遅延により、新たな活用方法も次々と生まれてくるであろう。また、AIが専門家を凌駕するスキルや判断力を持ち、既存の概念を覆す新たな価値が生まれてきている。このようなデジタル技術の飛躍的発展のメリットを享受するためにも、そのインタフェース役であるxRのますますの発展を期待したい。

関連情報を見る外部サイトに移動します