センスタイムのXRソフトウェアプラットフォーム「SenseMars」のAR技術について

STJ

はじめまして、センスタイムジャパンの土屋です。新規事業開発に携わる部署に所属しています。
私は技術営業であり、正確にはエンジニアではないのですが、技術営業も広い意味ではエンジニアだよね?(英語の役職名はSales Engineer)ということで、アドベントカレンダー企画に参加させていただくことになりました。

さて、最近Facebookが社名をMetaに変えたこともあり、メタバースが話題になってますよね!これからどんどん身近になる技術だと思い、私も注目しています!
そして、センスタイムでもSenseMarsというXRソフトウェアプラットフォームを持っており、AR・VR技術を活用したアプリや製品を提供しています。本記事ではこれらの技術について、少しお話しさせていただきたいと思います。

そもそも「メタバース」って何?

メタバースとは、「コンピューターが作り出す3次元の仮想空間やそのサービスの総称」を意味で、「メタ(超)」と「ユニバース(宇宙)」を合わせた造語です。
なぜ、メタバースが注目されているかというと、仮想空間上でもゲームやコンサートなどの娯楽を楽しんだり、仕事などの経済活動が現実世界と同じように行うことが可能になるからです。
つまり、SFにしか存在しなかった世界が、メタバースの発展によってより身近な存在になりえるというわけです。

メタバースを実現するには、仮想現実(VR)、拡張現実(AR)の技術が不可欠であり、3次元空間を3Dモデリングで制作する必要があります。
といってもそんなに簡単な話ではなく...というのも、実は私は建築学科出身で、この「3次元空間を3Dモデリング」という作業がとても大変だったのを覚えているのです。
それに加えて、拡張現実(AR)技術を使って、現実世界に仮想世界を重ね合わせるためには、GPSやビーコンなどを使って、現実世界の位置情報と仮想空間上の位置情報をリンクさせる自己位置推定が必要になります。
しかし、GPSは地下や屋内に弱かったり、ビーコンは数m間隔でたくさん設置する必要があったりと、方法によって一長一短があります。

メタバースの世界を実現するためには、まだまだ多くの課題があると考えており、センスタイムもこの領域の研究開発に日々取り組んでいます。

SenseMarsとは?

さて、いよいよ本題のメタバース分野への取り組みの1つ。SenseMarsというプラットフォームを使って提供できる、AR技術を紹介したいと思います。
簡単に言うと、先程説明した「3Dモデリング」と「自己位置推定」を全て画像認識で行ってしまおう!というのがSenseMarsです。

3Dモデリングを行うために必要なのは、なんと360度カメラでモデリングしたい環境を撮影するだけ!それで十分なのです!(画像 左)
あとはセンスタイムの画像認識技術で360度カメラ映像から3Dモデルを生成することができます。(画像 中央・右)

3Dモデルを作った後は、実際のサービスに落とし込んでいきます。
例えば、商業施設でスマートフォンを用いたARナビゲーションサービスを実現したい時は、施設の3Dモデル上に各店舗・駐車場・トイレなどの位置を設定したり、様々な3Dオブジェクト(看板やキャラクター)を配置します。そして、ARナビゲーションアプリをユーザのスマートフォンにインストールしてもらいます。
ユーザはアプリを起動し、施設内にカメラを向けるだけで、センスタイムの画像認識技術によって、カメラ映像から3Dモデル上のどこにいるかを推定することができます。
そして、ユーザは行きたい場所を指定すると、スマートフォンの画面上に案内が表示されるので、案内に従って歩くだけで行きたい場所に到着します。(画像 左)

もちろん、ナビゲーションだけでなく、ある店舗の近くに来た時に広告を表示したり、クーポンを表示することも可能です。
それに加えて、人気キャラクターの3Dオブジェクトをまるでその空間に存在するかのようにカメラ映像に合成したり、
それ以外にも、複数人で同じ仮想空間を共有し、そこに敵を配置すれば、参加型のシューティングゲームなども実現できるかもしれませんね。

日本ではまだまだ馴染みのない技術かもしれませんが、すでにセンスタイムの本社や海外拠点がある香港や中国などでは、実際の施設にSenseMarsの技術が導入されています。
今後、日本でもSenseMarsを展開していきたいと考えています。


最後までご覧いただきありがとうございました。
メタバースという分野はこれからどんどん発展していく分野だと思っていますので、
日々情報を集めていきたいと考えています。

センスタイムジャパンとしてもSenseMarsを日本市場に提供していきたいと考えているので、
ご興味のある方はお気軽に弊社営業までお問い合わせください。
(私は技術"営業"であるため、最後は営業的な話で締めさせていただきました。)