正田 孝平はじめに
本記事ではteamsやzoomなどのビデオ通話のカメラ映像に自分自身が3Dのアバターになった状態で映る(以降、Vtuber配信)方法を紹介します。カメラONにしたいけど、化粧してない、寝起きの顔を映したくない、可愛い女の子に変身したいなんてことはありませんか！？
そういった方に役に立つ記事になっています。
以前こちらの記事でAzureKinectを使ってVtuber配信する方法を紹介していました。しかし、以下のデメリットがあったせいで使いにくいものとなっていました。
- 高スペックPCが必要
- AzureKinectが必要
- 各種ツールの組み合わせが面倒
- 身体、顔や手の認識が不正確
今回紹介する方法では、スマホ一つとToF AR Labというアプリとスマホの映像を取り込むキャプチャーボードさえあれば実現できるものになっています。また、身体の認識やアバターの表現にソニーの技術を用いており、精度は業界最高レベルのものです。
では具体的に使用方法を確認していきましょう。
ToF AR Labのインストール
まず以下のリンクからToFARLabをインストールしましょう。
アプリを開いたら[Humanoid Hand]と書かれているものがVtuber配信に使えるアプリになります。
ToF AR Labってなんなの？
ToF AR Lab というのは ToF AR というSDK(Software Development Kit)を使ったサンプルアプリ集になります。ToF ARというのはスマホに搭載されているDepthカメラから得られる情報をアプリ開発者向けに使いやすくしたツールです。そして、ToF AR Labの数あるサンプルアプリの一つにVtuber配信用のアプリが含まれているというわけです。
つまり、このアプリでVtuberになる時にはスマホのDepthカメラをうまく使っています。逆に言えば、Depthカメラを持っていないスマホではこのアプリはうまく動かないので注意してください。今回はインカメにDepthカメラがあるiPhoneを想定してご紹介します。（背面にDepthカメラがあるようなAndroidデバイスを使う場合、自分のアバター姿をスマホ画面を直接見て確認できないため使い勝手が良くなく、おすすめしません！）
アプリの使い方
基本的にはアプリを開いてすぐ使えるようになっています。自分のリアルの映像に対して、3Dアバターが重なるように表示されます。各種設定項目を開けますが、基本的に弄る必要は無さそうで、下の画像のメニューバーに表示されている項目だけ理解すれば良さそうです。
「目のアイコン」はメニューの非表示切り替え、「リセットボタン」は顔の真下の位置に胴体を持ってくるようなリセット処理、〇〇cmは顔までの距離、△△fpsは処理速度のようですね。端末によっては長時間使用していると、ここのfpsが低下してしまうようです。「低」とあるのはスマホの負荷レベルでした。こちらも長時間使用していると「中」「高」となりスマホが発熱しやすくなるかもしれません。
ちなみに、<･･･> を押して詳細設定モードを出して、カメラ設定からColorのドロップダウンで[-]を選択すると、背景の映像を消すことができます。
ビデオ通話アプリからVtuber映像を受け取る
アプリが起動できたら、あとはzoomやteamsなどのビデオ通話アプリからスマホの画面を仮想カメラとして認識すれば良いです。方法はいろいろあると思いますが、ビデオキャプチャーボードを使う方法を紹介します。
今回だとiPhoneの画面をキャプチャするため、iPhoneとキャプチャーボードの[IN]のポートをまず接続します。HDMIで接続するので、lightning-HDMI変換ケーブルも必要ですね。次に取り込む側のPCとキャプチャーボードをUSBケーブルで接続します。
こうすることで、PCがキャプチャーボードをカメラとして認識でき、ビデオ通話アプリからキャプチャーボードに取り込まれているiPhoneの映像をカメラとして選択することができます。
実際にアバター状態でビデオ通話に参加している様子はこちら↓（後日掲載予定）
アプリは今後アップデートされていくのか
このVtuberアプリですが、背景がまだグリーンバックに対応できなかったり、顔認識精度がいまいちだったりまだ「開発中のアプリ」といった印象です。そこで今後アップデートされて使いやすくなるかが気になるところです。
私個人としてはアップデートされていくと考えています。それは、ソニーがこのVtuber技術を日々アップデートしていっており、いろいろなメディアに露出させているからです。下のツイートで確認できるようにこれもスマホ一台で動いており、背景も実際の映像ではなく単色を選択できるようになっています。手指の推定精度やトラッキング、顔認識全てが良くなっている印象ですね。キャラクターの入れ替えにも対応してそうです。
まとめ
スマホ一台でVtuberになれる技術ToF ARと、それを使った実際のVtuberアプリを起動し、ビデオ通話アプリでVtuber配信する方法を紹介しました。
アプリ自体は今後もアップデートされる可能性は高いので、今後も動向を注視していきましょう！