【八美肉】全身虚拟参加zoom【Azure Kinect实践讲座#3】

はじめに

Azure Kinect を使って,全身バーチャルな姿(以下バ美肉)でzoomに参加するために必要なものとその方法を紹介します.

2020年8月のアップデートの内容を盛り込んだ最新情報です.また,できるだけ安価に構成する方法を記しています.

必要なもの

以下のツールが必要になるので,全て事前にインストールします.

Azure Kinect & PC

必要なスペック等は1章の内容を参考にしてください.まずは顔のトラッキングだけで試してみたい!という方はAzure Kinectは無くてもOKです.

3tenePRO

バ美肉,Vtuber用のソフト.2020年7月のアップデートで初めてAzure Kinectに対応し,誰でもより手軽にバ美肉ができるようになりました.

今なら税抜1000円という超絶安価で買えます.

3teneKinect

Kinectの姿勢情報を3tene PROに反映させるためのもの.3tene PRO購入時に付いてきます.バージョンはv1.0.1未満だと致命的なバグがあるので,必ず最新版をダウンロードしてください.

OBS studio

無料映像配信用ソフト.画面収録やyoutubeなどに生配信ができるものです.ダウンロードページ

OBS-VirtualCam

無料.OBS Studioの映像を取り込むための仮想カメラです.ダウンロードページ

恋声(option)

無料.声を変換したい場合に使用しましょう.ダウンロードページ

VB audio device(option)

無料.恋声で変えた音声を取り込む仮想マイク.ダウンロードページ

Zoom

もちろんzoomは準備してますね!?

構成図

手順

以下の画像のように3つに分けて手順を追っていきましょう.

Azure Kinectで取得した姿勢を3tenePROに反映させる

3tenePROを開いてアバターをAzure Kinectで操作するように設定する.アバターはなんでもOK.

全身操作のトラッキングを開始します.適宜フェイストラッキングや顔認識を併用したい方はそれらも有効にしておきます.

3teneKinectを開き人検出をONにします.ここで姿勢が3tenePROと連動していることを確認しましょう.Kinectのデプス映像を表示させておくと便利です.

仮想カメラを使って映像をzoomで配信

OBS studio を開いてソース>ゲームキャプチャ>ウィンドウから3tenePROのウィンドウを選択します.この時点でクロマキー合成をするために3tenePROの背景を緑色に設定しておきましょう.

作成したゲープキャプチャ上で右クリックをして,フィルタを追加します.画像のようにクロマキーを選択し緑色が透過するのを確認します.ゲームキャプチャの領域もアバター周辺のみになるようにOBS上でトリミングしサイズ調整をしておきましょう.

zoomの背景にしたいもの,例えば画像をソースに追加します.

ツール>VirtualCamを選択し,画像のようにTarget-CameraがOBS-Cameraになっていることを確認し、Startします.

Zoomを開きカメラにOBS-Cameraを指定します.

変換した音声をzoomに入力する

以上の手順でバーチャルの姿でzoomに参加することができました!ここまで来たら,声も萌え声/イケボにしてしまいましょうか!声変ツールは恋声を使います.萌え声/イケボ設定や恋声の詳しい使い方はここでは説明しません.

VB audio deviceを使って、変換した声をzoomに入力する方法だけ記載します.

恋声の設定>再生デバイスから「CABLE Input」を指定します.こうすることで,変換した声が仮想的に再生されます.

仮想再生されている声をzoom側でキャッチするために,zoomのオーディオ設定からマイクを「CABLE Output」を指定します.

以上で終了です!お疲れさまです!

おわりに

いかがでしたか?自分のリアルな姿にウンザリしている方!もっとラフにzoom会議を開催したい方!ぜひバーチャル出演してみては?

それでは良きバーチャルライフを^^

追伸

使って欲しいアバターがあったら紹介してください!Vtuber案件ください!

Bio

正田 孝平

メーカー勤務 ソフトウェアエンジニア
AI,IoT,web最新技術の活用術、キャッシュレス決済と資産運用の最新トレンドや語学学習法について発信。大学在学中は人力飛行機の製作、webアプリ開発に積極的に携わった。
【趣味】
ゴルフ・温泉巡り