来确认一下Azure Kinect的用法吧!【Azure Kinect实践讲座#1】

首先

Azure Kinect实践讲座将分以下几次来讲解,本讲座的目标是理解Azure Kinect!

  • 来确认一下Azure Kinect的用法吧!(本文)
  • 试着用人体跟踪来玩吧!
  • 成为Vtuber吧!
  • 以Vtuber的身份参加zoom会议吧!
  • (准备中)

这个讲座的目的不仅仅是单纯了解Azure Kinect,还要学会实际运用Azure Kinect!因此,比起深挖技术,我接下来会重点说明实践的步骤。我会把整体流程放在第一位,在某些情况下我会引用其他的文章来对某部分进行详细说明。

必要的东西与配置

Azure Kinect DK

Azure Kinect DK从2020年开始在日本对公众开放(以下会适当省略DK,简称Kinect)。现在(2020年7月)可以用很便宜的价格(2988元人民币)买到。

PC

运行Azure Kinect,PC最低限度的配置如下:

  • 第7代 Intel® CoreTM i3处理器 (双核 2.4 GHz,含 HD620 GPU或更快)
  • 4GB 内存
  • 专用USB3端口
  • 支持 OpenGL 4.4 或 DirectX 11.0 的图形驱动程序

另外,下次以及之后的讲座中,人体跟踪所需要的PC最低配置如下:

  • 第7代 Intel® CoreTM i5处理器 (四核 2.4 GHz 或更快)
  • 4GB 内存
  • NVIDIA GEFORCE GTX 1070 或更佳
  • 专用USB3端口

看配置来说会让人觉得是很高端的电脑。GPU的条件很严格,但是没办法,这样才会让Azure Kinect的性能充分发挥。另外,Linux系统也可以使用Kinect,但是本讲座都是以Windows10系统为前提来讲解的。

在这贴出几个配置足够并且性价比不错的电脑的链接,仅供参考。最近高端电脑越来越便宜了...(狂喜)

三脚架

有的话之后会很方便

用Azure Kinect可以做的事

再来确认一下Azure Kinect可以做的事情吧。我们可以从Kinect中获得IR(红外线照片)、Depth(深度图)和RGB彩色照片这三种图像。另外,它还内置了加速度传感器和麦克风,并且可以利用人体跟踪的SDK和云服务,作为多功能的传感器很是让人期待。

Azure Kinect的官方文档是这样描述的:

Azure Kinect DK 是一款开发人员工具包,配有先进的 AI 传感器,提供复杂的计算机视觉和语音模型。 Kinect 将深度传感器、空间麦克风阵列与视频摄像头和方向传感器整合成一体式的小型设备,提供多种模式、选项和软件开发工具包 (SDK)。

https://docs.microsoft.com/zh-cn/azure/kinect-dk/about-azure-kinect-dk

为启动Azure Kinect做准备吧

设备连接

那么让我们赶快按照附带的说明书或者下面的页面将Kinect连接到电源和PC上吧。注意一定要连接到PC的USB3.0端口上。Kinect用三脚架什么的固定住的话会很方便。

Azure Kinect Sensor SDK的下载

点击下面链接的页面中的“Microsoft 安装程序”来下载。运行下载后的安装程序,根据屏幕上的指示来进行安装。

出现以下画面的时候就OK啦。

试着从Kinect获取数据吧!

让我们来获取从Kinect中得到的3种图像数据、加速度传感器的数据以及其他数据吧。启动刚刚的Azure Kinect Viewer,选择「Open Device」→「Start」,如果出现下图所示的内容就表示成功了。

试着保存图像吧

只是在Viewer中看数据是不是有点无聊?有时候我们也想要保存成图像数据来进行分析。微软准备了CUI工具,可以将从Kinect中获得的数据整合并转换成mkv格式的文件。

使用CUI的话要先打开命令提示符并进入Viewer所在的文件夹。因为我的Viewer在C:Program FilesAzure Kinect SDK v1.4.0tools中,所以输入

> cd C:"Program Files""Azure Kinect SDK v1.4.0"tools

进入文件夹后,输入

> k4arecorder.exe output.mkv

随时都可以按下CTRL+C来在该文件夹中生成output.mkv。这里生成的output.mkv可以用Azure Kinect Viewer的Open Recording打开播放。

若要设置传感器信息的有无或是分辨率大小什么的可以参考以下的页面来设置(下面是个例子)。

> k4arecorder.exe -d WFOV_UNBINNED -c 3072p -r 15 -l 10 --imu OFF output.mkv

要从mkv文件得到特定的图像形式的话需要mkv tool kit。安装之后,例如我想将其保存为深度图,我可以输入以下命令行来实现。(注意output.mkv的位置)

> ffmpeg -i output.mkv -map 0:1 -vsync 0 depth%04d.png
可以得到的深度图(例)

出现「无法识别ffmpeg」之类的报错的话,请尝试重新安装mkv tool kit。另外,获得除深度图以外的图像的话,请参考以下的页面来修改参数。

总结

我们已经实现了启动Azure Kinect,获得数据并保存为图像数据的步骤。鼓励大家试试更改Viewer上的设置,并仔细确认一下看看会得到什么样的数据。

下次的讲座是“试着用人体跟踪来玩吧!”。来真实体验一下Azure Kinect非常有趣的一个功能人体跟踪吧。

Bio

正田 孝平

正田 孝平

学生ブロガー兼エンジニア(東工大院21卒)
AI,IoT,web最新技術の具体的活用術、キャッシュレス決済と資産運用の最新トレンドや語学の体系的学習法について発信。在学中は人力飛行機の製作、webアプリ開発に積極的に携わった。
【趣味】
球技、水泳、マラソン、スノーボード