Visual Gesture Builder関連のリソースとか
KINECT v2のSDKおよびセンサー本体のpublic previewがとうとう外れましたね。 正式版になったと同時にKINECT Adapter for Windowsが発表され、センサー自体はXBox Oneと同じものを利用していることが明らかになりました。
今後、KINECTを使って開発をしていく上でジェスチャー認識等が必要になってくるのですが、 ジェスチャー認識を簡単にKINECTアプリケーションに組み込むためのツール Visual Gesture Buidler に関して何回かメモを残していきます。
Visual Gesture Builderとは
Visual Gesture Builderはジェスチャー認識の機械学習を簡単に行うためのツールです。 KINECT SDK v2.0に付属しており、SDKブラウザもしくはスタートメニューから呼び出すことができます。
Visual Gesture Builderでできること
Visual Gesture BuilderからKINECT Studioで保存したストリームを読み込むことで以下の様なことができます。
- ジェスチャーのタグ付け
- タグ付けされたジェスチャーを認識するためのメタデータの出力
- タグ付けされた情報を元に、他のストリーム中のジェスチャーを自動的にタグ付けする
基本的にKINECT Studioで保存したBone Trackingの情報を利用します。 現状ではFace TrackingやColor Streamは扱うことができないので注意しましょう。
学習用の素材
Channel 9などでジェスチャー認識やVisual Gesture Builderに関しての動画が公開されています。
- Custom Gestures End to End with Kinect and Visual Gesture Builder
- Custom Gestures End to End with Kinect and Visual Gesture Builder (part 2)
- Programming Kinect for Windows v2 Jump Startの#6
- White paper
Tipsとか
前述のとおりVisual Gesture BuidlerはBone Trackingの情報を利用してジェスチャー認識を行います。 KINECT Studioでストリームを保存する際にColor Streamの保存をしないように設定するとストリームファイルのファイルサイズを大きく抑えられるので覚えておきましょう。
// ちなみにVisual~ って名前が付いているから今後はIDEの１ブランドになっていくのかしら…。
