現地時間の6月22日から開催中のWWDC20で、手や身体の位置や動きを検出できる「Vision」開発フレームワークが発表されました。手の形を作るだけで絵文字に変換するなど、画面を触ることなくデバイスへの入力を行う例がいくつか紹介されました。
身体の19の部位の検出が可能
Appleの「Vision」フレームワークは、コンピュータビジョン（CV）を使って、「右手首」「右ひじ」「右肩」「右目」「右耳」「右臀部」「右ひざ」「右足首」「鼻」「左手首」「左ひじ」「左肩」「左目」「左耳」「左臀部」「左ひざ」「左足首」の身体の19の部位の検出が可能となっています。
Visionフレームワークを機械学習フレームワーク「Core ML」と組み合わせることで、正しい人間工学が使用されているかどうかを安全教育アプリで確認したり、ユーザーのエクササイズの自動トラッキングをフィットネスアプリで行ったり、同じ身体のポーズの写真や動画をメディア編集アプリで検索する、といったことが可能になります。
WWDC20では手のトラッキングのデモが発表
手の親指と人差し指をくっつけたチョークを持っているかのようなジェスチャーを検出させ、ドローイングを行うデモがWWDC20で発表されました。
また、ピースサインやOKサインなど、特定の手のジェスチャーを検出し、絵文字に置き換えるデモや、特定の手のサインを検出したときに自動でカメラ撮影を行う様子も披露されました。
Visionフレームワークは、同時に複数の手や身体を検出できますが、手袋をした状態やローブのようなゆったりとした服を身に着けた場合ではうまく動作しないことがわかっています。
Source:Apple via MacRumors
(lexi)
