GoogleがR&Dコミュニティへのリアルタイムモバイルハンドトラッキングを開始

Published 01 September 2019, 20:06

Googleは、自社の研究者と開発者向けに、機械学習を使用したモバイルデバイスに基づくハンドトラッキングの方法をリリースしました。GoogleResearchのエンジニアValentin BazarevskyとFan Zhangは、「手の知覚に対する新しいアプローチ」と呼びます。

6月にCVPR 2019で最初にリリースされたGoogleの直接およびリアルタイムのハンドトラッキングメソッドは、開発者が開発できるようになりました-MediaPipeに実装されています。 、ビデオやオーディオなど。

このアプローチは、機械学習を介して高忠実度の手と指の追跡を提供すると言われています。

「現在のアプローチは主に推論のための強力なデスクトップ環境に依存していますが、私たちの方法は携帯電話でリアルタイムのパフォーマンスを達成し、さらに多くの手にまで拡張できます」とBazarevskyとZhangはブログ投稿で述べました。

Google Researchは、そのハンドトラッキング方法がコミュニティで「創造的なユースケース、新しいアプリケーションと新しい研究手段を刺激する」きっかけになることを望んでいます。

BazarevskyとZhangは、手の追跡方法で役割を果たす3つの主要なシステム、手のひら検出モデル(BlazePalmと呼ばれる)、3Dハンドキーポイントを忠実に返す「ハンドポインター」モデル、および分類する記号識別子があると説明しましたキーポイントの構成を個別の動きの1つのセットにまとめます。

完全なブログ投稿から抜粋したいくつかの顕著なビットを以下に示します。

BlazePalm技術は、手のひらの検出で95.7%の平均精度を達成すると言われています。
このモデルは、部分的に表示され自己閉塞している手でも、一貫した強力な内部手のポーズ表現を学習します。
既存のパイプラインは、複数の文化からの動きの計算をサポートしています。アメリカ、ヨーロッパ、中国、および「親指」、閉じた拳、「OK」、「ロック」、「スパイダーマン」などのさまざまな署名。
Googleは、関連する使用シナリオとエンドツーエンドのソースコードを伴って、MediaPipeフレームワーク内でハンドトラッキングソースとジェスチャー認識パイプラインを公開しています。
将来、バザレフスキーとチャンは、Google Researchがより強力で安定した追跡で手の追跡作業を継続し、確実に検出できる動きの数を増やすことを望んでいると述べました。さらに、動的な動きもサポートしたいと考えています。これは、機械学習と液体の手の動きの制御に基づく手話翻訳の利点になる可能性があります。

それだけでなく、ARヘッドセットを前進させるには、より信頼性の高いデバイスでハンドトラッキングを行うことが不可欠です。ヘッドセットが外側を向くカメラに依存して世界を視覚化する限り、世界は機械学習が克服するための問題であり続けることを理解しています。

Source

SUBSCRIBE NEWSLETTER
Copyright © 2020. SHINTA VR

PT. CITRA WAHANA TEKNOLOGI
Bizxpress Building
50, Jl. H. Agus Salim
Jakarta, 10340
021-27083399