Google Meluncurkan Pelacakan Tangan Seluler Waktu Nyata ke Komunitas Litbang

Published 01 September 2019, 18:54

Google telah merilis untuk para peneliti dan pengembang sendiri metode pelacakan tangan berbasis perangkat mobile menggunakan pembelajaran mesin, sesuatu insinyur Google Research Valentin Bazarevsky dan Fan Zhang menyebut "pendekatan baru untuk persepsi tangan."

Pertama kali diluncurkan di CVPR 2019 pada bulan Juni, metode pelacakan tangan Google secara langsung dan real-time sekarang tersedia untuk dikembangkan oleh para pengembang — diimplementasikan di MediaPipe, kerangka kerja lintas-platform open source untuk pengembang yang ingin membangun jaringan pipa pemrosesan untuk menangani data persepsi. , seperti video dan audio.

Pendekatan ini dikatakan untuk menyediakan pelacakan tangan dan jari dengan kesetiaan tinggi melalui pembelajaran mesin, yang dapat menyimpulkan 21 'titik kunci' 3D dari satu tangan hanya dari satu frame.

“Sementara pendekatan mutakhir mengandalkan terutama pada lingkungan desktop yang kuat untuk inferensi, metode kami mencapai kinerja real-time pada ponsel, dan bahkan timbangan ke banyak tangan,” kata Bazarevsky dan Zhang dalam posting blog.

Google Research berharap metode pelacakan tangannya akan memicu di komunitas "kasus penggunaan kreatif, merangsang aplikasi baru dan jalan penelitian baru."

Bazarevsky dan Zhang menjelaskan bahwa ada tiga sistem utama yang berperan dalam metode pelacakan tangan mereka, model pendeteksi telapak tangan (disebut BlazePalm), model 'penunjuk tangan' yang mengembalikan keypoints tangan 3D dengan kesetiaan tinggi, dan pengenal isyarat yang mengklasifikasikan konfigurasi keypoint ke dalam satu set gerakan terpisah.

Berikut adalah beberapa bit yang menonjol, direbus dari posting blog lengkap:

Teknik BlazePalm disebut-sebut untuk mencapai presisi rata-rata 95,7% dalam deteksi telapak tangan, klaim para peneliti.
Model ini belajar representasi pose tangan internal yang konsisten dan kuat bahkan untuk tangan yang terlihat sebagian dan oklusi diri.
Saluran pipa yang ada mendukung penghitungan gerakan dari beberapa budaya, mis. Amerika, Eropa, dan Cina, dan berbagai tanda tangan termasuk "Jempol", kepalan tangan tertutup, "OK", "Rock", dan "Spiderman".
Google sedang membuka sumber pelacakan tangan dan pipa pengenalan gerakan dalam kerangka MediaPipe, disertai dengan skenario penggunaan dan kode sumber ujung-ke-ujung yang relevan.
Di masa depan, Bazarevsky dan Zhang mengatakan Google Research berencana untuk melanjutkan pekerjaan pelacakan tangannya dengan pelacakan yang lebih kuat dan stabil, dan juga berharap untuk memperbesar jumlah gerakan yang dapat dideteksi dengan andal. Selain itu, mereka berharap untuk juga mendukung gerakan dinamis, yang bisa menjadi keuntungan bagi terjemahan bahasa isyarat berbasis pembelajaran mesin dan kontrol gerakan tangan cair.

Tidak hanya itu, tetapi memiliki pelacakan tangan di perangkat yang lebih andal adalah keharusan bagi headset AR untuk bergerak maju; selama headset mengandalkan kamera yang menghadap ke luar untuk memvisualisasikan dunia, memahami bahwa dunia akan terus menjadi masalah bagi pembelajaran mesin untuk mengatasi.

 

Source

SUBSCRIBE NEWSLETTER
Copyright © 2020. SHINTA VR

PT. CITRA WAHANA TEKNOLOGI
Bizxpress Building
50, Jl. H. Agus Salim
Jakarta, 10340
021-27083399