Model Object Detection Neural Network Berbasis Hand Gesture Recognition sebagai Kontrol Prostesis Tangan - Esa Darmayasa Adi Putra, I Made; Putra Arya Winata, I Made; Fauzi, Ilham; Krishna Prasad, Karuna Sindhu; Widhiada, I Wayan (Jurnal Teknologi Elektro; Vol 22 No 2 (2023): (Juli - Desember) Majalah Ilmiah Teknologi Elektro, 2023)
Penyandang disabilitas akibat cedera kecelakaan sebagian besar merupakan pasien pasca amputasi lengan yang dapat menyebabkan gangguan psikologis, bahkan trauma besar. Dengan demikian, urgensi fungsionalitas prostesis tangan semakin dibutuhkan. Hand gesture recognition (HGR) dapat dimanfaatkan sebagai kontrol prostesis tangan, meninjau dari kesamaan bentuk objek/benda memberikan kecenderungan terhadap gerakan tangan yang sama. Pengembangan ini menggunakan tiga jenis gerakan yang umum, yaitu pinch, pick, dan grab. Diperlukan pengembangan model neural network yang mampu mengimplementasikan konsep tersebut. Model neural network yang dikembangkan menggunakan pretrained network YOLOV7 dan YOLOV7tiny dengan dataset yang dikumpulkan melalui metode scrapping data gambar publik. Dataset yang diperoleh sejumlah 317 gambar, 2278 label objek dengan rasio training dengan testing 80:20. Proses training menggunakan framework Pytorch dengan 300 epoch. Hasil nilai loss tiap epoch menunjukkan model trainable pada dataset yang diberikan. Hasil training selanjutnya dievaluasi dengan evaluation metrics jumlah parameter, frame per seconds (FPS) dan mean average precision (mAP) menggunakan testing dataset. Hasil overall menunjukkan evaluation metrics tertinggi pada model dengan pretrained YOLOV7 dengan jumlah parameter 36,9 juta, FPS 161, dan mAP 98,11%. Dengan hasil ini, model memiliki potensi untuk dikembangkan dan diimplementasikan sebagai penunjang fungsionalitas kontrol prostesis tangan.