IMPLEMENTASI CONV1D CNN & MEDIAPIPE PADA APLIKASI PENERJEMAH HAND SIGN MENJADI TEKS BERBASIS WEB

LADO, IVAN CHRISTIAN and Djunaidi, Karina and Rusjdi, Darma (2025) IMPLEMENTASI CONV1D CNN & MEDIAPIPE PADA APLIKASI PENERJEMAH HAND SIGN MENJADI TEKS BERBASIS WEB. Diploma thesis, ITPLN.

[thumbnail of 202131110_Ivan Christian Lado_Revisi_Skripsi_Ivan Christian Lado.pdf] Text
202131110_Ivan Christian Lado_Revisi_Skripsi_Ivan Christian Lado.pdf
Restricted to Registered users only

Download (6MB)

Abstract

Permasalahan utama yang diangkat adalah kesulitan komunikasi antara penyandang tunarungu dengan masyarakat umum akibat kurangnya alat bantu komunikasi yang praktis dan mudah diakses. Penelitian ini bertujuan untuk mengembangkan sistem penerjemah gestur tangan menjadi teks secara real-time berbasis web menggunakan teknologi Conv1D CNN dan MediaPipe. Metode penelitian menggunakan pendekatan CRISP-DM dengan dataset BISINDO yang terdiri dari lima kelas kata, yaitu “saya”, “minum”, “mendorong”, “menuangkan”, dan “menggambar”. Data landmark tangan diperoleh menggunakan MediaPipe Hands, lalu diklasifikasikan oleh model Conv1D CNN. Evaluasi dilakukan melalui cross-validation, classification report, confusion matrix, serta pengujian real-time pada aplikasi web. Hasil menunjukkan bahwa model memiliki rata-rata akurasi sebesar 94,44% pada data test dan mampu menerjemahkan gestur tangan secara real-time melalui kamera web. Kesimpulan yang didapatkan adalah integrasi Conv1D CNN dan MediaPipe efektif dalam membangun sistem penerjemah gestur tangan yang dapat diakses melalui browser tanpa instalasi tambahan. Sistem ini memberikan kontribusi nyata sebagai solusi teknologi inklusif untuk mendukung komunikasi yang lebih baik bagi penyandang tunarungu.

The main problem raised is the difficulty of communication between deaf people and the general public due to the lack of practical and accessible communication aids. This research aims to develop a web-based real-time hand gesture to text translator system using Conv1D CNN and MediaPipe technology. The research method uses the CRISP DM approach with the BISINDO dataset consisting of five word classes, namely “I”, “drink”, “push”, ‘pour’, and “draw”. Hand landmark data was obtained using MediaPipe Hands, and then classified by the Conv1D CNN model. Evaluation is done through cross-validation, classification report, confusion matrix, and real-time testing on web applications. The results show that the model has an average accuracy of 94.44% on test data and is able to translate hand gestures in real-time through a web camera. It is concluded that the integration of Conv1D CNN and MediaPipe is effective in building a hand gesture translator system that can be accessed through a browser without additional installation. This system makes a real contribution as an inclusive technology solution to support better communication for deaf people.

Item Type: Thesis (Diploma)
Uncontrolled Keywords: Gestur Tangan, Conv1D CNN, MediaPipe, Penerjemah, Real-time Hand Gesture, Conv1D CNN, MediaPipe, Translator, Real-time
Subjects: Skripsi
Bidang Keilmuan > Teknik Informatika
Divisions: Fakultas Telematika Energi > S1 Teknik Informatika
Depositing User: Sudarman
Date Deposited: 10 Oct 2025 06:24
Last Modified: 10 Oct 2025 06:24
URI: https://repository.itpln.ac.id/id/eprint/2046

Actions (login required)

View Item
View Item