Identifikasi emosi merupakan elemen penting dalam mendukung efektivitas layanan konseling, terutama pada konseling sebaya di lingkungan pendidikan. Namun, proses ini masih banyak bergantung pada pengamatan langsung dan percakapan, yang rentan terhadap bias dan kesalahpahaman, khususnya dalam komunikasi tidak langsung. Penelitian ini bertujuan untuk merancang dan menguji model klasifikasi emosi berbasis Convolutional Neural Network (CNN) dengan arsitektur VGG19, yang memanfaatkan dua jenis data input yaitu ekspresi wajah dan intonasi suara. Model dibangun menggunakan pendekatan transfer learning dengan pre-trained weights dari ImageNet untuk mengatasi keterbatasan data pelatihan. Hasil penelitian menunjukkan bahwa integrasi dua input data dapat meningkatkan akurasi identifikasi emosi, meskipun model citra wajah mengalami overfitting akibat keterbatasan data, seperti ukuran gambar rendah dan format grayscale. Model suara menunjukkan performa yang sangat baik dengan akurasi hingga 99%, sementara model citra hanya mencapai akurasi 30–60%. Evaluasi lebih lanjut menunjukkan bahwa kesamaan visual antar emosi serta kualitas data berkontribusi besar terhadap menurunnya performa model citra. Dengan demikian, pendekatan multi modal menggunakan kombinasi wajah dan suara memiliki potensi besar untuk meningkatkan akurasi klasifikasi emosi secara objektif dalam konteks konseling sebaya, namun perlu diimbangi dengan kualitas data yang memadai.

Emotion identification is an important element in supporting the effectiveness of counseling services, especially peer counseling in educational settings. However, this process still relies heavily on direct observation and conversation, which are prone to bias and misunderstanding, especially in indirect communication. This study aims to design and test an emotion classification model based on a Convolutional Neural Network (CNN) with a VGG19 architecture, utilizing two types of input data: facial expressions and voice intonation. The model was built using a transfer learning approach with pre-trained weights from ImageNet to address the limitations of training data. The results show that integrating two data inputs can improve emotion identification accuracy, although the facial image model experiences overfitting due to data limitations, such as low image size and grayscale format. The voice model demonstrates excellent performance with accuracy up to 99%, while the image model only achieves 30–60% accuracy. Further evaluation shows that visual similarities between emotions and data quality significantly contribute to the decline in image model performance. Thus, the multimodal approach using a combination of face and voice has great potential to improve the accuracy of objective emotion classification in the context of peer counseling, but it must be balanced with adequate data quality.