Sistem Penilaian Jawaban Singkat Otomatis pada Ujian Online Berbasis Komputer Menggunakan Algoritma Cosine Similarity

Dedy Kurniadi, Rahmat Gernowo, Bayu Surarso, Adi Wibowo, Budi Warsito

Abstract


Penggunaan teknologi di bidang pendidikan sekarang ini sedang trending ke arah penilaian secara otomatis, namun penilaian secara otomatis ini memiliki permasalahan yaitu belum bisa mengkoreksi jawaban teks singkat secara otomatis, selain itu pada saat ini juga belum tersedia platform yang bisa mengkoreksi jawaban singkat secara otomatis, penilaian jawaban teks singkat ini membutuhkan waktu koreksi yang lama dan hasil penilaian yang tidak konsisten jika koreksi dilakukan oleh manusia, pada penelitian ini diusulkan sistem yang mampu mengkoreksi ujian peserta didik pada bagian jawaban singkat secara otomatis atau disebut dengan Automated Short Answer Grading (ASAG) dengan menggunakan metode cosine similarity, tahapan yang dilakukan adalah melakukan ekstraksi pada dua variabel inputan yaitu teks pada jawaban peserta didik dan teks pada kunci jawaban yang dilakukan dengan ekstraksi teks casefolding, tokenizing, stopword removal, setelah tahapan tersebut dilakukan kemudian dihitung nilai similarity antara kunci jawaban ujian dengan jawaban peserta didik apakah jawaban peserta didik sama dengan kunci jawaban atau tidak, dengan menggunakan skor yang dinilai otomatis menggunakan sistem, dihasilkan similarity antara jawaban peserta didik dengan kunci jawaban rata-rata sebesar 85,4%, untuk menguji korelasi koreksi jawaban peserta didik dengan sistem dan koreksi yang dilakukan oleh manusia maka dilakukan uji korelasi antara hasil penilian yang dilakukan oleh sistem dengan hasil penilaian yang dilakukan oleh manusia (instruktur) dengan menggunakan kendall’s w value menghasilkan nilai w antara instruktur 1 dengan sistem sebesar 0,885 dan instruktur 2 dengan sistem sebesar 0,883 dengan nilai chi square sebesar 135,4 dan 133,8 dengan p sebesar 0,0001, hasil tersebut menunjukkan ASAG memiliki korelasi yang tinggi dan sistem ASAG ini bisa melakukan penilaian secara otomatis.


Keywords


ASAG; Cosine Similarity; Education; Casefolding; Tokenizing; Stopword Removal

Full Text:

PDF

References


A. Magooda, M. A. Zahran, M. Rashwan, H. Raafat, and M. B. Fayek, “Vector Based Techniques for Short Answer Grading.” [Online]. Available: http://nlp.stanford.edu/software/corenlp.shtml

Y. Huang and J. Wilson, “Using automated feedback to develop writing proficiency,” Comput Compos, vol. 62, Dec. 2021, doi: 10.1016/j.compcom.2021.102675.

R. Correnti, L. C. Matsumura, E. L. Wang, D. Litman, and H. Zhang, “Building a validity argument for an automated writing evaluation system (eRevise) as a formative assessment,” Computers and Education Open, vol. 3, p. 100084, Dec. 2022, doi: 10.1016/j.caeo.2022.100084.

K. H. Sung, E. H. Noh, and K. H. Chon, “Multivariate generalizability analysis of automated scoring for short answer items of social studies in large-scale assessment,” Asia Pacific Education Review, vol. 18, no. 3, pp. 425–437, Sep. 2017, doi: 10.1007/s12564-017-9498-1.

A. Mizumoto and M. Eguchi, “Exploring the potential of using an AI language model for automated essay scoring,” Research Methods in Applied Linguistics, vol. 2, no. 2, p. 100050, Aug. 2023, doi: 10.1016/j.rmal.2023.100050.

J. Jacobs, K. Scornavacco, C. Harty, A. Suresh, V. Lai, and T. Sumner, “Promoting rich discussions in mathematics classrooms: Using personalized, automated feedback to support reflection and instructional change,” Teach Teach Educ, vol. 112, Apr. 2022, doi: 10.1016/j.tate.2022.103631.

Y. Vo, H. Rickels, C. Welch, and S. Dunbar, “Human scoring versus automated scoring for english learners in a statewide evidence-based writing assessment,” Assessing Writing, vol. 56, p. 100719, Apr. 2023, doi: 10.1016/j.asw.2023.100719.

M. Beseiso, O. A. Alzubi, and H. Rashaideh, “A novel automated essay scoring approach for reliable higher educational assessments,” J Comput High Educ, vol. 33, no. 3, pp. 727–746, Dec. 2021, doi: 10.1007/s12528-021-09283-1.

Y. Zhang, C. Lin, and M. Chi, “Going deeper: Automatic short-answer grading by combining student and question models,” User Model User-adapt Interact, vol. 30, no. 1, pp. 51–80, Mar. 2020, doi: 10.1007/s11257-019-09251-6.

B. Das, M. Majumder, A. A. Sekh, and S. Phadikar, “Automatic question generation and answer assessment for subjective examination,” Cogn Syst Res, vol. 72, pp. 14–22, Mar. 2022, doi: 10.1016/j.cogsys.2021.11.002.

O. Nael, Y. ELmanyalawy, and N. Sharaf, “AraScore: A deep learning-based system for Arabic short answer scoring,” Array, vol. 13, Mar. 2022, doi: 10.1016/j.array.2021.100109.

A. Elnaka, O. Nael, H. Afifi, and N. Sharaf, “AraScore: Investigating Response-Based Arabic Short Answer Scoring,” in Procedia CIRP, Elsevier B.V., 2021, pp. 282–291. doi: 10.1016/j.procs.2021.05.091.

G. Liang, B. W. On, D. Jeong, H. C. Kim, and G. S. Choi, “Automated essay scoring: A siamese bidirectional LSTM neural network architecture,” Symmetry (Basel), vol. 10, no. 12, Dec. 2018, doi: 10.3390/sym10120682.

R. A. Sottilare, R. S. Baker, A. C. Graesser, and J. C. Lester, “Special Issue on the Generalized Intelligent Framework for Tutoring (GIFT): Creating a Stable and Flexible Platform for Innovations in AIED Research,” International Journal of Artificial Intelligence in Education, vol. 28, no. 2. Springer New York LLC, pp. 139–151, Jun. 01, 2018. doi: 10.1007/s40593-017-0149-9.

N. Birla, M. Kumar Jain, and A. Panwar, “Automated assessment of subjective assignments: A hybrid approach,” Expert Syst Appl, vol. 203, Oct. 2022, doi: 10.1016/j.eswa.2022.117315.

L. Zhang, Y. Huang, X. Yang, S. Yu, and F. Zhuang, “An automatic short-answer grading model for semi-open-ended questions,” Interactive Learning Environments, vol. 30, no. 1, pp. 177–190, 2019, doi: 10.1080/10494820.2019.1648300.

M. Beseiso and S. Alzahrani, “An Empirical Analysis of BERT Embedding for Automated Essay Scoring,” 2020. [Online]. Available: www.ijacsa.thesai.org

D. Ramesh and S. K. Sanampudi, “An automated essay scoring systems: a systematic literature review,” Artif Intell Rev, vol. 55, no. 3, pp. 2495–2527, Mar. 2022, doi: 10.1007/s10462-021-10068-2.

O. L. Liu, J. A. Rios, M. Heilman, L. Gerard, and M. C. Linn, “Validation of automated scoring of science assessments,” J Res Sci Teach, vol. 53, no. 2, pp. 215–233, Feb. 2016, doi: 10.1002/tea.21299.




DOI: http://dx.doi.org/10.26418/jp.v9i2.66934

Refbacks

  • There are currently no refbacks.