Apa Itu Sistem IRT UTBK SNBT 2024 & Metode Penilaiannya?

tirto.id - Panitia SNPMB memutuskan untuk menerapkan Teori Respons Butir atau Item Response Theory (IRT) dalam ujian UTBK 2023 lalu, dan akan diterapkan pada 2024 mendatang.

SNPMB sendiri merupakan akronim dari Seleksi Nasional Penerimaan Mahasiswa Baru. Digelar setiap tahun dengan tujuan untuk menyaring siswa lulusan SMA/SMK sebelum masuk Perguruan Tinggi Negeri (PTN) melalui UTBK.

UTBK atau Ujian Tulis Berbasis Komputer dilaksanakan untuk memprediksi calon mahasiswa yang mampu menyelesaikan studi di perguruan tinggi dengan baik dan tepat waktu. Pelaksanaan UTBK sendiri fleksibel, lulusan SMA/SMK dapat memilih lokasi dan waktu tes.

BPPP Kemendikbud sendiri telah mengumumkan jadwal pelaksanaan SNPMB 2024, dalam Konferensi Pers, Jumat (8/12/2023). Sudah saatnya siswa dan guru mempersiapkan diri menghadapi ujian seleksi masuk perguruan tinggi tersebut.

Adapun digadang-gadang penilaian untuk UTBK 2024 masih menggunakan sistem IRT atau Item Response Theory, yang ditujukan untuk memperbaiki kelemahan dari sistem penilaian yang lama. Lantas bagaimana sistem IRT akan menilai hasil tes UTBK 2024 mendatang?

Artikel ini akan mengulas informasi terkait UTBK SNBT 2024, meliputi materi dan komponen soal, definisi IRT hingga metode penilaian sistem IRT atau IRT scoring untuk UTBK 2024 mendatang.

Materi dan Komponen Soal UTBK SNBT 2024

Dilansir laman resmi SNPMB, terdapat dua komponen dalam materi tes yang diujikan dalam UTBK SNPMB. Dua komponen tersebut meliputi Tes Potensi Skolastik (TPS) dan juga Tes Literasi, masing-masing komponen terdiri atas beberapa komponen.

Tes Potensi Skolastik terdiri atas materi Kemampuan Penalaran Umum, Pengetahuan dan Pemahaman Umum, Kemampuan Memahami Bacaan dan Menulis, serta Pengetahuan Kuantitatif. Adapun Komponen Penalaran Umum terdiri atas tiga sub-komponen yakni penalaran induktif, deduktif dan kuantitatif.

Dalam tes sub-komponen dari Kemampuan Penalaran Umum mendapatkan porsi soal sebanyak 10 soal per sub-komponen dengan waktu pekerjaan masing-masing 10 menit. Berikut adalah rincian pembagian porsi soal Tes Potensi Skolastik:

• Kemampuan Penalaran Umum (Penalaran Induktif 10 soal, 10 menit; Penalaran Deduktif 10 soal, 10 menit; Penalaran Kuantitatif 10 soal, 10 menit)
• Pengetahuan dan Pemahaman Umum terdiri dari 20 soal dengan waktu pengerjaan 15 menit.
• Kemampuan Memahami Bacaan dan Menulis terdiri dari 20 soal dengan waktu pengerjaan 25 menit
• Pengetahuan Kuantitatif terdiri dari 15 soal dengan waktu pengerjaan 20 menit.

TPS sendiri dirancang untuk menguji kemampuan berpikir dari calon mahasiswa baru dengan indikator pemahaman dan penalaran. Kemampuan ini umumnya dikembangkan dari proses belajar dan pengalaman-pengalaman di sekolah maupun di luar sekolah.

Tes Literasi terdiri atas Literasi dalam Bahasa Indonesia dan Bahasa Inggris, serta Penalaran Matematika. Sebagaimana julukannya, tes ini bertujuan untuk mengetahui kemampuan individu dalam mengolah informasi dan pengetahuan untuk kecakapan hidup.

Berikut adalah rincian pembagian porsi soal Tes Literasi dalam UTBK:

• Literasi dalam Bahasa Indonesia terdiri dari 30 soal, dengan waktu pengerjaan 45 menit
• Literasi dalam Bahasa Inggris terdiri dari 20 soal, dengan waktu pengerjaan 30 menit
• Penalaran Matematika terdiri dari 20 soal, dengan waktu pengerjaan 30 menit

Dalam mengerjakan Tes Literasi terdapat beberapa strategi kognitif yang penting untuk diperhatikan, dan menjadi tolok ukur keberhasilan seseorang dalam menyelesaikan soal. Dalam komponen soal Literasi dalam Bahasa penting untuk memperhatikan Kompetensi Kebahasaan dan Strategi Kognitif (Pengaktifan, Penyimpulan, Penemuan hal sesuai dan tidak sesuai, Pemahaman atas gagasan penting dalam bacaan).

Sementara untuk Penalaran Matematika terdapat tiga proses kognitif yang dilibatkan, antara lain Memformulasikan (formulate), Menggunakan/Menerapkan (employ), dan juga Menginterpretasikan (interpret).

Apa Itu Item Response Theory UTBK SNBT 2024?

Sebagaimana disebutkan, IRT merupakan sistem penilaian soal yang digunakan dalam UTBK 2023. Sebelumnya sistem ini juga telah digunakan dalam penilaian UTBK-SBMPTN tahun 2021 lalu.

IRT sendiri adalah akronim dari Item Response Theory, istilah ini digunakan untuk menggambarkan teori respons terhadap butir pertanyaan. Penerapan sistem penilaian IRT dalam tes bertujuan untuk mengatasi kelemahan yang terdapat pada sistem penilaian tradisional.

Berdasarkan artikel yang dipublikasikan dalam Jurnal Pendidikan dan Kebudayaan (Vol. 17, No 6, 2011) oleh Kementerian Pendidikan dan Kebudayaan, istilah lain untuk IRT meliputi Teori Ciri Laten (Latent Trait Theory/LTT) atau Lengkungan Karakteristik Butir (Item Characteristic Curve/ICC).

Adapun dalam artikel berjudul "Implementasi Teori Responsi Butir pada Penilaian Hasil Belajar Akhir di Sekolah" dijelaskan bahwa teori respons butir mengembangkan model yang menghubungkan parameter butir dengan kemampuan peserta tes.

Dengan demikian, setiap pertanyaan dalam teori respons butir harus direpresentasikan oleh satu Item Characteristic Curve atau ICC. ICC merupakan pernyataan matematika yang berkaitan dengan probabilitas keberhasilan peserta tes berdasarkan kemampuannya.

Sistem penilaian IRT memungkinkan penilaian yang tidak hanya dilihat dari jumlah soal yang terjawab, tetapi juga tingkat kesulitan masing-masing soal.

Jika seorang peserta ujian mampu menjawab pertanyaan yang sulit, maka skornya akan tinggi. Oleh karena itu, sistem penilaian IRT tidak hanya mempertimbangkan jumlah pertanyaan yang dijawab dengan benar atau salah, tetapi juga menilai tingkat kesulitan setiap pertanyaan.

Metode Penilaian Item Response Theory UTBK 2024

Menurut ulasan dalam Buku Saku Sejarah UTBK-SBMPTN 2021, sistem penilaian IRT memperhitungkan karakteristik masing-masing pertanyaan. Terutama tingkat kesulitan relatif dan sensitivitasnya dalam membedakan kemampuan peserta.

Singkatnya, IRT menilai pertanyaan berdasarkan tingkat kesulitannya. Lantas bagaimana metode penilaian IRT diterapkan dalam UTBK 2024?

Berdasarkan sumber yang sama dijelaskan bahwa metode penilaian Item Response Theory UTBK terdiri atas tiga tahapan, yakni antara lain:

1. Tahapan Pertama, jawaban benar berbobot skor satu poin untuk setiap soal, jawaban salah atau tidak dijawab diberi bobot skor nol poin. Artinya, tidak ada nilai minus untuk jawaban salah.
2. Tahapan kedua, dalam tahapan ini sistem IRT ditekankan, karakteristik dari setiap soal akan dianalisis, menilai tingkat kesulitan relatifnya dibanding soal yang lain. Selanjutnya, Tingkat kesulitan soal dapat diketahui berdasarkan pada pola respons jawaban dari peserta tes. Untuk kemudian diklasifikasikan menjadi kategori soal relatif mudah, sedang dan sulit.
3. Tahapan ketiga, penghitungan skor peserta dilakukan dengan memanfaatkan karakteristik tiap soal yang telah diketahui. Misalnya, Agus mampu menjawab 5 soal benar, soal nomor 3, 4, 6, 8 dan 9. Di sisi lain, Lili juga menjawab 5 soal benar namun di nomor berbeda yakni 5, 7, 8, 10, dan 12. Meski sama-sama menjawab 5 soal benar, terdapat kemungkinan bagi Agus dan Lili untuk memperoleh skor akhir yang berbeda, dilihat dari tingkat kesulitan soal. Sistem IRT membantu memberikan gambaran tentang kemampuan akademik dari setiap peserta ujian.