Pendahuluan
Transformasi digital di bidang pendidikan tidak lagi hanya berbicara mengenai Learning Management System, pembelajaran daring, atau digitalisasi dokumen. Perkembangan Artificial Intelligence (AI) dan Natural Language Processing (NLP) mulai membuka peluang untuk menganalisis komponen pembelajaran yang selama ini sangat bergantung pada penilaian manusia.
Salah satu persoalan menarik adalah bagaimana memastikan bahwa Capaian Pembelajaran Mata Kuliah (CPMK) telah dirumuskan pada tingkat kemampuan kognitif yang tepat. Dalam pendekatan Outcome-Based Education (OBE), CPMK bukan sekadar kalimat administratif. CPMK menjadi acuan dalam menentukan materi, aktivitas pembelajaran, hingga instrumen asesmen yang digunakan untuk mengukur ketercapaian mahasiswa.
Permasalahannya, menentukan apakah sebuah learning outcome berada pada level Remember, Understand, Apply, Analyze, Evaluate, atau Create berdasarkan Revised Bloom’s Taxonomy tidak selalu mudah. Interpretasi dosen atau penyusun kurikulum dapat berbeda.
Persoalan inilah yang diteliti oleh Omaima Almatrafi dan Aditya Johri melalui artikel berjudul “Leveraging Generative AI for Course Learning Outcome Categorization Using Bloom’s Taxonomy” yang diterbitkan pada tahun 2025 dalam jurnal Computers and Education: Artificial Intelligence, Volume 8, artikel 100404.
Apa yang Diteliti?
Penelitian Almatrafi dan Johri mencoba menjawab pertanyaan yang cukup relevan dengan perkembangan AI saat ini:
Apakah Generative AI dapat digunakan untuk mengklasifikasikan learning outcome berdasarkan level kognitif Taksonomi Bloom?
Penelitian ini menggunakan 1.000 learning outcomes yang telah diberi anotasi sebagai dataset. Dengan demikian, setiap learning outcome sebelumnya telah memiliki label tingkat kognitif yang kemudian digunakan sebagai ground truth untuk mengevaluasi hasil klasifikasi AI.
Enam tingkatan Revised Bloom’s Taxonomy yang menjadi dasar klasifikasi adalah:
- Remember — mengingat informasi;
- Understand — memahami konsep;
- Apply — menerapkan konsep;
- Analyze — menganalisis hubungan atau struktur;
- Evaluate — melakukan evaluasi berdasarkan kriteria tertentu; dan
- Create — menghasilkan atau merancang sesuatu yang baru.
Hal yang menarik adalah penelitian ini tidak hanya meminta GPT-4 mengklasifikasikan teks menggunakan satu perintah sederhana. Para peneliti membandingkan beberapa pendekatan prompt engineering, antara lain zero-shot, few-shot, chain-of-thought, rhetorical situation, serta pendekatan multiple binary questions.
Artinya, penelitian ini sekaligus memperlihatkan bahwa kualitas penggunaan Large Language Model tidak hanya ditentukan oleh model yang digunakan, tetapi juga oleh bagaimana instruksi kepada model tersebut dirancang.
GPT-4 vs BERT: Mana yang Lebih Baik?
Inilah salah satu bagian paling menarik dari penelitian tersebut.
Kinerja GPT-4 tidak hanya dibandingkan antarstrategi prompting, tetapi juga dibandingkan dengan model BERT yang telah melalui proses fine-tuning untuk tugas klasifikasi.
Evaluasi dilakukan menggunakan beberapa ukuran performa klasifikasi, yaitu accuracy, F1-score, dan Cohen’s Kappa. Penggunaan Cohen’s Kappa penting karena metrik ini tidak sekadar melihat berapa banyak prediksi yang benar, tetapi juga mengukur tingkat kesepakatan antara klasifikasi yang dihasilkan model dan anotasi referensi dengan memperhitungkan kemungkinan kesepakatan yang terjadi secara kebetulan.
Hasil penelitian menunjukkan sesuatu yang cukup menarik: fine-tuned BERT masih memberikan performa klasifikasi yang lebih baik dibandingkan pendekatan berbasis prompting GPT-4. Namun, GPT-4 tetap mampu menghasilkan tingkat kesepakatan moderat hingga substansial terhadap anotasi ahli.
Temuan tersebut penting karena menunjukkan bahwa model generatif yang sangat besar dan serbaguna tidak otomatis selalu lebih baik dibandingkan model yang secara khusus dilatih untuk suatu tugas.
Dalam kasus klasifikasi level kognitif, specialized model seperti BERT yang di-fine-tuning masih mempunyai keunggulan.
Prompt yang Tepat Ternyata Sangat Berpengaruh
Temuan lain yang menurut saya sangat menarik adalah pengaruh desain prompt.
Pendekatan yang memberikan konteks retoris dan pengetahuan spesifik domain menghasilkan performa terbaik di antara strategi prompting yang diuji pada GPT-4. Sebaliknya, pendekatan multiple binary questions justru menghasilkan performa yang lebih rendah, bahkan dibandingkan dengan pendekatan zero-shot.
Hal ini menunjukkan bahwa penggunaan AI tidak dapat dipisahkan dari persoalan context engineering.
Memberikan perintah:
“Tentukan level Bloom dari CPMK berikut.”
tentu berbeda dengan memberikan konteks mengenai mata kuliah, karakteristik mahasiswa, kompetensi yang ingin dicapai, definisi setiap level Bloom, serta kriteria yang membedakan satu level kognitif dengan level lainnya.
Bagi mahasiswa bidang Informatika atau Data Science, temuan ini juga memberikan pelajaran penting: hasil sebuah model AI tidak hanya bergantung pada algoritma, tetapi juga pada representasi data, konteks, dan desain interaksi dengan model.
Mengapa Penelitian Ini Penting untuk Implementasi OBE?
Dalam Outcome-Based Education, hubungan antara capaian pembelajaran dan asesmen menjadi salah satu komponen utama.
Idealnya terdapat alur yang konsisten:
CPL → CPMK → Sub-CPMK → aktivitas pembelajaran → instrumen asesmen → hasil asesmen.
Permasalahan terjadi ketika CPMK mengharapkan kemampuan pada level Analyze (C4), tetapi instrumen penilaiannya hanya meminta mahasiswa mengingat atau menjelaskan konsep pada level C1–C2.
Secara administratif dokumen pembelajaran mungkin lengkap, tetapi secara pedagogis terjadi misalignment antara kompetensi yang ditargetkan dan kompetensi yang benar-benar diukur.
Dalam konteks tersebut, kemampuan NLP untuk mengidentifikasi level kognitif secara otomatis dapat dikembangkan menjadi sebuah sistem pendukung audit pembelajaran.
Daripada seluruh CPMK dan instrumen asesmen diperiksa secara manual, sistem AI dapat melakukan analisis awal dan memberikan rekomendasi kepada dosen atau pengelola program studi.
Dari Klasifikasi Bloom Menuju Semantic Similarity
Di sinilah penelitian Almatrafi dan Johri menjadi sangat relevan dengan topik penelitian yang sedang saya pelajari.
Penelitian tersebut terutama berfokus pada pertanyaan:
“CPMK ini berada pada level kognitif Bloom yang mana?”
Namun terdapat pertanyaan berikutnya yang tidak kalah penting:
“Apakah soal, tugas, proyek, praktikum, UTS, atau UAS yang diberikan benar-benar mengukur kompetensi yang tertulis pada CPMK?”
Dua buah teks bisa berada pada level Bloom yang sama, tetapi memiliki makna yang berbeda.
Sebagai contoh:
CPMK:
“Mahasiswa mampu menganalisis performa algoritma klasifikasi pada dataset berukuran besar.”
Instrumen asesmen:
“Analisislah penyebab terjadinya pencemaran udara di wilayah perkotaan.”
Kedua kalimat sama-sama menggunakan kata kerja menganalisis dan kemungkinan dapat ditempatkan pada level C4 – Analyze. Akan tetapi, secara semantik keduanya jelas tidak mengukur kompetensi yang sama.
Karena itu, klasifikasi Bloom saja belum cukup.
Diperlukan pendekatan kedua berupa semantic similarity untuk mengetahui seberapa dekat makna antara CPMK dengan instrumen asesmen.
Model berbasis Transformer seperti BERT atau Sentence-BERT memungkinkan sebuah kalimat direpresentasikan menjadi embedding vector. Kedekatan dua representasi tersebut selanjutnya dapat dihitung, misalnya menggunakan cosine similarity.
Secara konseptual, audit asesmen kemudian dapat memiliki dua dimensi:
Cognitive Alignment + Semantic Alignment → Assessment Alignment
Pendekatan seperti ini berpotensi memberikan gambaran yang lebih komprehensif dibandingkan pemeriksaan kata kerja operasional secara manual.
Kelebihan Penelitian
Menurut saya, terdapat beberapa kekuatan utama dari penelitian Almatrafi dan Johri.
Pertama, penelitian tidak sekadar menunjukkan bahwa “GPT dapat digunakan dalam pendidikan”, tetapi melakukan evaluasi empiris terhadap 1.000 learning outcomes dan membandingkan beberapa metode prompting.
Kedua, penelitian menggunakan beberapa metrik evaluasi seperti accuracy, F1-score, dan Cohen’s Kappa sehingga performa sistem tidak dinilai hanya berdasarkan satu ukuran.
Ketiga, keberadaan fine-tuned BERT sebagai pembanding membuat penelitian lebih menarik karena menunjukkan perbandingan antara pendekatan task-specific model dan general-purpose generative model.
Keempat, penelitian mempunyai implikasi praktis yang jelas untuk pengembangan kurikulum, OBE, evaluasi pembelajaran, dan sistem informasi pendidikan.
Catatan Kritis dan Peluang Penelitian Berikutnya
Walaupun menarik, menurut saya masih terdapat ruang pengembangan.
Penelitian ini berfokus pada klasifikasi learning outcome berdasarkan level Bloom. Padahal audit pembelajaran tidak berhenti pada menentukan apakah sebuah CPMK berada pada C2, C3, C4, atau level lainnya.
Yang juga perlu diketahui adalah hubungan antara:
CPMK ↔ soal ujian ↔ tugas ↔ proyek ↔ praktikum ↔ rubrik penilaian.
Di sinilah metode semantic similarity dapat menjadi pelengkap.
Selain itu, penggunaan data berbahasa Indonesia juga menjadi tantangan tersendiri. Model yang bekerja baik pada teks bahasa Inggris belum tentu memberikan performa yang sama terhadap kalimat CPMK dan soal dalam bahasa Indonesia.
Karena itu, penggunaan model seperti IndoBERT, multilingual Sentence-BERT, maupun sentence embedding lain yang mendukung Bahasa Indonesia layak dieksplorasi lebih lanjut.
Hal lain yang menarik adalah kebutuhan akan explainability. Sistem audit pendidikan sebaiknya tidak hanya menghasilkan:
“Similarity = 0,74.”
Sistem seharusnya mampu memberikan interpretasi yang dapat dipahami pengguna, misalnya:
“Secara semantik instrumen sesuai dengan CPMK, tetapi tingkat kognitif instrumen berada pada C2 sedangkan CPMK menargetkan C4.”
Output seperti ini jauh lebih berguna bagi dosen dan program studi karena AI berfungsi sebagai decision-support system, bukan sebagai pengganti keputusan akademik manusia.
Hubungannya dengan Big Data dan Data Visualization
Walaupun objek penelitian ini berupa teks pendidikan, prosesnya tetap berkaitan erat dengan pengolahan data.
Jika diterapkan pada tingkat program studi atau universitas, sistem dapat memproses ribuan CPMK, Sub-CPMK, soal, tugas, rubrik, dan hasil asesmen dari berbagai mata kuliah.
Hasil analisis tersebut kemudian dapat divisualisasikan dalam bentuk dashboard seperti heatmap kesesuaian CPMK–asesmen, distribusi level Bloom, persentase assessment alignment per mata kuliah, serta daftar instrumen yang memerlukan review.
Dengan demikian, NLP menghasilkan informasi dari data teks, sedangkan data visualization membantu mengubah hasil analisis tersebut menjadi insight yang lebih mudah digunakan dalam pengambilan keputusan.
Kesimpulan
Artikel Almatrafi dan Johri memberikan bukti bahwa AI mempunyai potensi nyata untuk membantu klasifikasi learning outcome berdasarkan Revised Bloom’s Taxonomy.
Salah satu temuan penting penelitian ini adalah bahwa fine-tuned BERT masih dapat mengungguli GPT-4 berbasis prompting dalam tugas klasifikasi spesifik, sekaligus menunjukkan bahwa kualitas prompt sangat memengaruhi performa Large Language Model.
Bagi saya, hal paling menarik justru terletak pada peluang pengembangan setelah penelitian ini.
Klasifikasi Bloom dapat menjawab “seberapa tinggi tuntutan kognitif suatu CPMK atau soal?”, sedangkan semantic similarity dapat membantu menjawab “apakah keduanya membicarakan kompetensi yang sama?”
Jika kedua pendekatan tersebut digabungkan, kita dapat membangun sistem audit asesmen berbasis NLP yang tidak sekadar membaca kata kerja operasional, tetapi juga memahami konteks dan makna.
Pada akhirnya, AI dalam pendidikan seharusnya bukan digunakan untuk menggantikan peran dosen dalam menentukan kualitas pembelajaran. Teknologi justru dapat menjadi alat bantu untuk membuat proses evaluasi kurikulum menjadi lebih sistematis, terukur, konsisten, dan berbasis data.
Referensi Utama
Almatrafi, O., & Johri, A. (2025). Leveraging generative AI for course learning outcome categorization using Bloom’s taxonomy. Computers and Education: Artificial Intelligence, 8, 100404. DOI: 10.1016/j.caeai.2025.100404.