Rasch Model: Riset Kuantitatif

Home » Facets » Pelatihan software Facets untuk uji multirater di UNY

Pelatihan software Facets untuk uji multirater di UNY

Sehubungan dengan acara dinas untuk menghadiri acara dies natalis Universitas Negeri Yogyakarta ke-50, maka terdapat kesempatan untuk bisa diskusi dengan para alumni pelatihan rasch model sebelumnya yang pernah dilakukan di Yogyakarta. Bu Maryati, dosen FMIPA UNY beserta HIMA IPA ternyata menjadikan kesempatan ini menjadi bentuk pelatihan yang lebih formal yang saya kira tadinya adalah diskusi ngalor-ngidul tentang pengalaman dan suka-duka menggunakan pendekatan rasch model dalam penelitian yang mereka lakukan. Jadinya agak kaget juga saat melihat poster yang telah ditandai  muncul di facebook dengan menu pelatihan yang tidak hanya tentang rasch model, namun juga menampilkan proses pengujian inter-rater seperti di bawah ini:

facets_UNY

Pengujian inter-rater memang ciri khas lainnya dari teori respon butir dengan rasch modelnya. Gambaran sederhananya adalah, misal ada tiga orang guru yang menilai kualitas presentasi siswa, dimana jumlah siswa yang dinilai sebanyak 10 orang. Masing-masing penilai itu, katakanlah guru A, B dan C melihat tampilan persentasi dari tiap siswa.  Tiga orang guru penilai itu kemudian menggunakan  rubrik penilaian yang sudah disiapkan untuk menilai presentasi siswa, yang tidak lain adalah aitem-aitem penilaian (misalnya aspek yang dinilai adalah lima hal: materi presentasi, penyampaian ide secara jelas, menjalin komunikasi dengan audiens, berbicara secara lancar, dan penggunaan teknologi dalam presentasi; dimana nilai terendah adalah 1 dan tertinggi 5 untuk setiap aspek yang dinilai ). Hasil penilaian dari guru untuk siswa ke-1, maka ada lima nilai untuk masing-masing aitem yang diberikan dari tiap penilai seperti contohnya di bawah ini:

A1 memberikan nilai 3 4 3 4 4; B1 memberikan nilai 3 4 3 3 3; C1 memberikan nilai 5 5 5 5 5

A1 maksudnya adalah guru penilaia A memberikan penilaian untuk siswa ke-1, dengan deretan angka adalah nilai untuk masing-masing aspek penilaian tadi (demikian juga untuk B1 dan C1, bedanya pada guru penilai saja; B1 terlihat nilai yang sama sedangkan pada C1 nilai yang sempurna). Yang perlu diperhatikan adalah angka yang didapatkan dari masing-masing penilai adalah jenis data ordinal dan bukanlah bilangan bulat yang bisa dilakukan operasi aritmatika seperti biasanya.

Bila hanya satu orang guru saja yang memberikan penilaian pada 10 orang siswa maka kita mempunyai dua facet, yaitu facet kesatu adalah siswa (person), dan facet kedua adalah hasil penilaian pada aitem. Dua facet ini tentu bisa dianalisis untuk mengetahui misalnya mana siswa yang mempunyai prestasi presentasi yang paling baik (person ability); saat yang sama juga kita bisa melakukan analisis untuk mengetahui aitem mana yang mempunyai bobot penilaian yang sulit (mendapatkan nilai yang susah dicapai), ataupun aitem yang mudah. Gabungan penilaian person dan aitem dengan rasch model ini dapat menggunakan software Winsteps, yang akan memberikan informasi mengenai logit siswa (makin tinggi nilai logit person maka menunjukkan abilitas responden  makin tinggi); demikian juga logit untuk aitem yang dapat mengetahui mana aitem yang mudah dan aitem yang susah. Saat yang sama Winsteps  juga bisa memberikan informasi tentang person atau aitem yang misfit, yang menunjukkan pola jawaban atau respon yang tidak konsisten dibanding keseluruhan data yang diolah.

Namun, bagaimana bila yang melakukan penilaian tersebut lebih dari satu orang guru? dalam kasus yang diberikan adalah tiga orang guru. Artinya facet-nya ada tiga, yaitu: 1)  facet siswa yang dinilai; 2) facet aitem penilaian; dan 3) facet guru penilai. Artinya analisis menjadi lebih kompleks. Bila kita ingin bertanya, mana penilai yang paling konsisten memberikan penilaian (fair), maka alat analisis lain akan kesulitan untuk memberikan jawabannya, namun rasch model memberikan kerangka analisis yang bisa memberikan hasil analisis untuk masing-masing facet tadi.   Inter-rater analysis secara langsung akan memberikan jawaban tentang abilitas person (orang yang diuji), tingkat kesulitan dari masing-masing aitem, dan juga logit untuk masing-masing penilai (rater).  Bila dengan dua facet kita bisa melakukan analisis mana aitem dan person misfit (artinya menunjukkan pola respon yang tidak konsisten), dengan tiga facet kita juga bisa mendapatkan informasi mana rater yang pilih kasih, mana rater yang seenaknya memberikan nilai, ataupun mana rater yang jujur-adil; saat yang sama konsistensi hasil yang diberikan akan menunjukkan berapa nilai yang sebenarnya layak diberikan oleh rater si A terhadap siswa nomor 5, pada aitem ke-2 dan ke-5 misalnya (dimana kemungkinan nilai yang didapat bisa jadi lebih kecil atau terlalu besar). Hal ini menunjukkan pola analisis yang unik yang bisa menguji kualitas penilai, dengan kata lain tidak ada lagi kebohongan yang disembunyikan, karena data yang ada akan menunjukkan kualitas penilai, kualitas yang dinilai dan kualitas aitem yang digunakan secara bersamaan.

Pelatihan yang dilakukan di UNY untuk babak ke-2 ini pesertanya tidak banyak, hanya 17 orang yang diselenggarakan di ruang seminar FMIPA UNY. Namun yang menggairahkan adalah yang hadir berasal dari berbagai universitas, mayoritas dari UNY (fakultas MIPA, Teknik, ada juga dari fakultas Olahraga), terdapat juga peserta dari fakultas psikologi UGM, dari psikologi Universitas Ahmad Dahlan Yogya, malah ada yang khusus datang dari Fakultas Psikologi Undip, Semarang.  Ternyata sebagian kecil peserta ada yang belum pernah mengikuti pelatihan rasch model, sehingga mau tidak mau konsep tentang pengukuran, transformasi data dan pembuatan skala perlu juga dibahas supaya tidak makin membuat bingung.

Langkah selanjutnya tentu menjelaskan tentang analisis inter-rater ini. Saya kira ini akan rada berat untuk dipahami. Namun peserta bisa mudah menangkap ide dasarnya, berhubung kebanyakan adalah staf pengajar (dosen dan guru), maka berbagai contoh inter rater saling dikemukakan yang menunjukkan mereka memahami ide dasarnya. Ada yang menyebut tentang ujian skripsi, dimana tiga sampai lima orang dosen penguji memberikan penilaian pada skripsi dan presentasi mahasiswa; ada yang menjelaskan penilaian karangan tulisan siswa oleh beberapa guru dalam satu ujian tulis; juga contoh lain dalam olah raga misalnya penilaian hasil loncat indah oleh atlet yang dinilai oleh tiga orang juri misalnya.

Hal berikutnya adalah menjelaskan bagaimana input data dilakukan dan formatnya. Software yang digunakan untuk data entry sama seperti yang biasa saya ajarkan dalam menggunakan Winsteps, yaitu menggunakan paket program spreadsheet Microsoft Excel. Bedanya dengan Winsteps, maka format file yang digunakan dalam menyimpan data adalah CSV (comma delimited), bukannya yang PRN (formatted text space delimited). Penjelasan tentang hal ini memang mudah ditangkap dan dipraktekkan.

Yang berikutnya adalah program untuk analisis inter-rater, tidak menggunakan Winsteps yang memang maksimal hanya bisa analisis untuk dua facet saja; namun menggunakan Facets yang bisa analisis untuk lebih dari dua facet. Perbedaan selanjutnya, tidak seperti Winsteps yang berdasar drop-down menu yang  memudahkan pengguna untuk memilih jenis analisis apa yang dikehendaki; Facets sistem perintahnya menggunakan coding (pembuatan program) untuk setiap kasus yang dianalisis. Artinya mulai dari berbagai perintah harus ditulis dalam file tersendiri dalam format TXT (atau PRN), yang berisi perintah inisiasi program, jenis analisis yang dilakukan, sampai kepada penjelasan data-data yang digunakan; semua dirangkum dalam coding yang dibuat. Bila ini sudah dilakukan, maka berikutnya adalah tinggal menggeser aikon file yang berisi coding tersebut untuk dimasukkan ke dalam program Facets, tekan enter dan hasilnya langsung terpampang untuk diinterpretasi.

Pada saat menjelaskan hal di atas, dari peserta yang hadir, ternyata hanya satu orang saja yang punya pengalaman membuat program (coding), dimana dia pernah menggunakan bahasa pemrograman C+. Bagi yang lain tentu agak sukar berimajinasi bagaimana membuat program berdasar bahasa pemrograman. Namun untuk memudahkan saya sudah menyiapkan satu contoh coding yang bersifat dasar dan menyeluruh untuk satu analisis. Tentu disertai penjelasan dengan bahasa Indonesia untuk memudahkan pemahaman yang membacanya.

Bagian yang menarik adalah  saat menampilkan hasil analisis Facets. Dimana peta person-aitem dalam Facets ditambah satu dengan kehadiran rater, sehingga semua facet ditampilkan dengan lengkap, yaitu peta person-aitem-rater. Peserta langsung dapat menginterpretasi secara langsung dimana abilitas masing-masing yang dinilai, lokasi tingkat kesulitan aiten, dan juga mana rater yang pelit nilai dan mana rater yang terlalu bermurah hati memberikan nilai.

Hal berikutnya saat melihat hasil analisis Facets yang membuat peserta heran dan sekaligus gembira adalah untuk mengetahui rater mana yang terlalu pelit memberikan nilai pada peserta tertentu, juga rater mana yang terlalu mudah memberikan nilai; juga disebutkan pada aitem mana ketidaksesuaian nilai itu terjadi. Secara langsung peserta dapat tahu seperti apa riset yang bisa mereka lakukan dengan menerapkan hal ini di bidangnya masing-masing. Malah saya juga menambahkan, kalau bisa jadi lah yang pertama melakukannya di Indonesia untuk dimunculkan di tesis atau disertasinya, karena memang pola analisisnya tidak begitu dikenal di akademisi kita dan sekaligus akan menjadi rujukan bagi yang lain.

20140523_142255  20140523_170225

peserta pelatihan Facets sedang mengisi kuesioner latihan (kiri); foto bersama setelah pelatihan (kanan)

 

 

 


Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / Change )

Twitter picture

You are commenting using your Twitter account. Log Out / Change )

Facebook photo

You are commenting using your Facebook account. Log Out / Change )

Google+ photo

You are commenting using your Google+ account. Log Out / Change )

Connecting to %s

%d bloggers like this: