Rasch Model: Riset Kuantitatif

Home » Pelatihan Rasch Model » Roadshow Pelatihan Rasch Model di berbagai universitas-1

Roadshow Pelatihan Rasch Model di berbagai universitas-1

Pada awal tahun 2014 ini, tepatnya setelah mengikuti konferensi ICSEI 2014 (International Congress for School Effectiveness and Improvement) di Yogyakarta dimana tuan rumahnya adalah Universitas Negeri Yogyakarta (UNY), mendapat satu kesempatan untuk berbagi tentang Rasch model.  Yang mengundang adalah mahasiswa dari Fakultas Teknik UNY, khususnya mereka yang akan melakukan riset dan membuat skripsi. Undangan ini tentu kesempatan langka, dimana Teori Respon Butir (item response theory) dan Pengukuran Pemodelan Rasch (rasch model measurement) tidak begitu dikenal, malah mungkin aneh ditengah begitu digjayanya pendekatan teori tes klasik (classical test theory) di Indonesia dalam  berbagai bidang ilmu sosial.

Seri tulisan ini menjelaskan berbagai pengalaman yang didapat dalam roadshow pelatihan Rasch Model di berbagai universitas di Indonesia yang dilakukan antara Januari sampai awal April 2014. Dimana pelatihan di FT UNY ini sebagai perdana-nya.

Tujuan utama memang mempopulerkan Rasch Model sebagai alat yang dapat membantu menganalisis instrumen, sesuatu yang sangat esensial dalam riset kuantitatif. Tanpa memiliki informasi tentang kualitas instrumen, maka hasil riset kuantitatif yang dilakukan akan disangsikan terhadap data yang didapat, serta tentu kualitas temuannya, alias ngak bunyi. Saat yang sama juga tentu adalah promosi buku Rasch Model, yang merupakan buku teks pertama dan satu-satunya tentang hal itu dalam Bahasa Indonesia, artinya sambil memberikan pelatihan juga jualan buku. Hal lain yang strategis adalah mengenal dan membangun jaringan dengan sesama akademisi di berbagai universitas di Indonesia, aset yang akan berguna bagi masa depan. Berbagai kegiatan pelatihan ini bisa terlaksana juga berkat jaringan yang telah dimiliki, baik melalui teman lama di SMA dan tempat kerja sebelumnya, teman yang pernah kenal saat studi di Australia dan New Zealand, teman chating di facebook, mahasiswa yang  pernah dibimbing secara elektronik, maupun yang mengontak setelah melihat aktivitas pelatihan di universitas lain.

Pelatihan Rasch Model yang ideal memang dilaksanakan selama dua hari penuh. Hal ini karena menyampaikan informasi yang mengubah paradigma tentang jenis data dan pengolahannya; sesuatu yang dipahami begitu lama dan dianggap sebagai ‘kebenaran’, tentu akan mengagetkan dan bisa membuat marah bila ternyata didapati ada alternatif lain dalam melihat data secara lebih tepat dan pasti dibanding cara sebelumnya. Namun sepanjang acara keliling berbagai kampus selama tiga bulan itu, pelatihan full dua hari hanya dilakukan di satu tempat saja, yaitu di Fakultas Psikologi, Universitas Airlangga, Surabaya. Di berbagai tempat lain ada yang diminta untuk memberikan kualiah umum, ada pelatihan selama empat jam, maupun pelatihan sehari penuh. Berbagai pengalaman ini lah yang menarik untuk dibagi dalam seri tulisan ini, yang juga bisa memberikan tolak ukur tentang perkembangan riset kuantitatif di tanah air.

1.  Fakultas Teknik Universitas Negeri Yogyakarta, Senin 6 Januari 2014.

Acara pelatihan di Fakultas Teknik Universitas Negeri Yogyakarta dikoordinasikan oleh Kim Fajrin. Dia yang menguruskan mulai dari ijin acara di fakultas, tempat pelatihan dan transportasi, nyaris all out secara individual. Acara memang diumumkan untuk dosen dan mahasiswa, namun yang hadir kebanyakannya adalah mahasiswa fakultas teknik dan mahasiswa fakultas MIPA. Terdapat juga satu orang mahasiswa S3 dari UNY yang memang suka kontak via FB dan berkonsultasi tentang risetnya, serta seorang dosen dari Fakultas MIPA; total sekitar 30 orang hadir sampai selesainya acara.

Berhubung audiensnya mayoritas mahasiswa S1, maka yang perlu ditekankan adalah pemahaman tentang jenis data. Seperti yang diduga, type jenis data nominal, ordinal dan interval harus banyak dibahas dan diberikan contoh; dalam ‘kuliah’ singkat seperti ini memang agak berat untuk menjelaskan secara panjang lebar akan hal itu, cara yang mudah tentu dengan menyarankan silahkan dibaca di buku Rasch Model dan dipahami dengan benar, karena inilah titik tolak untuk analisa lebih lanjut (baik statistik deskriptif maupun inferensial).

Yang juga cukup menantang untuk dipahami adalah tentang probabilitas “odds-ratio“, yang dalam definisi sederhana adalah jumlah pilihan dibagi dengan jumlah yang tidak dipilihnya. Sangat mudah untuk melihatnya sebagai aneh, karena yang biasa dipahami adalah probabilitas yang nilainya antara 0 dan 1 (misal 20% yang artinya 0,2). Misalnya ada 10 orang ditanya tentang pendapat mereka akan kenaikan harga BBM, jika didapati 8 orang menyatakan setuju dan 2 orang menjawab tidak setuju, maka odds ratio untuk setuju adalah 8/2 = 4, yang artinya [(pemilih yang setuju)/(total pemilih – pemilih setuju)], sedangkan odds ratio untuk tidak setuju adalah [2/(10-2)] = 2/8 = 0,25. Dalam konteks Rasch Model pemahaman tentang odds ratio sangat penting karena menunjukkan besaran dan jenis datanya tentu data rasio. Tentu pengalaman menjelaskan hal ini memberikan pengalaman berarti tentang perlu cara unik untuk membuka wawasan pemahaman pihak lain.

Fak teknik UNY-1 Fak teknik UNY-2

foto bersama dengan para peserta pelatihan, yang sebelah kiri adalah mahasiswa jurusan pendidikan matematika S1 FMIPA UNY; sedangkan yang sebelah kanan dengan mahasiswa jurusan pendidikan teknik elektro FT UNY.

2. Fakultas Ilmu Komunikasi, Universitas Garut (Uniga), Sabtu 18 Januri 2014.

Berdasarkan hubungan dengan seorang teman SMA yang menjadi dosen di FIKOM Uniga, maka acara pelatihan diselenggarakan. Peserta semuanya adalah dosen Uniga yang ternyata berasal dari berbagai fakultas seperti FIKOM, Fakultas Ekonomi maupun FISIP; total sekitar 25 orang yang hadir. Acara di Garut ini khusus karena dijemput mulai dari Bandung dan pulang pun diantarkan kembali ke Bandung, tidak hanya fasilitator namun juga pesertanya.

Seperti halnya pelatihan di UNY sebelumnya, diskusi yang banyak terjadi adalah tentang jenis data. Terdapat keraguan besar saat dijelaskan bahwa data ordinal seperti peringkat Likert (Likert rating, bukannya Likert scale, penyebutan ‘scale’ jelas salah kaprah karena sifat skala tidak terdapat didalamnya) tidak boleh dilakukan operasi aritmatika (‘*’, ‘/’, ‘+’, ‘-‘) karena memang bukan bilangan bulat. Ini seolah akan menjadi debat kusir yang perlu penanganan khusus untuk membuatnya nyahok. Maka ilustrasi yang bisa menjelaskan secara tuntas dan tidak diperdebatkan lagi adalah pemberian angka dalam hal opini pilihan yang diberikan dalam peringkat Likert, yaitu Sangat Tidak Setuju (STS) = 1, Tidak setuju (TS) = 2, Netral (N) = 3, Setuju (S) = 4 dan Sangat Setuju (SS) = 5.  Bila hal itu dipahami sebagai bilangan bulat (integer), maka akan terjadi kekacauan logika yang parah bila dilakukan operasi ‘aritmatika’ bahwa, Tidak Setuju + Tidak Setuju = Setuju, karena anggapannya adalah 2 + 2 = 4; angka 2 untuk pilihan Tidak Setuju (TS) adalah data ordinal dan BUKANNYA angka dua sebagai bilangan bulat. Tentu raut muka kecewa muncul bersamaan namun argumen memang tidak berlanjut karena membenarkan logika yang salah tentu akan menuju kesalahan fatal berikutnya.

Hal lain yang berhubungan dan menjadi diskusi panjang muncul dari peserta yang memang sudah menyelesaikan tesis S3-nya dan menggunakan MSI (Method of Successive Interval) dalam pengolahan data dimana data ordinal kononnya bisa dianggap menjadi data interval. Bila melihat proses MSI, maka sebenarnya tidak jauh beda dengan yang dilakukan oleh odds-ratio, dimana yang digunakan adalah frekuensi terhadap point yang dipilih. Namun yang harus lebih hati-hati untuk dilakukan adalah asumsi pilihan dalam peringkat Likert bukanlah angka dalam pengertian bilangan bulat, artinya memang tidak bisa ‘dikawinkan’ dengan data frekuensi sehingga nanti didapatkan ‘data interval’. Tentu menyadari ‘kesalahan’ dari yang pernah dilakukan juga rada berat untuk diakui, sehingga yang biasa saya sebutkan adalah pesan moral saja, seperti yang biasa disampaikan oleh AA gym, yang menyebutkan, ‘kita harus membiasakan yang benar, bukan membenarkan apa yang biasa kita lakukan’. Diskusi di Fikom Uniga ini jelas memberikan pencerahan tentang bagaimana riset kuantitatif dilakukan di universitas, berhubung dosen-dosen Uniga yang hadir adalah lulusan yang berasal dari berbagai universitas negeri yang ada du Pulau Jawa.

Uniga-2 Uniga-1

foto sebelah kiri setelah pelatihan selesai; bagian kanan: saat menjelaskan aspek teoritis Rasch Model

3. Fakultas MIPA Universitas Negeri Yogyakarta, Selasa-Rabu, 21-22 Januari 2014.

Pelatihan di Fakultas MIPA UNY diinisiasi oleh Bu Maryati, yang merupakan satu-satunya dosen yang hadir dalam pelatihan Rasch model sebelumnya di Fakultas Teknik UNY. Acara oleh beliau bagi dua, yang pertama khusus untuk mahasiswa dan yang hari kedua untuk staf pengajar fakultas MIPA. Poster  acara yang dibuat seperti di bawah ini:

poster_UNY

Acara yang untuk mahasiswa resminya diselenggarakan oleh Himpunan Mahasiswa Pendidikan IPA (HIMA IPA), mereka merancang poster, menyebarkan informasi melalui media elektronik dan mendatangi berbagai kampus di Yogyakarta untuk mencari peserta, sampai mengawal acara sampai selesai. Seperti biasa ada hal yang tidak diduga dalam acara seperti ini, ternyata ada empat mahasiswa s3 dari Universitas Brawijaya, Malang, yang memang mau hadir untuk acara pelatihan ini, disamping itu juga satu orang mahasiswa s2 dari UNJ yang biasa chating melalui FB. Lebih dari 40 orang yang hadir dengan peserta yang beragam, mahasiswa s1, s2 dan s3, tentu kebanyakannya mahasiswa dari UNY.

Hal yang menjadi bonus dari acara ini adalah terdapatnya kedua penulis buku yang hadir memberikan pelatihan. Mas Wahyu Widhiarso saat yang bersamaan sedang ada di Yogyakarta, yang sedikit menikmati rehat dari perjuangan menyelesaikan riset dan tesis S3-nya di Jena, Jerman. Acara yang tadinya dirancang empat jam, berubah menjadi enam jam, berhubung banyaknya bahan yang harus dibagi dan gencarnya pertanyaan yang diberikan. Hal yang tidak terduga lainnya adalah adanya peserta yang merekam acara kuliah dan pelatihannya dari awal sampai akhir, usut punya usut ini digunakan untuk dapat dokumentasi secara lengkap tentang materi yang diberikan (walaupun agak grogi juga jadinya).

FMIPA UNY student-2 Fmipa UNY student-1

Suasana pelatihan yang untuk mahasiswa dan foto bersama setelah selesai pelatihan (Selasa, 21 Januari 2014)

tautan: informasi kegiatan oleh HIMA IPA, FMIPA-UNY: http://edukasi.kompasiana.com/2014/01/23/aplikasi-model-rasch-yang-replicable-628399.html

tautan informasi kegiatan HIMA IPA, FMIPA-UNY: http://hima-ipa.student.uny.ac.id/2014/01/23/pelatihan-aplikasi-model-rasch-2/

Hari berikutnya (Rabu, 22 januari 2014) adalah acara pelatihan dengan dosen-dosen FMIPA. Format acara yang digunakan adalah acara rapat fakultas, dimana bagian pertama adalah penyampaian informasi dari bapak dekan, yang kemudian dilanjutkan dengan pelatiah Rasch Model. Ada lebih dari 80 dosen yang hadir pada saat awal. Pada bagian pertama adalah menjelaskan aspek teoritis Rasch Model dan teori respon butir. Seperti yang diduga, rentetan pertanyaan muncul tanpa henti tentang jenis-jenis data, untuk data nominal memang tidak terjadi perdebatan apapun; namun perbedaan pemahaman tentang data ordinal dan interval menjadi diskusi hangat yang juga perlu pendekatan seperti yang dilakukan di Uniga sebelumnya.

Pertanyaan yang unik  muncul saat menjelaskan tentang skala pengukuran. Berhubung sebagian adalah pakar dalam bidang fisika dan kimia, tentu mereka paham dengan penggunaan instrumen dan skala pengukuran yang digunakannya, sehingga tidak aneh bila mempertanyakan konteks ‘interval yang sama’ dalam skala satu instrumen. Untuk menjelaskan hal ini tentu contoh klasik yang digunakan kaum Raschian adalah jawaban jitu, yaitu dengan membawa penggaris dan menjelaskan konteksnya. Penggaris untuk ukuran centimeter menunjukkan titik awal (yaitu 0,0 cm), dalam hal tingkat ketelitian penggaris maka ukuran yang diberikannya adalah dalam 0,1 cm dan ini dianggap sudah memadai; interval yang sama dalam penggaris nampak terlihat, dimana jarak 0 ke 1 cm sama dengan jarak 1 cm ke 2 cm.  Kemudian beralih kepada bahan penggaris, bahan yang digunakan bisa dari kayu, plastik ataupun logam; namun bahan dari karet pun bisa digunakan, namun karena elastisitasnya maka hasil pengukuran dalam suhu tertentu tidak dianggap menunjukkan hasil pengukuran yang teliti seperti bahan lain.

Pertanyaan lain yang mengganggu sebagian peserta adalah paper yang ditulis oleh Joel Michell yang mengkritisi tentang definisi pengukuran dalam psikologi yang ditampilkan dalam salah satu slide pelatihan. Ada peserta yang bertanya, apa yang terjadi dengan ilmu pengukuran dengan kritik yang sangat telak tersebut; pertanyaan ini menunjukkan bahwa memang diskusi mengenai perkembangan ilmu memang harus terus menerus banyak dilakukan. Akan terasa berat bila memang masih bertumpu dengan pengetahuan dan kajian ilmiah yang berkutat dengan apa yang biasa diajarkan kepada mahasiswa saja. Pengetahuan baru terus menerus dihasilkan dengan kecepatan yang tinggi, sehingga debat dan diskusi yang sangat fundamental akan terus menerus terjadi dan tentu akan mengagetkan bila memang tidak tahu atau tidak mengikutinya.

Pada bagian kedua pelatihan adalah praktek penggunaan software Ministep/Winsteps. Tidak dinyanya ternyata ada seorang profesor dalam teori respon butir diantara peserta. Terjadi dialog yang cukup panjang, menyita hampir dua puluh menit antara beliau dan fasilitator. Tampilan dan cara penarikan kesimpulan dari hasil analisis dengan software menjadi bahan perdebatan. Sebagai fasilitator yang baik tentu harus mendengarkan dengan lengkap, manggut-manggut dan berusaha untuk mencari jalan keluar yang elegan. Di tengah debat yang makin panas dan di saat peserta lain mengheningkan cipta, akhirnya diketahui dengan mudah bahwa yang bertanya titik tolaknya adalah hasil analisis dengan software yang berbeda, sehingga pola penarikan kesimpulan pun berbeda. Saya tentu perlu menunjukkan parameter yang digunakan oleh yang bertanya hanya infit saja, namun dengan Winsteps, informasi yang diberikan malah lebih lengkap mulai dari data outfit dan point measure correlation. Dengan tambahan parameter ini maka akan meyakinkan peneliti bagaimana penilaian dia tentang kualitas aitem yang dibuat berdasar jawaban dari responden. Namun seperti biasa, hal ini dianggap belum tuntas oleh penanya, dan uniknya beliau setelah acara selesai meminta pertemanan di Facebook dan melanjutkan memberikan nasihatnya tentang apa yang sudah dia jelaskan sebelumnya; solusi yang mudah tentu dengan mengatakan bahwa yang dia ungkapkan memang betul dan saya menyetujui hal itu. Sekitar sebulan setelah acara berlangsung, saya dapat info bahwa ternyata sang profesor akhirnya juga mengakui serta menyarankan pada mahasiswanya tentang penggunaan Winsteps dalam analisis instrumen.

Sesuatu yang mengejutkan juga terjadi setelah acara berlangsung; dimana pak dekan FMIPA dan ketua jurusan pascasarjana FMIPA UNY mendiskusikan tentang aplikasi rasch model ini dalam riset yang akan dilakukan oleh kalangan akademisi di FMIPA UNY. Mereka menyadari potensi yang bisa digunakan dan meningkatkan keilmiahan analisis yang dilakukan, bagi mereka ini sesuatu yang baru yang bisa memberikan harapan peningkatan kualitas riset.

 

FMIPA UNY dosen-1 FMIPA UNY dosen-2

foto bersama selesai pelatihan bareng dosen-dosen Fakultas MIPA UNY dan saat menjelaskan aspek teoritis rasch model.

 


Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / Change )

Twitter picture

You are commenting using your Twitter account. Log Out / Change )

Facebook photo

You are commenting using your Facebook account. Log Out / Change )

Google+ photo

You are commenting using your Google+ account. Log Out / Change )

Connecting to %s

%d bloggers like this: