Rasch Model: Riset Kuantitatif

Home » Pelatihan Rasch Model » Roadshow Pelatihan Rasch Model di berbagai universitas-2

Roadshow Pelatihan Rasch Model di berbagai universitas-2

Melanjutkan cerita keliling kampus dalam hal pelatihan Rasch Model, pada bagian ini ditampilkan kegiatan yang dilakukan di empat perguruan tinggi berikutnya (secara kronologis).

4. Jurusan Psikologi, Universitas Pendidikan Indonesia (UPI), Bandung; Sabtu, 1 Februari 2014.

Melalui teman dari organisasi profesi guru, terhubung lah ke pihak UPI. Yang berminat mengadakan adalah jurusan psikologi UPI. Ini adalah sesi pelatihan yang langsung berhubungan dengan orang-orang yang bidang ilmunya sangat mengenal pengujian instrumen dan memang ‘hobinya’ membuat instrumen yang berhubungan dengan human subject. Peserta pelatihan sebanyak kurang lebih enam puluh orang yang terdiri dari mahasiswa dan dosen, ada juga dosen dari jurusan lain di UPI maupun dari universitas lain di Bandung.

Psi UPI-2

Poster acara pelatihan yang dibuat oleh panitia.

Seperti halnya suasana di pelatihan sebelumnya, menjelaskan tentang jenis data dan implikasi karakteristik data tersebut (khususnya data ordinal) dalam perhitungan perlu panjang lebar dan lebih hati-hati. Hal ini berhubung belum begitu dikenalnya Rasch Model di kalangan akademia yang mengikuti pelatihan. Pertanyaan mendasar berikutnya adalah, apakah Rasch Model juga  menyediakan fungsi statistik inferensial seperti halnya bila menggunakan pendekatan teori test klasik. Pertanyaan ini memang hal yang standar diajukan bila sudah melihat potensi lebih lanjut akan analisis data yang diperlukan sesuai dengan metoda riset yang dirancang.

Untuk menjawabnya perlu dijelaskan proses transformasi data yang ada. Dimana dalam konteks Rasch Model, data ordinal tidak diperlakukan apa adanya, namun didekati dengan odds ratio. Karena data odds-ratio yang diperoleh tidak bisa digunakan untuk memetakan banyaknya-jawaban yang didapatkan dari responden karena hasil tersebut tidak bisa membuat skala dengan interval yang sama. Oleh karena itu dalam Rasch Model dipergunakan satu fungsi matematika yangf bisa menyetarakan angka dari odds-ratio sehingga menjadikan interval yang sama dan tentu hal ini bersifat linear, tidak lain adalah fungsi logaritma. Apa yang diperoleh adalah data logaritma dari odds-ratio yang biasa disebut logit atau log odds unit. Skala logit yang terbentuk mempunyai interval yang sama, namun saat bersamaan juga merupakan satuan yang bisa digunakan untuk membandingkan. Bila tahapan transformasi logit memang sudah dipahami, maka untuk bisa mengolah dalam statistik inferensial adalah mengembalikan data dalam bentuk logit kembali ke bentuk rasio; maka fungsi matematika yang digunakan adalah anti-logaritma yaitu eksponensial. Berhubung data logit didapatkan dari logit person dan logit item, maka nilai rasionya adalah rumus yang menggunakan fungsi exponensial yang menghubungkan dari kedua data logit tersebut.

Pada sesi praktek dengan menggunakan software terjadi keriuhan. Dimana latihan yang diberikan yang diisi oleh peserta, hasil yang didapat mengindikasikan beberapa peserta mempunyai pola respon yang tidak valid dan asal-asalan, dan software rasch model bisa mengindikasikan hal itu secara tepat. Tentu hal ini mengagetkan dan tidak diduga sebelumnya oleh peserta pelatihan, berhubung hanya dalam konteks rasch model lah yang berdasar pada item free dan person free, maka bisa diidentifikasi pola jawaban seseorang apakah memang serius mengisi atau sengaja tidak konsisten. Dalam konteks teori test klasik fokusnya adalah uji aitem dan untuk person yang muncul selalunya total skor saja, tidak bisa memberikan info selain dari itu.

Selain acara pelatihan ini, pihak panitia juga meminta untuk bisa berbagi dengan peserta lain tentang publikasi di jurnal ilmiah internasional (scopus dan ISI).  Yang dibahas dalam waktu singkat ini adalah tentang peran peer-review, double blind process, kualitas jurnal ilmiah maupun tentang isu plagiat. Pada saat menampilkan hasil pengecekan keaslian tulisan dengan web-based software turnitin, juga membuat kagum, betapa telitinya software turnitin bisa memberikan informasi tentang kesamaan text (baik yang dikutif secara sembunyi-sembunyi maupun secara sengaja yang menggunakan tanda baca kutif ganda). Menarik untuk melihat bagaimana dosen yang hadir serta merta memberikan wejangan tentang hal ini, urusan pengutifan jangan dianggap sepele, dan sang dosen secara terus terang lebih senang menjadi dosen yang teliti dan ‘kejam’ dalam urusan beginian.

Terdapat seorang peserta yang meminta saran tentang pengelolaan jurnal di fakultasnya. Maka acara berbagi pun menjadi petatah-petitih pengalaman saya berinteraksi dengan beberapa jurnal ilmiah di Indonesia. Yang paling utama adalah kecepatan dan ketepatan memberikan respon, saat ini semuanya menjadi mudah karena bisa menggunakan email. Artinya bisa ditetapkan standar respon misalnya maksimal untuk email dijawab dalam dua hari, namun bila menjawab email bisa dilakukan dalam hitungan menit (seperti halnya jurnal internasional yang terintegrasi database-nya) tentu lebih baik lagi. Apalagi akun email bisa terpantau terus melalui handphone atau blackbery sehingga susah untuk mencari alasan tidak bisa bereaksi dengan cepat. Berhubung akademisi Indonesia sekarang hanya mau mengirimkan artikel di jurnal akreditasi, maka pihak editor jurnal harus mau capek dan kerja keras dalam memberikan pelatihan bagi mahasiswa atau penulis jurnal ilmiah yang belum berpengalaman supaya kualitas tulisannya makin bagus; bagi jurnal yang belum terakreditasi menunggu artikel ilmiah yang bagus mungkin hanya akan membuatnya selalu terlambat terbit karena menunggu cukup artikel untuk terbit. Yang juga perlu serius dilakukan adalah menghargai mitra bestari (reviewer), berhubung mereka ini bekerja secara sukarela, maka berikanlah respon yang profesional semisal secepatnya memberikan SK pengangkatan, mengirimkan softcopy dan hardcopy jurnal bila sudah ada, maupun menghargai pendapatnya tentang hasil satu review dari artikel yang sudah dinilai.

Dalam acara bincang informal selama pelatihan ternyata beberapa peserta malah lebih mengenal partner penulis buku Rasch Model (mas Wahyu Widhiarso), sambil tidak lupa menyatakan bahwa dia belajar secara jarak jauh dengan mas Wahyu. Malah juga mengomentari bahwa gaya penulisan mas Wahyu nampak di buku tersebut, sesuatu yang saya iya kan saja. Ada juga peserta lain yang berasal dari Unpad yang kebetulan sedang tugas belajar di luar negeri yang berbicang bahwa dia memang merencanakan akan menggunakan Rasch Model dalam risetnya, yaitu mengembangkan instrumen yang akan digunakan dalam identifikasi kesehatan pasien di rumah sakit, dimana si pasien tidak mungkin kalau diminta mengisi kuesioner berlembar-lembar, namun cukup satu lembar saja dalam waktu kurang dari lima menit dia dapat mengisi dan memberikan informasi berharga bagi dokter. Untuk bisa ke arah sana jelas, Rasch Model bisa membantu untuk identifikasi aitem yang memang lebih valid dan juga reliabel.

Psi UPI-1

 Foto bersama setelah selesai acara pelatihan

5. Jurusan Teknik Arsitektur, Institut Teknologi Bandung (ITB), Senin, 3 Februari 2014

Dengan bantuan Pak Eko Purwono, dosen di jurusan teknik aristektur ITB, maka terhubung dengan ketua jurusan pasca sarjana arsitektur, dimana beliau meminta saya untuk mengisi satu kuliah umum. Bertempat di Galeria Arsitektur, dengan lama acara maksimal 3 jam, maka yang bisa dibagi adalah penjelasan teoritis tentang rasch model. Peserta yang hadir mayoritasnya adalah mahasiswa s2 jurusan arsitektur, beberapa dosennya, juga beberapa mahasiswa s3 dari jurusan seni rupa dan desain ITB; total ada sekitar 30 orang.

Menjelaskan aspek teoritis dari Rasch Model bagi pemula memang menantang, terlebih dengan mahasiswa yang memang belum melakukan riset. Sehingga kuliah umum memang lebih tepatnya mengenalkan adanya alternatif lain dalam pengolahan data yang didapat dari opini atau pendapat dari responden.  Selain menggambar rumah/gedung, jurusan arsitektur salah satu bidang risetnya berhubungan dengan pandangan manusia tentang lingkungan atau tempat tinggalnya; sehingga data seperti ini yang didapat melalui kuesioner bisa diolah dengan Rasch Model.

Suasana berbeda terjadi pada sesi tanya jawab. Pertanyaan yang muncul umumnya adalah pandangan dari teori tes klasik. Salah satu yang terus mengemuka (dan ditanyakan oleh beberapa peserta) adalah mengapa angka yang didapat dari kuesioner tidak bisa dilakukan operasi aritmatika, padahal opini yang diberikan benar adanya. Pertanyaan seperti ini memang perlu kuliah tambahan tentang teknik pengukuran. Bila responden memberikan opini terhadap aitem atau pernyataan/pertanyaan yang diajukan, maka pendapat itu adalah bukti empiris/pengalaman yang kita miliki. Opini tersebut bisa apa saja dan itu jelas fakta yang tidak bisa diperdebatkan keberadaannya. Namun pada saat mengubah opini menjadi angka, maka aturan main yang ada menjadi berubah. Apalagi opini yang diberikan sifatnya sudah kita desain pilihan jawabannya, sehingga nampak seolah ada hubungan ‘khusus ‘ antara pilihan yang ada, misalnya Netral (N) dengan angka yang mewakilinya, misalnya ‘3’. Kedua hal itu sesungguhnya adalah dua hal yang berbeda, opini Netral (N) misalnya cukup disebutkan bahwa dia tidak berpendapat (opsi tengah) terhadap aitem tertentu; namun bila dijawantahkan menjadi angka, yaitu ‘3’, maka angka tersebut sifatnya acak dan tidak menyatakan besaran apapun. Angka ‘3’ tersebut aslinya dipilih (secara acak oleh pembuat instrumen) untuk dianggap mewakili opini, yang mengurutkan berdasar peringkat dari pilihan yang diberikan.  Oleh karena itu memperlakukan opini dengan angka yang dianggap mewakilinya tidak bisa dilakukan secara serampangan. Perlu model matematika yang tepat yang dapat memastikan bahwa angka yang ada memang diolah bukan sebagai bilangan bulat, namun sebagai data ordinal; dari sanalah titik tolak odds-ratio menjadi tepat untuk pengolahan data yang berasal dari human subject ini (opini).

Arsitektur ITB-1 Arsitektur ITB-2

Suasana kuliah umum di jurusan arsitektur ITB

6. Fakultas Ilmu Tarbiyah dan Kependidikan, Universitas Islam Negeri (UIN) Syarif Hidayatuh, Jakarta; Selasa, 4 Februari 2014

Melalui salah seorang dosen di FITK UIN Syahid yang juga merupakan teman dekat, maka diundanglah untuk acara pelatihan ini. Tak diduga sebelumnya ternyata pihak yang menyambut di UIN ini adalah teman lama semua yang sebelumnya pernah kerja bareng melakukan riset tentang madrasah, namun sekarang sudah menjadi dekan dan juga wakil dekan urusan akademik. Jadi pertemuan awal ini menjadi reuni kecil sambil bertukar cerita tentang aktivitas selama lima tahun lebih tidak bertemu muka.

Sesuai pesan ibu dekan dan bapak wakil dekan, maka perlu juga diinformasikan tentang syarat prestasi kerja di universitas di Malaysia. Mereka berdua sudah tahu bahwa ini akan menjadi isu sensitif, namun bila yang berbicara adalah dosen dari Malaysia maka ini tidak akan menyulut sesuatu yang serius. Maka dengan enak saja saya bercerita bahwa di tempat kerja yang sekarang, artikel jurnal ilmiah yang dihitung hanya yang ISI Web of Knowledge saja, bahkan Scopus pun hanya dihitung sepertiga-nya saja; karya ilmiah seperti buku malah tidak dihitung, apalagi hadir dalam konferensi atau seminar ilmiah yang nilainya nihil dalam perhitungan prestasi kerja. Reaksi yang nampak memang sudah ‘membahayakan’, namun tidak muncul protes; malah ibu dekan memberikan wejangan bahwa walaupun gaji dosen di Malaysia memang lebih tinggi namun penilaian prestasi pun makin susah untuk dicapai.

Setelah sesi sponsor tadi, baru mulai ke acara utama tentang pelatihan Rasch Model. Hal yang menyenangkan adalah adanya dosen yang sedang studi yaitu menjadi mahasiswa S3 dari Universitas Negeri Jakarta (UNJ) yang banyak membantu menjelaskan terma-terma yang dijelaskan dalam bidang pengukuran pendidikan. Bila ada hal yang kurang begitu jelas dan pertanyaan yang perlu panjang lebar dijawab, sang dosen yang sedang tugas belajar  memberikan penjelasan. Namun, dalam hal jenis data, sang dosen tersebut juga mempunyai pemahaman boleh menggunakan MSI (Method of Successive Interval) untuk ‘mengakali’ data ordinal supaya menjadi interval, sehingga boleh digunakan analisis statistik inferensial. Hal ini menunjukkan gejala yang sama dimana MSI menjadi ‘jalan keluar’ dalam hal kebuntuan mengidentifikasi data ordinal sebagai data ordinal.

Hal yang menggairahkan dalam pelatihan adalah banyaknya dosen yang berusia muda terus mengejar dengan pertanyaan mendasar dan seolah tidak sabar untuk mengungkap apa rahasia rasch model sesungguhnya. Saat yang dramatis terjadi saat menjelaskan terbetuknya skala dengan adanya odds-ratio yang ditransformasi dengan logaritma. Penjelasan tentang hal ini tidak cukup dilakukan sekali, berhubung papan tulis yang kecil sehingga tidak semua contoh dan hubungan ada ditampilkan yang bisa memberikan imajinasi secara lengkap bagaimana hal itu terbentuk.

Sesuatu yang menggembirakan juga terjadi saat rehat dan ngobrol secara informal. Terdapat seorang dosen muda laki-laki yang memang terlihat bersemangat dan seolah ingin berteriak. Dia menjelaskan baru kali ini bisa mendapat penjelasan logis tentang riset kuantitatif. Tadinya dia sudah menyatakan ‘talak tiga’ terhadap riset kuantitatif dan menganggapnya sebagai pseudo-ilmiah berhubung yang dia dapati adalah kuesioner yang diisi oleh responden, kemudian pilihan jawaban menjadi angka, dan angka tersebut dilakukan operasi aritmatika untuk mencari rata-rata, mendapatkan koefisien korelasi, membandingkan hasil dengan uji t atau uji anova dll; dia tidak bisa merasa puasa secara intelektual mengapa hal itu bisa dilakukan. Setahu dia opini seseorang bersifat relatif, misal banyak menurut si A mungkin hanya empat buah; namun banyak menurut si B adalah sembilan buah; demikian juga dalam hal data ordinal peringkat Likert, bagaimana logikanya Tidak Setuju (TS) bernilai ‘2’ dibandingkan dengan Setuju (S) yang bernilai ‘4’, kemudian bisa dicarikan rata-rata, padahal data aslinya adalah opini. Dia langsung paham bahwa Rasch Model lah jawabannya untuk membuat skala pengukuran yang lebih tepat dari data ordinal, dan itu bukan melalui operasi aritmatika pada data ordinal, namun harus pada data rasio. Bonus lainnya, tidak hanya skor yang dinilai namun juga validitas aitem dan person (responden) ditentukan. Sesuatu yang tidak  terduga seperti inilah yang membahagiakan bagi seorang guru.

UIN jakarta    UIN jakarta1

saat memberikan kuliah dan sertifikat dari FITK UIN Syahid

7. Sekolah Tinggi Akuntansi Negara (STAN), Jakarta; Kamis 6 Februari 2014

Melalui bantuan seorang teman dekat yang juga pernah menjadi dosen di STAN, maka mendapat panggilan untuk memberikan kuliah umum bagi mahasiswa dan dosen di STAN, di Bintaro, Jakarta. Sebelumnya mendapat penjelasan bahwa mahasiswa peserta adalah mahasiswa tingkat akhir D4, yang artinya mereka sudah menyelesaikan pendidikan D3, juga kemudian sudah bekerja sebagai akuntan paling tidak dua tahun, di berbagai unit di Kementrian Keuangan RI (kantor pelayanan pajak, pegadaian, bea cukai, kemenkeu dll). Informasi lainnya adalah kebutuhan untuk menjelaskan aspek riset kualitatif secara utuh, artinya tidak hanya membahas Rasch model yang merupakan bagian dari riset kuantitatif. Hal ini berhubung pemahaman yang beragam (lebih tepatnya anggapan bahwa riset kualitatif ‘tidak begitu ilmiah’) di lingkungan akademia yang ada. Sehingga bila mendapat pandangan dari pihak lain tentu akan memberikan pertimbangan yang berbeda khususnya bagi dosen penguji dan mahasiswa yang memilih melakukan riset kualitatif.

Oleh karena itu bagian pertama jadinya membahas aspek-aspek riset kualitatif, sesuai dengan keinginan panitia. Dijelaskan lah perbedaan paradigma riset kualitatif, dimana jenis datanya lebih banyak berupa kata-kata; pendekatan naturalistik dimana tidak menganggu objek kajian. Tidak lupa juga disebutkan kritik yang biasa disebutkan dalam konteks riset kualitatif yaitu, “easy to do, but easy to get lost” , yang artinya perlu upaya ekstra dalam hal memahami kerangka kerja riset kualitatif. Seterusnya dijelaskan berbagai desain riset yang biasa dilakukan dalam metoda kualitatif, mulai dari studi kasus, etnografi, grounded theory maupun riset naratif. Instrumentasi dimana data didapatkan yang bisa beragam dipergunakan (mulai dari kuesioner, wawancara, observasi maupun dokumen) dalam riset kualitatif ini yang muaranya mendapatkan kata-kata, serta analisis datanya. Menjelaskan analisa data kualitatif memang perlu lama dan banyak contoh diberikan, baik melalui analisis tematik, analisa konten atau lainnya.

Bagian berikutnya baru membahas tentang riset kuantitatif yang dalam hal ini adalah rasch model. Sama seperti pelatihan di berbagai  perguruan tinggi lainnya, perbedaan jenis data juga menjadi isu yang hangat dalam penjelasan dan diskusi. Namun uniknya di STAN, hal ini tidak menjadi berlarut-larut, mereka bisa mudah menangkap informasi ‘baru’ ini dan mengadopsi cara perhitungannya.

Hal yang membuat pelatihan lebih membuka mata adalah saat praktek penggunaan software. Seperti yang dijelaskan dalam buku Rasch Model, bahwa proses data entry dengan Microsoft Excel, pengolahan format file untuk dimasukkan ke Winsteps serta spesifikasi di dalamnya sesuatu yang relatif mudah dan bisa dikerjakan secara mandiri (yang banyak disampaikan bahwa analisis data itu rumit mulai dari isi data mentah sampai analisis statistiknya). Bila peserta mengisi data sendiri dan mengolahnya, maka anggapan itu dengan sendirinya hilang dan juga memberikan rasa percaya diri bahwa itu bisa dilakukan secara mandiri (dan menunjukkan bahwa dia memang sudah menjadi pakar). Berhubung mahasiswa STAN sudah terbiasa dengan perangkat lunak spreadsheet, maka proses pemasukan data, pengubahan spesifikasi file maupun memasukkan ke software  hingga diskusi hasil analisisnya bukan lah sesuatu yang berat dilakukan. Diberikan latihan untuk kedua kali juga makin lancar dilakukan tanpa banyak hambatan.

Sesi tanya jawab informal selalunya memberikan respon yang tidak diduga. Yang pertama adalah pertanyaan dari satu dosen yang mau melakukan pengujian tentang dua kelompok mahasiswa berbeda, bagaimana rasch model dan winsteps bisa memberikan solusinya; maka saran yang mudah dilakukan adalah dengan memberikan pemberian identifikasi berbeda dari dua kelompok tersebut, sehingga nanti pada saat menampilkan peta item-person akan mudah mengidentifikasi prestasi di dua kelompok tersebut. Yang kedua, seorang dosen dengan malu-malu menanyakan bagaimana bila mempunyai data yang jenisnya berbeda, yang satu ordinal yang lain interval, rasch model pun bisa memberikan solusinya, tinggal ubah saja data ordinal dengan transformasi logit untuk balik lagi menjadi data rasio dengan fungsi anti-log, nanti kedua jenis data bisa disandingkan.

Namun yang cukup mengejutkan adalah pertanyaan dari seorang mahasiswa. Dia melihat hasil analisis dimana dari satu orang (person) didapati nilai logit tertentu, katakanlah logit tersebut mengambarkan abilitas (kecerdasan). Misalnya nilai logitnya rendah (katakanlah lebih kecil dari nol atau negatif), maka seolah menunjukkan bahwa prestasinya memang terus akan berada disana, dengan asumsi bahwa instrumen yang digunakan memang berkualitas dan mampu mengukur. Apakah ini tidak menunjukkan bahwa hasilnya sesuatu yang determininistik? sesuatu yang menghakimi? Rada lama juga saya berpikir untuk bisa menjawab hal ini secara memuaskan. Sampai akhirnya saya berpendapat, konteks deterministik dari logit person dari hasil mengerjakan satu test (atau instrumen) terjadi hanya dalam test tersebut; hal ini juga bisa menjadi sesuatu yang mempunyai validitas prediktif, namun hasil ini tidak menjadikan bahwa dia memang akan selamanya bodoh (atau tidak cerdas).

STAN1 STAN2

suasana pelatihan di STAN dan foto bersama setelah acara selesai.

tautan di Facebook STAN:

tautan berita kegiatan: http://www.stan.ac.id/page/index/workshop-aplikasi-model-rasch-untuk-penelitian-ilmu-ilmu-sosial


Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / Change )

Twitter picture

You are commenting using your Twitter account. Log Out / Change )

Facebook photo

You are commenting using your Facebook account. Log Out / Change )

Google+ photo

You are commenting using your Google+ account. Log Out / Change )

Connecting to %s

%d bloggers like this: