Ukuran Statistik untuk Mengukur Kualitas Hasil Survei

Bagi pemerhati data, penting untuk mengetahui kualitas hasil suatu survei. Kualitas hasil suatu survei dipengaruhi oleh dua jenis kesalahan yaitu: pertama, kesalahan non sampling atau non sampling error  dan kesalahan kedua karena terkait sampling (sampling error). Kesalahan non sampling ada karena kesalahan-kesalahan yang muncul pada pelaksanaan survei. Misalnya, kesalahan menyampaikan konsep dan definisi dari instruktur pelatihan ke petugas pencacah maupun pengawas, kesalahan pada saat mengajukan pertanyaan dari pewawancara kepada responden, salah pengertian antara responden dan pewawancara/pencacah, juga kesalahan waktu merekam data pada saat pengolahan.

Posting kali ini akan membahas lebih banyak kesalahan karena sampling. Sampling Error dapat dianalisis secara statistik. Suatu nilai estimasi  terhadap parameter suatu populasi atau kita sebut dengan statistik digenerate atau dibangun dari gugusan sampel yang dipilih menggunakan desain sampling tertentu. Setiap gugus sample yang terpilih menghasilkan angka yang berbeda-beda dengan gugus sample lainnya. SE adalah suatu ukuran keragaman dari semua gugus sampel yang mungkin terpilih. Meskipun nilai yang sebenarnya tidak diketahui, tetapi dapat diperkirakan dari hasil survei. Satu ukuran yang biasa digunakan untuk mengukur seberapa jauh nilai statistik berbeda dengan nilai parameternya karena hanya menggunakan satu gugus sample disebut standard error (SE). Apabila SE dirasiokan terhadap nilai statistiknya dan dinyatakan dalam persen, statistisi menyebut perhitungan tersebut dengan istilah Relative Standard Error (RSE).

Sejauh ini, baru dua ukuran statistik yang telah Penulis perkenalkan untuk mengukur kualitas hasil suatu survei. Ada satu ukuran lagi yang biasa digunakan untuk mengukur kualitas hasil survei yaitu menghitung efek rancangan (Design Effect atau disingkat DEFF). DEFF dihitung dengan membandingkan SE suatu rancangan tertentu dengan SE jika menggunakan simple random sampling. Jika DEFF bernilai satu bermakna bahwa disain survei yang digunakan sama efisiennya dengan menggunakan disain simple random sampling. Sebaliknya, jika DEFF lebih besar dari satu menunjukkan bahwa desain survei yang digunakan kurang efisian karena menghasilkan nilai SE yang lebih besar dibandingkan dengan jika menggunakan disain simple random sampling.

Seingat penulis, BPS telah menerbitkan statistik SE, RSE dan DEFF ini pada Survei Demografi dan Kesehatan Indonesia (SDKI). Ukuran ini juga mulai diperkenalkan di Survei Sosial Ekonomi Nasional (Susenas) sejak tahun 2008 tetapi hanya sebatas SE dan RSE. Demikian juga Survei Angkatan Kerja Nasional, telah mulai menghitung SE dan RSE ini sejak tahun 2012. Ukuran statistik tersebut menjadi prasyarat bagi keterbukaan informasi hasil survei yang dilakukan BPS kepada pengguna data. Pertanyaannya adalah bagaimana metode penghitungan SE, RSE dan DEFF yang digunakan itu? Apa kriteria untuk menyatakan seberapa hasil suatu survei itu?

Di sini, Penulis hanya menguraikan metode penghitungan SE dan RSE untuk Susenas karena keseharian penulis sebagai penanggung jawab teknis seksi kesejahteraan rakyat yang menangani Susenas di Papua Barat. Disain sampling Susenas dirancang dua tahap, yaitu pemilihan blok sensus secara Probability Proportional to Size atau PPS dengan size jumlah rumah tangga di setiap blok sensus hasil sensus penduduk tahun 2010 atau SP2010. Pada tahap selanjutnya, sebanyak 10 rumah tangga dipilih secara acak dengan disain systematic sampling. Oleh karena disain Susenas tidak sesederhana disain simple random sampling, maka proses penghitungan SE dam RSE menggunakan alat bantu yaitu aplikasi program STATA. Dalam hal ini, penulis menggunakan program STATA 8. Aplikasi STATA bisa digunakan untuk menghitung kesalahan sampling sesuai dengan metodologi yang digunakan dalam hal ini (Susenas) menggunakan sampling dua tahap. STATA menggunakan metode Taylor Linearization untuk mengestimasi baik nilai total maupun rata-ratanya.

Metode Linierizasi Taylor memperlakukan persentase atau rata-rata sebagai suatu estimasi rasio, r = y/x, dengan y sebagai total nilai sampel untuk variabel y, dan x adalah jumlah kasus dalam grup atau subgrup yang diperhitungkan. Varians dari r dihitung menggunakan rumus:

dengan

dimana

h      adalah stratum yang mempunyai nilai antara 1 dan H,

m_h    adalah jumlah blok sensus terpilih dalam stratum h,

y_hi    adalah jumlah tertimbang nilai dari variabel y dalam blok sensus i, stratum h,

x_hi    adalah jumlah kasus  dalam blok sensus i dan stratum h, dan

f       adalah fraksi sampling, yang karena nilainya kecil, tidak diperhitungkan.

Tidak semua SE dan RSE variabel hasil suatu survei dihitung tetapi hanya SE dan RSE dari beberapa variabel penting saja yang dihitung. Di sini, penulis mencoba share sintaks STATA yang digunakan untuk menghitung SE dan DEFF beberapa variabel hasil Susenas misalnya RSE-APK dan RSE-MYS. Silakan unduh file-file tersebut dan jalankan di STATA.

Cara menjalankannya cukup sederhana. Bukalah aplikasi stata. Kopikan sintaks di dalam file tersebut ke dalam window do-file editor di stata lalu simpan dengan ekstensi.do. Hal lain yang perlu disiapkan adalah format data susenas dalam bentuk stata. Pastikan alamat data susenas yang disimpan sesuai dengan alamat data di sintaks. Untuk menjalankan sintaks tersebut kita tinggal klik File do…. dan pilih sintaks yang akan dijalankan.

Kualitas hasil estimasi suatu survei bisa diamati dari RSE yang dihasilkan. Menurut Soedarti dkk (2007), keputusan mengenai keakuratan suatu estimasi bisa diamati dari tabel berikut.

Kondisi	Perlakuan
RSE ≤ 25%	Akurat (bisa digunakan)
25% < RSE  ≤ 50%	Perlu hati-hati jika digunakan
RSE > 50%	Dianggap tidak akurat (harus digabungkan dengan estimasi lain untuk memberikan estimasi dengan RSE ≤ 25%.

Demikian, posting ini dipersembahkan. Semoga bermanfaat bagi pengguna data khususnya pengguna data hasil Susenas agar bisa mengetahui mana data Susenas yang akurat dan mana data Susenas yang perlu kehati-hatian penggunaanya karena nilai RSE yang besar.