Anket Kalitesi: Soruyu Test Etmek, Veriyi Doğru Temizlemek
Anket kalitesi analiz aşamasında değil, sorular yazılırken belirlenir. Kötü kurulmuş bir soruyu sonradan istatistikle kurtaramazsın; elinde temiz görünen ama yanlış bir tablo kalır. İşin büyük kısmı yayına çıkmadan yapılan testte, kalanı da veri temizlerken doğru eşiği seçmekte biter.
Önce soruyu birine okut
Beş altı kişi yeter. Soruyu sesli düşünerek yanıtlamalarını iste, cevabı değil düşünme sürecini dinle. Aradığın şey yanlış cevap değil, doğru cevabın yanlış soruya verilmesi: katılımcı emin bir şekilde işaretliyor olabilir ama senin sorduğunu sandığın şeyi cevaplamıyordur.
En sık takıldıkları yerler bellidir. Aynı cümlede iki şey soran maddeler ("ürünü hızlı ve kolay buldunuz mu"), tanımı belirsiz sıklık ifadeleri ("sık sık", "ara sıra"), ve katılımcının kendinde ölçemeyeceği şeyler ("bu özellik verimliliğinizi yüzde kaç artırdı").
Pilotun 30 kişiyle sana söylemediği şey
Yaygın tavsiye anketi 25-30 kişilik bir grupla denemektir. Faydalıdır, ama ne verdiğini bilerek kullan. Bir sorunun pilotta hiç görülmemesi, gerçekte olmadığı anlamına gelmez: n denemede sıfır gözlem varsa gerçek oranın üst sınırı kabaca 3/n'dir. 30 kişide bu yüzde 10 demek. Yani beş bin kişiye gidecek bir ankette her on kişiden birini takan bir ifade, 30 kişilik pilotta rahatlıkla görünmeden geçer.
Pilotu sorun kanıtlamak için değil, en kaba hataları yakalamak için kur. Soru bazında bırakma noktasına, tamamlama süresine ve açık uçlu alanların doluluk oranına bak. Yüzde 40'ı belli bir sorudan sonra terk ediyorsa sebebini test etmene gerek yok, sorun o sorudadır.
Ters kodlanmış maddelerle standart sapma birlikte çalışmaz
İki tavsiye ayrı ayrı doğrudur, birlikte uygulanınca birbirini bozar. Birincisi: bazı maddeleri olumsuz yönde yaz, katılımcı otomatiğe bağlamasın. İkincisi: aynı sütuna basıp geçen katılımcıyı yakalamak için her katılımcının cevaplarının standart sapmasına bak, sıfıra yakınsa şüphelen.
Ters kodlanmış maddeleri puanlamadan önce çevirmezsen bu testin işareti tersine döner. Gerçekten tutarlı bir katılımcı ters maddeye 1, düz maddeye 5 verir ve yüksek varyans üretir. Hiç okumadan hepsine 3 basan kişinin varyansı ise tam sıfırdır; en tutarlı görünen o olur. Sıra şu: önce ters maddeleri düzelt, sonra varyansı hesapla (bu adım atlandığında tablo gayet düzgün göründüğü için fark edilmesi de zordur).
Süre filtresini ortalama ± 3 sapma ile kurma
Tamamlama süresi normal dağılmaz, sağa çarpıktır: alt uçta fiziksel bir sınır vardır, üst uçta anketi açık bırakıp kahve içmeye giden biri yüzünden kuyruk uzar. Ortalamadan üç standart sapma çıkardığında alt sınır çoğu zaman negatif ya da anlamsız derecede küçük bir sayı olur, yani hızlı doldurucuları elemek için kurduğun filtre kimseyi elemez. Üst tarafta ise fazlasıyla geniş bir aralık kalır.
Yüzdelik kullan. Medyan tamamlama süresinin yarısının altını işaretle, ya da süreyi logaritmasını alıp öyle bak; log ölçekte dağılım simetriğe yaklaşır ve sapma tabanlı eşik anlamlı hale gelir. Eşiği her anket için yeniden hesapla, soru sayısı ve tip karışımı değiştiğinde geçen seferki değer geçersizdir.
Hızlı doldurmayı tek başına suç saymayın da. Konuya hakim biri okumayı gerçekten hızlandırır. Süreyi ikinci bir işaretle birlikte kullanın: kısa süre artı sıfır varyans, ya da kısa süre artı boş bırakılmış açık uçlu alan.
Mükerrer yanıtlar ve dikkat kontrolü
IP adresi tek başına kimlik değildir. Kurumsal ağ, üniversite kampüsü ya da mobil operatör arkasındaki yüzlerce kişi aynı adresten görünür; buna bakıp kayıt silersen gerçek katılımcıyı atarsın. Üç işaret birleştiğinde şüphelen: aynı adres, birbirine çok yakın gönderim zamanı ve neredeyse aynı cevap örüntüsü.
Dikkat kontrol sorusu koyacaksan bir tane koy. İkinci ve üçüncüsü anketin tonunu bozar, dürüst katılımcı da sınava sokulduğunu hissedip yarıda bırakır. Zaten en iyi filtre açık uçlu alandır: alakasız cümle, kopyala yapıştır metin ya da soruyla ilgisi olmayan bir ürün adı, birkaç saniyede görülür.
Neyi atacağına veriyi görmeden karar ver
Bunların hepsinden daha çok fark yaratan tek kural bu. Temizleme kriterlerini anket açılmadan yaz: hangi süre eşiği, hangi varyans sınırı, kaç eksik cevapta kayıt düşecek. Veriyi gördükten sonra eşik seçmek, istemeden de olsa beklediğin sonuca uymayan katılımcıları elemek anlamına gelir ve bunu yaparken kendini kötü hissetmezsin bile, her seferinde makul bir gerekçen olur.
Raporda kaç kaydın hangi kriterle düştüğünü de yaz. Bin katılımcının 80'ini attıysan bu bilgi sonucun okunma biçimini değiştirir, saklanacak bir şey değil. Elediğin oran yüzde 15'i geçiyorsa sorun katılımcılarda değil, ankette aranır.