Kullanıcı Araştırmalarında Katılımcı Eleme: Tarama Anketi Nasıl Kurulur
Bir tarama anketinin işi katılımcı toplamak değil, yanlış katılımcıyı testin dışında tutmak. Sekiz kişilik bir testte iki kişi araştırmanın konusunu baştan tahmin edip cevaplarını ona göre ayarladıysa, o test hiç yapılmamış olmasından daha pahalıya patlar, çünkü çıkan sonuca güvenirsiniz. Aşağıda eleme formunun nerede sıkılaştırılacağını, nerede gevşetilmesi gerektiğini anlatıyorum.
Kriter sayısı çarpar, toplamaz
Eleme formunu on soruyla sınırlamak yaygın bir tavsiye ve makul: katılımcı bu formu doldururken para almıyor, uzarsa yarıda bırakıyor. Ama asıl sınır soru sayısı değil, kriterlerin birbirini çarpması.
Beş zorunlu kriteriniz olduğunu ve her birini gelenlerin %60'ının geçtiğini varsayın. Formu dolduran 100 kişiden yaklaşık 8'i uygun çıkar (0,6 üssü 5, yani 0,078). Sekiz katılımcı için 100 tarama cevabı toplamanız gerekir. Kriteri altıya çıkardığınızda aynı sekiz kişi için gereken cevap sayısı 170'e fırlar. Kriter eklemek formu bir soru uzatmaz, saha süresini ikiye katlar.
Bu yüzden listeyi yazarken zorunlu olanla "olsa iyi olur" olanı ayırın. Zorunlu kriter üç ya da dört tane olsun, gerisini eleme değil kota olarak kullanın: uygun havuzdan seçerken dengelersiniz.
Tuzak şık tek başına diskalifiye sebebi değil
Var olmayan bir seçeneği listeye koyup onu işaretleyeni elemek eski ve işe yarayan bir yöntem. Sorun şu ki uydurduğunuz ad gerçek bir ürüne benziyorsa, dikkatli katılımcıyı da yakalar. Piyasadaki bir isme bir harf uzaklıktaki sahte seçenek, dürüst insanı yanlış hatırlamaya iter.
İki tuzak koyun ve yalnızca ikisini birden işaretleyeni eleyin. Tuzağı listenin ortasına yerleştirin, son sıra zaten en az okunan yer. Sahte adı da tanıdık bir şeye benzetmeden uydurun.
Beyan değil, davranış sorun
"Bu uygulamayı kullanıyor musunuz?" sorusunun ölçtüğü tek şey, kişinin hangi cevabı vermesi gerektiğini bilmesi. Bunun yerine son kullanımın izini isteyin: uygulamada en son ne yaptı, hangi ekrandan yaptı, o işlem kaç adım sürdü. Kullanmayan biri bu soruyu boş geçer ya da genel geçer bir şey yazar, ikisi de sizin için yeterli sinyal.
Kullanım sıklığı sorarken de aralık verin. "Sık kullanırım" herkesin kendine göre doldurduğu bir kutu; "son 30 günde kaç kez" değil.
Otomatik eleme ile açık uçlu soru aynı forma sığmaz
Kaynakların çoğu iki şeyi yan yana önerir: açık uçlu sorularla derinlemesine ölçün ve cevapları otomatik filtreleyin. Bu ikisi birbirini yer. Açık uçlu cevabı okuyup değerlendiren bir insan yoksa, o soru forma sadece terk oranı ekler.
Sıralamayı bölün. Kapalı sorularla otomatik ön eleme yapın, ayakta kalan küçük gruba tek bir açık uçlu soru yöneltin ve o cevapları gözle okuyun. Yüz formun sekizini okumak beş dakika sürer; yüzünü birden okumak formu baştan anlamsız kılar.
Asıl kaçırdığınız grup
Panelden gelen katılımcıyı peşinen şüpheli saymak gereksiz. Panelde sorun olan kişi, ayda on araştırmaya girip hangi cevabın kendisini içeri aldığını öğrenmiş olandır; onu da soruların sırasını ve şıkların dizilimini her araştırmada değiştirerek yakalarsınız.
Araştırmaya dahil edilmesi en zor grup ise mevcut müşteriler değil, ürünü bir kez deneyip bırakanlar. Kullanıcı listenizde görünmezler, panelde "kullanıcı" olarak işaretlenmezler, oysa aradığınız cevabın yarısı onlarda. Tarama formuna "daha önce kullandım, artık kullanmıyorum" seçeneğini koyun ve bu kişileri elemek yerine ayrı bir kotaya alın. Eleme kriterlerini sıkılaştırdıkça araştırma, üründen zaten memnun olanların odasına dönüşür.