Anket Ne Zaman İşe Yarar, Ne Zaman Yanıltır

Anket, kullanıcı araştırmasında kurulumu en kolay yöntem: bir form, bir dağıtım listesi, birkaç yüz satır veri. Kolay kurulması, sorduğun soruyu cevapladığı anlamına gelmiyor. Anketin güvenilir çalıştığı alan sanılandan dar ve o alanın dışına çıkıldığında ürettiği tablo çoğunlukla yanlış yöne cesaret veriyor.

Anketin gerçekten cevapladığı soru

Anket, “kaç kişi” sorusunda iyidir. Kaç kişi yeni akışı tamamlayabildi, kaç kişi fiyatlandırma sayfasını anlaşılır buldu, kaç kişi mobilden giriyor. Bu sayılar işe yarar, ama bir kısıtla: cevap şıklarını sen yazdığın için sonuç da senin çerçevenin içinden çıkar.

“Neden” sorusunda ise anket zayıf kalır. Kullanıcı bir davranışının sebebini, sorulduğu anda üretir; o sırada gerçekte ne düşündüğünü değil, şimdi makul görünen bir açıklamayı yazar. Bunun katılımcının dürüstlüğüyle ilgisi yok, hatırlamanın nasıl çalıştığıyla ilgisi var.

Ankete kim cevap veriyor

Yaygın tavsiye, her büyük sürümden sonra memnuniyet anketi yayınlamaktır. Buradaki sorun genelde atlanıyor: anket çoğunlukla ürünün içinde gösterilir. Yani yeni sürümden en çok rahatsız olan, akışı yarıda bırakan, hesabını dondurup giden kullanıcı o formu hiç görmez. Geriye, değişikliğe rağmen kalmayı sürdüren kitle kalır ve onların memnuniyeti ortalamayı yukarı çeker.

Sürüm sonrası anket skorunun yükselmesi bu yüzden tek başına iyi haber sayılmaz. Aynı dönemin terk oranına, destek taleplerine ve akış tamamlama sayılarına bakmadan elindeki rakam sadece hayatta kalanların sesidir.

Serbest metin kutusu

Anketlerin sonuna eklenen “eklemek istediğiniz bir şey var mı” kutusu nitel araştırmanın yerine geçmez. Üç yüz kişiden gelen üç yüz tek cümle, kodlanması saatler alan ama derinliği tek bir görüşmenin yanına yaklaşmayan bir yığın üretir (bu kutunun çoğu projede araştırmacıyı değil ekibin vicdanını rahatlattığını düşünüyorum). Aynı emekle sekiz kişiyle yarım saat konuşursan, neden sorusunun cevabını gerçekten alırsın.

Nereye geçmeli

Bağlamsal sorgulama

Kullanıcıyı kendi masasında, kendi verisiyle, kendi aksaklıklarıyla izlersin. Anketin asla göremeyeceği şeyler burada çıkar: yan ekranda açık duran tablo dosyası, ürünün eksiğini kapatmak için kurulmuş el yordamı çözümler, kimsenin şikâyet etmediği ama herkesin etrafından dolaştığı bir ekran.

Yarı yapılandırılmış görüşme

Anket şaşırtıcı bir sonuç verdiğinde doğru hamle örneklemi büyütmek değil, o cevabı veren on kişiyle konuşmaktır. Hazır soruların yanında cevaba göre yön değiştirebilmek, sayının arkasındaki mekanizmayı ortaya çıkarır.

Kart sıralama ve ağaç testi

İkisi aynı işi yapmaz, sırayla kullanılır. Kart sıralama yapıyı üretir: kullanıcı kavramları nasıl gruplandırıyor, hangi başlık hangi kutuya düşüyor. Ağaç testi ise üretilmiş yapıyı sınar: menüde hedefe doğru dalda ve kaç adımda ulaşılıyor. Sadece kart sıralama yaparsan doğrulanmamış bir bilgi mimarin olur; sadece ağaç testi yaparsan yanlış bir yapıyı özenle ölçmüş olursun.

Sıralama meselesi

Anketi araştırmanın başına koymak, gördüğüm en yaygın hata. Başlangıçta ne sorulacağı bilinmediği için şıklar tahminle yazılır, sonuç da doğal olarak o tahmini onaylar. Doğru sıra tersi: önce birkaç görüşme ya da saha gözlemiyle sorunun ne olduğunu bul, sonra anketle o sorunun kaç kişide görüldüğünü ölç. Anket keşif aracı değil, büyüklük ölçme aracıdır.