Gerilla Araştırması Neyi Ölçer, Neyi Ölçemez
Gerilla araştırması basit bir takas. Kullanıcıyı laboratuvara çağırmak yerine onun bulunduğu yere gidiyorsunuz: kafeye, fuar standına, ofis koridoruna. Bütçe ve takvim kazanıyor, örneklem üzerindeki kontrolü kaybediyorsunuz. Bu takasın hangi soru tipinde kârlı hangisinde zararlı olduğunu bilmek, yöntemin kendisinden daha belirleyici.
Soru tipi yöntemi belirliyor
Kafedeki birinin size ayıracağı süre üç ila beş dakika. Yöntemin asıl sınırı bütçe değil bu süre. Üç dakikaya sığan sorular var: bu ekranda ne gördünüz, şu düğme ne yapar sizce, “bakiye aktar” ifadesi size ne anlatıyor, ilk nereye tıklardınız. Bunlar anlama ve fark etme soruları. Gerilla araştırması bu soruları laboratuvardan daha dürüst yanıtlar, çünkü karşınızdaki kişi size yardım etme baskısı altında değildir.
Sığmayanlar da belli. Bir aracı ikinci haftada nasıl kullandığı, bir formu kendi gerçek verisiyle doldururken nerede vazgeçtiği, iki gün süren bir onay akışının neresinde takıldığı. Bunlar zamanla ilgili sorular. Zaman satın alamadığınız yerde sorulduklarında, alacağınız kibar tahminleri veri sanmakla biten bir iş oluyor.
Beş kullanıcı kuralı buradan çıkmadı
“Beş kişi yeter” cümlesi gerilla araştırması yazılarının değişmez maddesi. Kaynağı Nielsen ve Landauer'in 1993 tarihli hesabı: bir kullanıcının herhangi bir kullanılabilirlik sorununu bulma olasılığı L ise, n kullanıcıyla ortaya çıkan sorunların oranı 1-(1-L)^n kadar olur. L'yi 0,31 alırsanız beş kullanıcı sorunların yaklaşık %85'ini, sekiz kullanıcı %95'ini yakalar. Eğri hızla düzleştiği için “beşten sonrası israf” fikri makul görünür.
Fakat bu hesap tek bir varsayım üzerine kurulu: her katılımcının L değeri aynı, yani hepsi aynı kullanıcı kitlesinden geliyor. Gerilla araştırmasının tanımı tam da bu varsayımı ihlal etmek. Kafede yakaladığınız beş kişinin üçü ürününüzü hiç kullanmayacak biriyse, onların L'si sizin gerçek kullanıcınızınkiyle aynı değil. Formül yine çalışır, ama başka bir popülasyonun sorunlarını sayar. Beş sayısını laboratuvardan alıp sokağa taşımak, hesabın dayandığı şartı geride bırakmak oluyor.
Kalabalık yanlılığı düzeltmiyor
Aynı metinlerde iki madde yan yana durur: “çok sayıda kişiye hızla ulaşırsınız” ve “örneklem hedef kitleyi temsil etmeyebilir”. Biri avantaj, diğeri dezavantaj diye sıralanınca sayının sorunu çözeceği izlenimi doğuyor. Çözmüyor. Aynı kafede aynı saatte konuştuğunuz elli kişi, beş kişiden geniş bir örneklem değil; aynı örnekleme noktasının elli kez tekrarı. Yanlılık örneklem büyüdükçe azalmaz, yalnızca daha dar bir güven aralığıyla raporlanır. Sonuç olarak yanlış cevabı daha yüksek özgüvenle söylersiniz.
Yöntemin asıl riski hatalı bulgu değil zaten. Hatalı bulgu er geç düzelir. Asıl risk, üç kişinin kibar onayıyla bir tasarım kararını kapanmış saymak.
Ucuzluk kaybolmuyor, yer değiştiriyor
Geleneksel araştırmanın pahalı kalemi laboratuvar kirası değil, katılımcı seçimi: tarama anketi, katılım ödemesi, iptal edenin yerine yenisini bulmak. Gerilla araştırması bu kalemi silmiyor, maliyeti karar riskine aktarıyor. Kimin konuştuğunu bilmediğiniz için bulgunun ne kadarına güveneceğinizi de bilmiyorsunuz.
Çoğu zaman kârlı bir takas bu. Bir etiketi değiştirmek ucuzdur, yanlış değiştirildiyse geri almak da ucuzdur. Ama veri modelini ya da fiyatlandırma ekranını üç kafe sohbetiyle kurmak aynı hesaba girmiyor. Geri dönüşü haftalar süren kararlarda kimin konuştuğunu bilmek gerekiyor.
Sahada farkı açan birkaç alışkanlık
- Gitmeden önce yanıtını aradığınız iki soruyu yazın. Üç değil. Beş dakikada üçüncüye sıra gelmiyor.
- Cihazı elinizde tutup göstermeyin, karşınızdakine verin. Gösterdiğiniz anda test biter, geriye nezaket kalır.
- Yorumu değil cümleyi not edin. “Menüyü bulamadı” sizin çıkarımınız, “burada arama kutusu olur sanmıştım” veri.
- Reddedenleri sayın. Yirmi kişiden on sekizi konuşmadıysa, konuşan ikisi büyük ihtimalle ortalama kullanıcınız değil.
Gerilla araştırması küçük soruları hızla kapatmak için iyi bir alet. Büyük soruları kapatmak için kullanıldığında verdiği tek şey rahatlama.
Kaynak