Kullanıcı Araştırması: Hangi Yöntem Hangi Soruyu Cevaplar
Kullanıcı araştırması denince akla önce anket ve A/B testi gelir. Oysa çoğu sitenin trafiği bu yöntemlerin anlamlı sonuç üretmesine yetmez; elde kalan sayı, tesadüfle gerçek farkı birbirinden ayıramaz. Doğru yöntem sorunun türüne ve örneklem büyüklüğüne göre değişir, ikisi karıştırıldığında araştırma bütçesi veri değil rahatlama satın alır.
Nitel ve nicel aynı soruyu cevaplamaz
Görüşme, gözlem ve kullanılabilirlik testi “neden” sorusunun yöntemleridir. Kullanıcı formu neden yarıda bıraktı, hangi kelimeyi yanlış anladı, hangi adımda ekrandan çıkıp başka bir sekmeye geçti. Beş kişilik bir oturumda bu soruların çoğu cevap bulur.
Anket, analitik ve A/B testi ise “ne kadar” sorusunun yöntemleridir: kaç kişi bıraktı, hangi versiyon daha çok tıklandı. Bu iki grubu birbirinin yerine koymak araştırmanın en sık yapılan hatasıdır. Nedenini bilmediğiniz bir düşüşü daha fazla veri toplayarak açıklayamazsınız, yalnızca daha kesin ölçersiniz.
Örneklem, tavsiyeyi sessizce geçersiz kılar
“Her değişikliği A/B testiyle doğrulayın” tavsiyesi, testin ne kadar veri istediğini söylemediği sürece eksik kalır. İki dönüşüm oranını karşılaştırırken kol başına gereken ziyaretçi sayısı kabaca 16 × p × (1 − p) / fark² ile bulunur.
Dönüşümü %2’den %2,4’e çıkaran bir iyileştirmeyi yakalamak istiyorsanız aradığınız fark 0,004 olur ve hesap kol başına yaklaşık 21 bin ziyaretçi verir, iki kol için 42 bin. Ayda 5 bin ziyaretçi alan bir sitede bu testin sonucu ancak bir yıl sonra çıkar, o sırada sitede başka on şey değişmiştir. Yani tavsiye, en çok ihtiyaç duyan sitede en kötü çalışır.
Küçük bir sitede iki tasarım arasındaki kararı A/B testinin çıktısına bağlamam; o sayı çoğunlukla gürültünün kendisidir. Aynı bütçeyle beş kişiyi oturtup formu doldurmalarını izlemek daha fazlasını söyler.
Empatiden geriye kalan gözlemdir
Araştırma metinlerinde empati kelimesi fazla yer kaplıyor, üstelik ölçülebilir bir karşılığı yok. İşe yarayan kısmı daha sıkıcı: insanları kendi ortamlarında izlemek.
Samsung’un televizyon tasarımında yaptığı etnografik çalışmalar bunun iyi bir örneği. Ekip, teknik özelliklerin yanında cihazın oturma odasına nasıl yerleştiğini, kapalıyken neye benzediğini de bir tasarım sorunu olarak görmüştü. Bu tespit anketten çıkmaz; anket sorduğunuz şeyi ölçer, sormayı akıl edemediğinizi değil.
Testi geciktirmenin faturası
Kullanılabilirlik sorunlarının çoğu ucuz bulunur, pahalı düzeltilir. Arayüz kararı veritabanı şemasına ya da API sözleşmesine sızdıktan sonra “şu adımı ikiye bölelim” demek bir sprint işidir, prototip aşamasında beş dakikalık iştir.
Wikiwand’ın yaptığı da tam olarak buydu: Wikipedia’nın içeriğine hiç dokunmadan tipografiyi, satır uzunluğunu ve gezinmeyi değiştirdi. Aynı veriyle farklı bir deneyim çıktı, çünkü sorun veride değil sunumdaydı.
ROI ölçülebilir, ama neyi ölçtüğünüze dikkat
Etsy gibi sürekli test yapan ekipler, tasarım değişikliğini ticari metriğe bağlayabiliyor. Bunu mümkün kılan şey araştırma kültürü değil, trafik hacmi. Aynı yöntemi kurumsal bir B2B panelinde uygulamaya çalıştığınızda elinizde haftada kırk oturum olur ve hiçbir sonuç anlamlı çıkmaz.
Böyle durumlarda ROI’yi dönüşüm oranıyla değil operasyonel maliyetle kurun: destek talebi sayısı, bir işin tamamlanma süresi, hatalı kayıt oranı. Bunlar küçük örneklemde bile hareket eder ve muhasebe tarafında karşılığı vardır.
Kaynaklar