Kullanıcı Testi Araçları: Hangi Soruya Hangisi Cevap Verir
Kullanıcı testi, araç seçmekle değil, cevabını aradığınız soruyu bir cümleyle yazmakla başlar. Beş saniyelik ilk izlenim testiyle A/B testi aynı işi yapmaz: biri tasarımın ne çağrıştırdığını, diğeri hangi varyantın daha çok tıklandığını ölçer. Aşağıda araçları isimlerine göre değil, cevapladıkları soruya göre ayırdım; her birinin nerede sustuğunu da yazdım.
Önce soru, sonra araç
Pratikte üç ayrı soru sorulur ve çoğu karışıklık bunların birbirine karıştırılmasından çıkar. Birincisi davranış sorusudur: kullanıcı bu ekranda ne yapacağını anlıyor mu, görevi tamamlayabiliyor mu? İkincisi karşılaştırma sorusudur: iki seçenekten hangisi daha iyi çalışıyor? Üçüncüsü algı sorusudur: bu tasarım ne hissettiriyor, ne vaat ediyor gibi duruyor? Bir araç genelde bunlardan yalnızca birine iyi cevap verir, diğer ikisine verdiği cevap ise gürültüdür.
Az kişiyle derin bakan testler
Davranış sorusu için birini ekranın başına oturtup görev vermek gerekir. Moderatörlü kullanılabilirlik testi, uzaktan görev testi ve ekran kaydı bu gruba girer. Yaygın olarak alıntılanan tahmin, beş kullanıcının kullanılabilirlik sorunlarının büyük bölümünü ortaya çıkardığı yönündedir. Bu tahminin sessiz bir varsayımı var: tek bir görev akışı ve tek tip kullanıcı. İki farklı kullanıcı profiliniz varsa, örneğin hem alıcı hem satıcı tarafı, beş kişi ikiye bölünür ve her taraf için ikibuçuk kişilik bir örneklem kalır. O noktada tahmin çalışmaz, testi profil başına ayrı kurmanız gerekir.
Bu testlerin çıktısı sayı değil, cümledir. "Kullanıcı filtre butonunu üç kez kaydırma çubuğu sandı" türünden bir gözlem, yüzdelik bir tablodan daha çabuk aksiyona dönüşür.
Çok kişiyle dar soru soran testler
Karşılaştırma sorusu istatistik ister ve istatistik trafik ister. Buradaki en sık hata, günde birkaç yüz ziyaretçi alan bir sayfada A/B testi kurup iki hafta sonra "fark çıkmadı" demektir. Kaba bir hesapla, varyant başına gereken ziyaretçi sayısı n ≈ 16 × p × (1 − p) / δ² formülüyle bulunur. Dönüşümünüz %2 ise ve bunu %2,4'e çıkaran bir farkı görmek istiyorsanız p = 0,02, δ = 0,004 olur ve sonuç varyant başına yaklaşık 19.600 ziyaretçidir. Aylık 10 bin ziyaretçili bir sitede bu, tek bir test için dört aydan uzun bir süre demek. Küçük trafikte A/B testi kurmak yanlış değil, sadece o sürede beş kişiyle görev testi yapmak çok daha fazla bilgi verir.
Algı sorusu içinse örneklem daha küçük olabilir. Beş saniye testi ve tercih testi bu iş için tasarlanmıştır: tasarımı kısa süre gösterip akılda ne kaldığını, ya da iki mockup'tan hangisinin seçildiğini sorar. Cevap "hangisi daha iyi satar" değildir, "hangisi daha net anlaşılır" olur. İkisini karıştırıp tercih testinin sonucunu dönüşüm tahmini gibi sunmak, yaygın ve pahalı bir hatadır.
Araç adları eskir, yöntem eskimez
Bu alandaki listelerin ömrü kısa. PollDaddy artık Crowdsignal adıyla çalışıyor, UsabilityHub ise Lyssna oldu; birkaç yıl önceki rehberlerde adı geçen bazı araçlar bugün hiç yok. Bu yüzden eski bir kaynağı okurken araç adını değil, yöntemin adını not edin: tercih testi, ilk izlenim testi, kart gruplama, ağaç testi, uzaktan görev testi. Yöntemin karşılığı olan bir araç her zaman bulunur, çoğu da ücretsiz bir başlangıç paketi sunar. Isı haritaları ve oturum kayıtları bu sınıflandırmanın dışında kalır; ölçüm değil, gözlem malzemesi üretirler (sunumlarda etkileyici görünürler, karar verdirici bulmam).
Soruyu sorma biçiminiz cevabı belirler
Geri bildirim toplarken sorunun kendisi bir ölçüm hatası kaynağıdır. "Bu tasarımı beğendiniz mi?" sorusuna gelen evet oranı, tasarımdan çok soranın kim olduğuyla ilgilidir. Bunun yerine geçmiş davranışı sorun: en son ne zaman bu işi yaptınız, o an nereye baktınız, nerede takıldınız? Gelecek niyetini soran sorular ("bunu kullanır mıydınız?") neredeyse her zaman olduğundan iyimser cevap verir.
Bir de test ortamının kendisi var. Kullanıcıya "şimdi şu butona basın" derseniz zaten bulmasını istediğiniz şeyi göstermiş olursunuz. Görev, arayüzün diliyle değil kullanıcının diliyle tarif edilmeli: "Ödeme yöntemini değiştir" değil, "kartın son kullanma tarihi geçmiş, yenisini tanımlamak istiyorsun".
Kaynaklar