Kullanıcı Testinde Gerçekten İşe Yarayan Beş Yetkinlik
Kullanıcı testi iyi yazılmış bir senaryodan ibaret değil. Aynı senaryoyu iki farklı kişi yürüttüğünde çıkan sonuçlar birbirini tutmuyorsa kusur senaryoda değil, seansı yönetenin elindedir. Organizasyon, gözlem, empati, tarafsızlık ve raporlama; bu beşi testin veri mi yoksa gürültü mü ürettiğini belirler.
Organizasyon: sonuç seans başlamadan önce şekillenir
Planlama denince akla genelde katılımcı takvimi gelir. Asıl belirleyici olan, testin üzerinde koştuğu ortamın durumudur. Sepeti boş bir hesapla mı test ediyorsunuz, üç ürün eklenmiş bir hesapla mı? Katılımcı kendi telefonunu mu kullanıyor, sizin hazırladığınız cihazı mı? Bu iki ayrımın sonuç üzerindeki etkisi, senaryo metnini cilalamaktan çok daha büyük.
Kayıt yazılımının seans sabahı kontrol edilmesi de aynı kategoriye girer. İlk beş dakikası mikrofon ayarıyla geçen bir seansta katılımcı zaten savunmaya geçmiş olur.
Gözlem: söylenen değil, yapılan
Katılımcılar düşündüklerini her zaman söylemez, çoğu zaman da söyledikleriyle yaptıkları örtüşmez. Bir butona tıklamadan önceki iki saniyelik duraklama, seans sonunda "gayet anlaşılırdı" demesinden daha fazla bilgi taşır. İmleç sayfada dolanıyorsa aranan şey bulunamamıştır, katılımcı bunu ifade etmese bile.
"Sesli düşün" protokolüne de fazla güvenmemek gerekir. İnsandan hem bir görevi yapması hem de yaptığını anlatması istendiğinde davranışı değişir: daha yavaş ilerler, daha dikkatli olur, bazı adımları sonradan mantığa uydurur. Yöntem yararsız değil, ama ürettiği anlatı bir kanıt değil, bir yorumdur.
Empati ile hoşgörüyü karıştırmamak
Empati, katılımcının her tepkisini haklı bulmak anlamına gelmiyor. Anlaşılması gereken şey tepkinin kendisi değil, arkasındaki beklenti. Kullanıcı "bu renk hoşuma gitmedi" dediğinde ortada bir renk sorunu olmayabilir; o alanı tıklanabilir sandığı için bakmış, tıklayamayınca rahatsız olmuş olabilir. Beklentiyi bulmadan yapılan her düzeltme kör atıştır.
Bir görevin kolayca tamamlandığı anları not almak da aynı ölçüde işe yarar. Neyin işlediğini bilmeden, işleyeni bozmamayı garanti edemezsiniz.
Tarafsızlık: asıl zor olan susmak
Yönlendirici soru sormamak öğrenmesi kolay bir kural. "Bu ekranı beğendiniz mi" yerine "bu ekranda ne yapardınız" demek birkaç seansta alışkanlık haline gelir. Zor olan, katılımcı yanlış menüye girdiğinde eli klavyeye gitmemek.
Tam tarafsızlık zaten ulaşılabilir bir hedef değil. Katılımcı sizinle aynı odada olduğunu biliyor ve büyük ihtimalle sizi memnun etmek istiyor. Bunu azaltmanın en pratik yolu görev dağılımı: senaryoyu tasarlayan kişi ile seansı yürüten kişi aynı olmasın. Kendi tasarımını test eden birinin sonuçlarını, dışarıdan bir moderatörün aldığı sonuçlardan daha az güvenilir bulurum, iyi niyetle çalıştığında bile.
Raporlama: veriyi karara bağlamak
Rapor, sorun listesi olmaktan çıkıp bir nedensellik anlatısına dönüştüğünde işe yarar. "Yedi kullanıcıdan beşi kargo ücretini ödeme adımında gördü ve ikisi sepeti bıraktı" cümlesi, "kargo bilgisi net değil" cümlesinden farklı bir şey yapar: ölçülebilir bir hedef koyar.
Seans sonrası memnuniyet anketini, seans sırasında tutulan gözlem notundan daha zayıf bir kanıt sayarım. Anket katılımcının hatırladığını ölçer, not ise olanı. İkisi çeliştiğinde nota bakın.
"Beş kullanıcı yeter" nereye kadar doğru
En sık tekrarlanan rakam bu: beş kullanıcı sorunların yüzde 85'ini bulur. Rakamın kaynağı bir tahmin değil, basit bir olasılık hesabı. Tek bir kullanıcının belirli bir sorunla karşılaşma olasılığına L dersek, n kullanıcıda o sorunun en az bir kez görülme olasılığı 1 - (1 - L)^n olur. Nielsen'in çalışmasındaki ortalama L değeri 0,31 ve beş kullanıcı için sonuç yüzde 84 çıkıyor.
Kritik olan, sonucun L'ye ne kadar duyarlı olduğu:
| L (tek kullanıcının sorunu görme olasılığı) | 5 kullanıcı | 10 kullanıcı |
|---|---|---|
| 0,31 | %84 | %98 |
| 0,20 | %67 | %89 |
| 0,10 | %41 | %65 |
Yani beş kullanıcı kuralı, sorunların kabaca üçte birinin herkesin başına geldiği bir arayüz için geçerli. Olgun bir üründe kalan sorunlar tam da nadir olanlardır: L düştükçe beş kullanıcı yarıdan azını yakalar. Kural, en çok ihtiyaç duyulduğu yerde en zayıf çalışıyor.
İkinci sınır segmentlerde. Formül tek ve türdeş bir kullanıcı grubu varsayar. Bayi paneli ile son kullanıcı ekranı ayrı davranış kalıpları üretiyorsa her segment için ayrı beş kişi gerekir, üç segmentli bir üründe rakam on beşe çıkar. "Uzun katılımcı listesini beşe indirin" tavsiyesi bu durumda ters çalışır.
Pratik karşılığı şu: ilk turda beş kişiyle başlayın, bulduklarınızı düzeltin, sonra tekrar test edin. Aynı bütçeyle tek seferde on beş kişiyle görüşmek, ikinci turun ortaya çıkaracağı sorunları hiç göstermez, çünkü o sorunlar henüz mevcut değildir.
Seansları bozan alışkanlıklar
- Katılımcıyı ekiple aynı odada test etmek. İzleyici sayısı arttıkça katılımcı hata yapmaktan kaçınır, hata yapmayan kullanıcıdan da veri çıkmaz.
- Görevi soru olarak vermek. "Ürünü sepete ekleyebilir misiniz" sorusunun cevabı evettir; "bu ürünü satın almak istiyorsunuz" ise bir görevdir.
- Tek turda bitirmek. Düzeltmeden sonra ölçülmeyen bir iyileştirme, iyileştirme olduğunu kanıtlamamış demektir.
Kaynaklar