UX Araştırma Yöntemleri: Üç Klasik Yöntem Nerede Yanıltır
Odak grup, anket ve heuristik değerlendirme, UX araştırmasının en kolay ulaşılan üç yöntemi. Üçü de işe yarar, üçü de aynı yerden sızdırır: insanların ne yaptığını değil, ne söylediğini ya da bir uzmanın ne düşündüğünü ölçerler. Sızıntının nerede olduğunu bilirseniz yöntem çalışır. Bilmezseniz yanlış yöne emin adımlarla yürürsünüz.
Odak grup neyi ölçer
Odak grup, benzer profildeki birkaç kişinin bir moderatör eşliğinde konuşturulmasıdır. Fikir toplamak, bir kavramın insanlar tarafından nasıl adlandırıldığını duymak, ilk tepkinin sıcaklığını ölçmek için iyi çalışır. Kullanılabilirlik ölçmek için çalışmaz.
Sebebi grubun kendisi. Masada bir kişi konuyu erken bağladığında geri kalanlar ona göre konumlanır; itiraz edecek olan susar, kararsız olan taraf tutar. Çıkan tutanak sekiz kişinin görüşü gibi görünür, pratikte en yüksek sesli ikisinin görüşüdür. Bir arayüzün anlaşılıp anlaşılmadığını öğrenmek istiyorsanız aynı sekiz kişiyi tek tek ekranın başına oturtmak, aynı bütçeyle kıyaslanamayacak kadar çok şey verir.
Anket: gelecek zaman kipinin tuzağı
Anket bir ölçek aracıdır. Kaç kişi, hangi oranda, hangi segmentte sorularına iyi cevap verir. Ama soru “önümüzdeki ay bunu kullanır mıydınız” biçimine girdiği anda ölçtüğü şey sessizce değişir ve niyet ölçmeye başlar.
Niyetle davranış arasındaki fark rastgele değil, sistematik ve tek yönlüdür: insanlar kendilerini olmak istedikleri kişi olarak raporlar. Spor salonu üyeliğinden tasarruf planına, beyan hep gerçekleşenin üstünde çıkar. Bunun pratik karşılığı anketi çöpe atmak değil, soruyu geçmiş zamana çevirmektir. En son ne zaman yaptınız, o sefer kaç denemede oldu, tıkandığınızda ne yaptınız. Hatırlama da kusurludur, ama uydurmaya niyetten daha kapalıdır.
Heuristik değerlendirme tek kişiyle yapılmaz
Heuristik değerlendirme, arayüzün Nielsen’in on ilkesi gibi bir kontrol listesine karşı uzman gözüyle taranmasıdır. Ucuzdur ve hızlıdır; bir öğleden sonrada ciddi sayıda sorun çıkarır. Asıl mesele yöntemde değil, uygulanışında: çoğu yerde tek kişiyle yapılıyor.
Nielsen’in yöntemi tarif ederken verdiği rakam tam da buna dair. Tek değerlendirici sorunların kabaca üçte birini buluyor, beş değerlendiriciye çıkıldığında oran dörtte üçe yaklaşıyor. Aradaki farkın sebebi şu: değerlendiriciler büyük ölçüde farklı sorunları buluyor, aynı listeyi çoğaltmıyorlar. Yani tek uzmanın raporu yanlış değildir, eksiktir, üstelik hangi üçte biri gördüğünü size söylemez. Bütçe bir uzmana yetiyorsa iki günlük tek uzman yerine yarımşar günlük üç uzman daha iyi bir alışveriştir.
Birebir görüşme de bir beyan yöntemidir
Odak grup ve anket eleştirisinin ardından önerilen alternatif genellikle derinlemesine görüşme olur. Oysa aynı açık orada da duruyor. Görüşme grup baskısını kaldırır, moderatörün yönlendirmesini azaltır, katılımcıyı rahatlatır. Beyanla davranış arasındaki farkı kaldırmaz; karşınızdaki kişi hâlâ size kendini anlatıyordur.
Görüşmeyi kurtaran şey ortam değil, soru tipidir. “Bu özelliği kullanır mıydınız” sorusuyla yapılan birebir görüşme, tek kişilik bir odak gruptur. “Şu işi en son yaptığınızda ekranda ne oldu” sorusuyla yapılan görüşme gözleme yaklaşır. Mümkünse konuşturmak yerine yaptırın ve yaparken sesli düşünmesini isteyin.
Davranış verisi de bedava değil
Söylenene değil yapılana bak tavsiyesinin sonu genelde A/B testine çıkar. Tavsiye doğru, maliyeti nadiren yazılır. A/B testi istatistiksel bir araçtır ve hassasiyeti örneklem büyüklüğüne bağlıdır. Dönüşüm oranı yüzde 3 olan bir sayfada yarım puanlık bir iyileşmeyi (yüzde 3,5) makul bir güvenle yakalamak için varyant başına yaklaşık 19 bin oturum gerekir.
Günde 200 ziyaretçi alan bir sitede bu, altı aydan uzun süren tek bir test demektir. O süre içinde sayfanın kendisi, trafiğin kaynağı ve sezon değişir; test bittiğinde neyi ölçtüğü tartışmalı hale gelir. Küçük trafikte A/B testi yapılmaz demiyorum, küçük farklar ölçülmez diyorum. Ya ölçtüğünüz fark büyük olacak (bir adımı tamamen kaldırmak, formu yarıya indirmek) ya da ölçüm yöntemi değişecek. Beş kişilik moderasyonlu bir kullanılabilirlik testi, aynı sorunu bir öğleden sonrada gösterir ve size istatistik değil sebep verir.
Hangi sırayla
Pratikte işleyen sıra şu. Önce gerçek kullanımın kaydına bakın: oturum kayıtları, hunideki düşüş noktaları, hata logları. Bunlar nerede sorun olduğunu ucuza söyler. Sonra o noktayı beş kişilik moderasyonlu bir testle açın, çünkü niye sorun olduğunu ancak insanı izleyerek görürsünüz. Anket en sona kalsın ve büyüklük sorusuna ayrılsın; bulduğunuz sorunun kaç kişiyi ilgilendirdiğini ölçmek anketin gerçekten iyi olduğu iştir.
Odak grubu bu sıranın hiçbir yerine koymadım. Ürün henüz ortada yokken, adlandırma ve konumlandırma tartışılırken yeri var. Çalışan bir arayüzü değerlendirmek içinse sırada bekleyen daha iyi yöntemler var.
Kaynaklar