UX Araştırma Yöntemi Seçimi: Soruya Göre Nicel ve Nitel
Araştırma yöntemini seçmek, aslında sorunun ne olduğuna karar vermekle aynı iştir. Elinizde "kullanıcılar bu ekranda zorlanıyor" gibi bir his varsa, önce onu ikiye bölmeniz gerekir: kaç kişi zorlanıyor, ve neden zorlanıyor. Birincisi sayı ister, ikincisi gözlem. Yöntem listesine bakmadan bu ayrımı yapmak, yanlış seçimlerin çoğunu baştan eler.
Önce soruyu ikiye bölün
Nicel ve nitel ayrımı, yöntem isimlerinden değil sorulardan çıkar. Nicel teknikler "ne kadar" sorusunu yanıtlar: kaç kullanıcı adımı tamamladı, hangi sayfada ne kadar kaldı, iki tasarımdan hangisine daha çok tıklandı. Nitel teknikler "neden" sorusunu yanıtlar: kullanıcı o butonu neden görmedi, formu yarıda neden bıraktı.
Anket ikisinin arasında durur ve tam bu yüzden en çok yanıltan araçtır. Sayı üretir, ama ürettiği sayı davranış değil beyandır. Kullanıcının ne yaptığını değil, ne yaptığını sandığını ölçersiniz. "Fiyat sayfasını bulamadım" diyen kullanıcı, oturum kaydında o sayfada dört saniye geçirmiş olabilir.
Nicel yöntem hızlı değil, kalabalık ister
A/B testi genellikle hızlı yöntemler arasında sayılır. Doğru olduğu bir yer var, ama koşulu da var: yeterli trafik. Kaba bir yaklaşımla, iki oranı birbirinden ayırt edebilmek için varyant başına gereken kullanıcı sayısı 16 × p × (1 − p) / Δ² civarındadır.
Dönüşüm oranınız %3 ise ve bunu %3,3'e çıkaran bir değişikliği görmek istiyorsanız Δ = 0,003 olur; hesap varyant başına elli bin kullanıcının üzerine çıkar. Günde bin ziyaretçi alan bir üründe bu test aylarca sürer. Sonunda elinize geçen de tek bir bilgidir: fark var mı, yok mu. Nedeni yok.
Düşük trafikte doğru hamle testi küçültmek değil, yöntemi tamamen değiştirmektir. Beş kişiyle yapılan bir kullanılabilirlik oturumu, elli bin kişilik testin cevaplayamadığı soruya bir öğleden sonrada cevap verir. Bunun karşılığında istatistiksel bir kesinlik vermez, ama zaten aradığınız kesinlik değil, yön.
Ölçmediğiniz şeyi analiz edemezsiniz
Analitik panelleri veriyi "zaten orada" gibi gösterir. Değildir. Bir hunide gördüğünüz adımlar, birinin o adımları olay olarak koda yazdığı adımlardır. Yazılmamış adım grafikte boşluk bırakmaz; hiç olmamış gibi görünür, üstelik komşu adımların oranı da normal durur.
Bir ödeme akışında ikinci adımın terk oranını aylarca normal gördüm; asıl bekleme banka doğrulamasının döndüğü yerdeydi ve o dönüş hiç loglanmamıştı.
Bu yüzden nicel araştırmanın ilk adımı veri toplamak değil, verinin toplandığından emin olmaktır. Eksik bir ölçümü eklemek çoğu üründe bir günlük iştir. O günü ayırmazsanız yaptığınız analiz, ölçüm boşluklarının şeklini kullanıcı davranışı sanmakla biter.
Sıralama: önce yer, sonra sebep
Yardım masası aramalarının arttığı bir üründe sıra bellidir. Önce analitik: hangi ekranda, hangi adımda, hangi kullanıcı grubunda yoğunlaşıyor. Bu size sorunun yerini verir, sebebini vermez. Yeri bulduktan sonra o adımı gerçekten kullanan birkaç kişiyle oturup izlemek, sebebi genellikle ilk yarım saatte ortaya çıkarır.
Ters yön de mümkün ve bazen tek yoldur: gözlemden çıkardığınız hipotezi sonradan sayıyla doğrularsınız. Trafiği az olan ürünlerde, kurumsal yazılımlarda, daha yeni yayına alınmış bir özellikte sıra hep budur. Sayı yoksa sayıyla başlayamazsınız.
Seçimi kısıtlar belirler
Amaç ile yöntem eşleşmesi kağıt üstünde nettir. Sahada seçim, çoğu zaman kaç kullanıcıya ulaşabildiğinizle daralır. Kurumsal bir üründe on iki müşteriniz vardır, anketten anlamlı bir dağılım çıkmaz ama on ikisiyle de görüşebilirsiniz. Tüketici ürününde yüz bin kullanıcınız vardır, hiçbiriyle otuz dakika geçiremezsiniz ama her tıklamayı görürsünüz.
Bütçe tartışması da genelde yanlış yerden başlar. Pahalı olan beş görüşme yapmak değil, yanlış şeyi geliştirip altı ay sonra geri almaktır.
Kaynaklar