Kısıtlı Bütçeyle UX Araştırması: Ne Ölçülebilir, Ne Ölçülemez

Araştırma bütçesi olmayan ekiplerin çoğu araştırmayı tümden erteler, sonra lansmandan sonra aynı parayı yeniden tasarıma harcar. Oysa düşük bütçeyle yapılabilen ile yapılamayan birbirinden net ayrılır: davranışsal gözlem birkaç kişiyle çalışır, oran ölçen testler çalışmaz. Yöntemi bu ayrıma göre seçmek, harcanan paradan daha belirleyici.

Önce ayrımı kur: nitel mi, nicel mi

Kullanıcı araştırması tek bir faaliyet değil. Bir grup yöntem "insanlar nerede takılıyor" sorusuna cevap verir, diğer grup "hangi tasarım daha çok dönüşüyor" sorusuna. Birincisi ucuz, ikincisi değil. Ucuz olmasının sebebi de gizemli değil: bir arayüz sorunu kimde ortaya çıkarsa çıksın aynı sorundur, onu görmek için kalabalık gerekmez. Oran ölçmek ise istatistik ister, istatistik de katılımcı sayısı.

Kısıtlı bütçede yapılan hata genelde ikisini karıştırmak. Beş kişiyle anket yapıp yüzde hesaplamak ya da yüzlerce kişiye açık uçlu soru sorup gelen cevapları hiç okuyamamak, ikisi de aynı karışıklığın sonucu.

Beş kullanıcı kuralı ne diyor, ne demiyor

Az katılımcıyla çalışmanın arkasında sık anılan bir hesap var. Jakob Nielsen'in beş kullanıcı yazısı şu modele dayanır: tek bir kullanıcının belirli bir sorunu fark etme olasılığı L ise, n kullanıcıyla bulunan sorunların oranı 1-(1-L)^n olur. Nielsen'in çalıştığı projelerde gözlediği ortalama L değeri 0,31; beş kullanıcı için 1-(0,69)^5, yani yaklaşık %85 çıkıyor. Ortalıkta dolaşan o %85 rakamının kaynağı bu. Ölçülmüş bir garanti değil, bir olasılık modelinin çıktısı.

Model iki yerde kırılır. Birincisi tek ve homojen bir kullanıcı kitlesi varsayar; yeni başlayanla uzman kullanıcı ayrı davranıyorsa her grup için ayrı beş kişi gerekir ve maliyet grup sayısıyla çarpılır. İkincisi, L her sorun için aynı değildir: kayıt formundaki tıkanıklığı beş kişiden beşi yaşar, yılda bir açılan bir ayardaki hatayı kimse görmez. Beş kullanıcı, sık karşılaşılan sorunları bulur. Nadir olanı bulmaz, hiçbir sorunun ne kadar yaygın olduğunu da söylemez.

Beş saniyelik ilk izlenim testi

Ana ekranı beş saniye göster, kapat, iki soru sor: burası ne işe yarıyor, burada yapılacak asıl şey ne? Cevaplar birbirini tutmuyorsa tasarımın anlattığı hikâye kafada oturmuyor demektir.

Bir projede bu testi beş kişiyle yaptığımızda ürünün ne yaptığını üç ayrı şekilde anlattılar, sorun arayüzde değil sayfanın başlık cümlesindeydi.

Yürütmesi bedava: ekran görüntüsünü tam ekran aç, telefon kronometresiyle beş saniye say, kapat. Kaydetmen gereken tek şey verilen cevaplar.

Yanındaki insanla bağlam içi gözlem

Laboratuvar kurmadan yapılabilecek en verimli iş, birine somut bir görev verip izlemek. "Şu ürünü sepete ekle ve kargoyu ücretsize düşür" gibi. Görevi verdikten sonra sus. Kullanıcı takıldığında araya girip açıklama yapmak, testin ölçtüğü şeyi silen en yaygın refleks.

Not tutarken rapor yazma; duraksadığı adımı, geri döndüğü ekranı ve yüksek sesle söylediği cümleyi yaz. Üç kişilik bir turdan sonra elinde tekrar eden iki üç madde kalır, işe yarayan kısım da odur.

Para yerine erişim

Katılımcıya ödeme yapamıyorsan takas edebileceğin başka şeyler var: yayınlanmamış bir özelliğe erken erişim, ücretli sürümün bir aylığı, ya da sadece kısa bir görev. Sonuncusunu hafife alma. Bir saatlik oturum için gönüllü bulmak, on beş dakikalık bir görev için bulmaktan kat kat zordur.

Bu takasın bir yan faydası da var: teklifi kabul eden kişiler ürünü zaten umursayan kullanıcılardır, o liste ileride başka işe yarar.

Kullanıcıya tasarım sorusu sorma

"Menü nerede olmalıydı?" sorusu kullanıcıyı yapamayacağı bir işe davet eder ve alacağın cevap, çoğunlukla onun o an hatırladığı başka bir arayüzün kopyası olur. Sorulacak soru niyet üzerine olmalı: burada ne yapmaya çalışıyordun, ne olmasını bekliyordun, ne oldu? Sorunu tarif etmek kullanıcının işi, çözmek senin.

Sağlamlık kontrolü araştırma değildir ama önce yapılır

Kırık bağlantı, mobilde yatay kayan sayfa, geç açılan ekran. Bunlar araştırma sorusu değil, hata. Kullanıcıya sormadan önce kendin bak. Screaming Frog'un ücretsiz sürümü 500 adrese kadar tarar, küçük siteler için fazlasıyla yeterli; sayfa hızı için PageSpeed Insights, kısa anketler için Google Forms ücretsiz planı iş görür.

Bu adımı atlayıp teste giren ekipler oturumun yarısını kullanıcının bulduğu 404 sayfasını konuşarak harcıyor.

Ücretsiz A/B testi diye bir şey yok

Düşük bütçe yazılarının çoğu şunu önerir: iki tasarımı iki farklı sosyal medya kanalında paylaş, hangisi çok tıklanırsa o kazansın. Bu bir A/B testi değil. Kanallar farklı kitleler taşır, ölçtüğün şey tasarım değil kanal olur. Aynı içeriği aynı gün iki kanaldan paylaştığında bile saatin, takipçi profilinin ve algoritmanın etkisi tasarımın etkisinden büyüktür.

Sayı tarafı daha da rahatsız edici. Dönüşümü %3'ten %4'e çıkaran bir değişikliği makul bir güvenle görebilmek için varyant başına birkaç bin ziyaret gerekir. Günde 200 ziyaretçi alan bir sitede bu aylar demek ve o süre boyunca sayfada başka hiçbir şeyi değiştirmemen gerekir. Trafiği bu seviyede olmayan bir ürün için A/B testi ucuz değil, ulaşılmaz.

Yapılacak şey şu: karar geri alınabilir ölçüde küçükse beş kişiyle test edip geç, kritikse trafiğin yeterli olacağı ana kadar bekle ve o zamana kadar nitel kanıtla ilerle. Arada duran "ücretsiz A/B" fikrinin asıl zararı sonuç vermemesi değil, kararı verirken kendini rakamla desteklenmiş sanmana yol açması.