UX'te ROI: Küçük Hedef Dürüsttür ama Ölçmesi Pahalıdır
UX çalışmasının getirisini savunmak zorunda kaldığınız anda iki rakam arasında sıkışırsınız: yönetimin duymak istediği büyük yüzde ve elinizdeki veriyle gerçekten kanıtlayabileceğiniz küçük yüzde. Aradaki mesafe, çoğu UX sunumunun asıl sorunudur. Küçük hedef daha dürüsttür, ama kendi ölçüm tuzağını da beraberinde getirir.
ROI bir bölme işlemi, zor olan payı doldurmak
Formülde tartışma yok: net fayda bölü harcanan tutar. Kavga hep payda çıkar. UX ekipleri payı doldururken önce ciroya bakar, çünkü toplantıda en çok ses getiren rakam odur. Oysa aynı payın içinde çağrı merkezine düşen destek talebi, iade başına harcanan operatör dakikası, eğitim dokümanı yazma süresi gibi ölçmesi çok daha kolay kalemler durur.
Ciro tarafını er ya da geç savunmanız gerekir, bütçe oradan çıkıyor. Ama ilk sunumunuzu ciro üzerine kurarsanız kanıtlaması en zor kalemle işe başlamış olursunuz.
%10 vaat etmeyin, %1'i de bedava sanmayın
Tek bir arayüz değişikliği için %10 dönüşüm artışı öngörmek olgun bir üründe hayal. O akış yıllardır elden geçiyor, kolay kazançlar çoktan toplandı. %1-2 demek daha dürüst bir başlangıç.
Yaygın tavsiyenin ikinci yarısına, yani "hedefi düşük tut ki aştığında yıldız ol" fikrine katılmıyorum. Bu bir ölçüm yöntemi değil, pazarlık taktiği. Bir kez işler. İkinci projede yönetim sizin tahminlerinizi ikiyle çarpmayı öğrenir, elinizde ne düşük hedef kalır ne güvenilirlik. Tahmini aralık olarak verin ve aralığın neden o kadar geniş olduğunu açıkça söyleyin.
Küçük etkiyi ölçmenin maliyeti karesiyle artar
Burada kimsenin yüksek sesle söylemediği bir şey var. Bir A/B testinde saptamak istediğiniz fark yarıya inerse, gereken örneklem iki katına değil dört katına çıkar. Gereken kişi sayısı farkın karesiyle ters orantılı büyür.
%3 taban dönüşümlü bir formda, kol başına yaklaşık kaç ziyaretçi gerektiğine bakalım:
| Hedeflenen artış | Mutlak fark | Kol başına ziyaretçi |
|---|---|---|
| %10 | 0,30 puan | ~52.000 |
| %5 | 0,15 puan | ~207.000 |
| %2 | 0,06 puan | ~1.293.000 |
Hedefi %10'dan %2'ye çekmek dürüstlük açısından doğru, ölçüm açısından cezalı: aynı testi kurmak için trafiğinizin yirmi beş katına ihtiyacınız var. Günde 2.000 ziyaretçi alan bir sitede her biri 1,3 milyon kişilik iki kolu doldurmak üç buçuk yıl sürer. Test bitmeden ürün değişir, ekip değişir, taban dönüşüm oranı zaten kayar.
Pratik sonucu şu: %1-2 bandındaki iyileşmeler A/B testiyle kanıtlanamaz. Hedef olarak koyabilirsiniz, kanıt olarak raporlayamazsınız. Bu ikisi farklı iş ve karıştırıldığı için pek çok UX ekibi "anlamlı sonuç çıkmadı" raporuyla dönüyor. Sonuç çıkmadı değil, o testle çıkması zaten mümkün değildi.
Ölçmesi ucuz olan tarafa geçin
Destek talebi sayısı, görev tamamlama süresi, alan bazında hata oranı, formun terk edildiği adım. Bunların ortak özelliği yüzde birlerle değil, yüzde onlarla hareket etmeleri. Adres alanına maske koymak o alandaki hatalı giriş oranını %8'den %1'e indirebilir ve bu fark birkaç bin kayıtta zaten görünür hale gelir.
Kullanılabilirlik testi de öyle. Beş kullanıcı sorunu bulmaya yeter, ama süre ölçmeye yetmez; süre karşılaştırması yapacaksanız kol başına yirmi kişi civarını hedefleyin. Yine de bu, bir milyonluk trafik beklemekle kıyaslanmayacak kadar ucuz.
Destek maliyetinden çıkan tasarrufu paraya çevirmek de mümkün: talep başına ortalama işlem süresini operatör maliyetiyle çarpın. Bu rakam ciro artışı kadar parlak durmaz ama finans ekibinin itiraz etmediği türdendir.
Rapora tahmini değil gerçekleşeni yazın
Proje bittiğinde başta verdiğiniz tahmini değil, ölçtüğünüz sonucu yazın. Tutmayan tahminin üstünü örtmeyin, neden tutmadığını yazın: trafik bileşimi değişti, kampanya dönemine denk geldi, örneklem yetmedi. Bir sonraki bütçe görüşmesinde işinize yarayacak olan tutan tahmin değil, tahminlerinin hangi koşulda saptığını bilen ekip olmanız.