UX Yatırımının Geri Dönüşünü Dürüstçe Hesaplamak
UX yatırımının geri dönüşünü hesaplamak, dönüşüm oranındaki artışı yatırım maliyetine bölmekten ibaret değil. Aynı çeyrekte pazarlama yeni bir kampanya açtıysa, satış tarafında indirim uygulandıysa, artışın ne kadarı arayüzün? Bu soruya cevabı olmayan bir ROI sunumu ilk itirazda dağılır.
Hangi metrik neyin karşılığı
UX tarafında düzgün ölçülebilen üç kalem var ve üçü farklı bütçeye dokunur:
- Dönüşüm oranı: form gönderimi, sepet tamamlama, kayıt. Doğrudan gelire bağlanır.
- Tekrar eden kullanım: geri dönen kullanıcı, yenilenen abonelik. Kazanım maliyetini düşürür.
- Destek yükü: aynı konuda açılan talep sayısı. Ölçmesi en kolay olanı budur, çünkü çağrı merkezi talepleri zaten kategorize ediyor.
Destek yükü sunumlarda en az savunulan kalem ama en ikna edici olanı da o. Şifre sıfırlama akışını düzelttikten sonra o kategorideki aylık talep grafiği, hiçbir tasarım argümanına gerek bırakmaz.
Sayının anlamlı olması için gereken hacim
ROI hesaplarının çoğu, ölçüm daha başlamadan kaybedilir. Dönüşüm oranını %2'den %2,2'ye çıkardığınızı varsayın. Bin oturumda bu, 20 dönüşüm yerine 22 dönüşüm demek; yani gürültü. Farkın gerçek olduğunu makul bir güvenle söyleyebilmek için gereken örneklem kabaca 16·p(1−p)/δ² ile bulunur ve p yaklaşık 0,021, δ ise 0,002 alındığında grup başına 80 binin üzerinde oturum çıkar.
Aylık trafiği bu seviyeye ulaşmayan bir sayfada o iyileşmeyi testle kanıtlayamazsınız. Kanıtlayamıyorsanız raporda kullanmayın: ya hacmi yüksek akışlara geçin ya da beklenen etkisi daha büyük değişiklikleri öne alın. Küçük sayfada küçük iyileşme aramak, ölçüm bütçesini boşa harcamanın en sessiz yolu.
Ölçümü genelde çeyrek başı ile çeyrek sonu toplamlarını karşılaştırmak yerine aynı dönem içinde paralel iki gruba bölerek kurarım; öncesi-sonrası karşılaştırması kampanya takvimini, sezonu ve fiyat değişikliğini de farkın içine katar.
Katkıyı paylaşmak, sayıyı bölmek demektir
Bir çeyrekte satın alma hunisine üç ekip birden dokunduysa, artışın tamamını tek hanenin altına yazmak yalnızca nezaketsizlik değil, hesap hatasıdır. Pazarlama, satış ve tasarım aynı %12'yi kendi raporunda kullanırsa şirket toplamda %36'lık, hiç yaşanmamış bir kazanç görür ve bir sonraki bütçe bu hayali sayının üstüne kurulur.
Ayrım basit. Değişiklik izole edilebiliyorsa, yani tek bir akışta paralel gruplarla ölçüldüyse, sonucu tam olarak sahiplenin. İzole edilemiyorsa tek bir rakam yerine aralık sunun ve payınızın hangi varsayımla hesaplandığını yazın. Aralık vermek zayıflık gibi görünür, oysa ilk sorguda ayakta kalan tek biçim odur.
Ölçüme nereden başlanır
Para taşıyan akışı bulmakla. Çoğu sitede bu üç dört ekrandır ve geri kalan her şey onların etrafında döner. Sonra ölçüm altyapısı gelir: olayların adlandırılması, tekrarlı gönderimlerin ayıklanması, hangi olayın hangi kullanıcıya bağlandığı. Bu kısım sıkıcıdır ve genellikle projenin en çok atlanan aşamasıdır, ama tasarım kararlarının doğruluğu sonradan hep buraya dayanır. Raporlamayı en sona bırakın; ölçüm düzgünse rapor kendini yazar.
Kaynaklar