UX Yatırımının Geri Dönüşünü Ölçmek: Metrikler ve Ölçümün Sınırları

UX çalışmasının zor tarafı çoğu zaman işin kendisi değil, sonucunu yönetime gösterebilmek. Karar vericiler “bu paraya karşılık ne aldık” diye sorar; kullanıcı testine katılan kişi sayısı bu sorunun cevabı değildir. Cevap üç yerden gelir: gelir, maliyet ve elde tutma. Geri kalan her şey bu üçünün ya öncüsüdür ya da süsü.

ROI tek bir bölme işlemidir

Geri dönüş oranının formülü basit: elde edilen net kazançtan yatırımı çıkarırsınız, çıkanı yatırıma bölersiniz. Zorluk formülde değil, iki tarafını da dürüstçe doldurmakta.

Maliyet tarafına çoğu sunumda yalnızca tasarımcının saatleri yazılır. Oysa oraya araştırma katılımcılarına ödenen ücret, geliştirmenin uygulama süresi ve o süre boyunca yapılamayan diğer işler de girer. Bir arayüz değişikliği tasarımda iki gün, üretimde üç hafta sürebilir. Hesaba girmesi gereken sayı ikincisidir.

Paranın karşılığını veren metrikler

Yönetim katında anlamlı sayılan metrikler dar bir kümede toplanır. Üçe ayırmak seçimi kolaylaştırıyor:

• Gelir: dönüşüm oranı, sepet ortalaması, tamamlanan işlem sayısı. En doğrudan bağ burada kurulur.
• Maliyet: destek talebi sayısı, çağrı süresi, iade oranı, yeni çalışanın eğitim ihtiyacı. Bir formu sadeleştirmenin karşılığı genellikle gelirde değil, burada görünür.
• Elde tutma: abonelik yenileme, tekrar satın alma, akışın hangi adımında terk edildiği. Etkisi geç çıktığı için çeyreklik raporlarda hep eksik kalır.

Prototip adedi, görüşülen kullanıcı sayısı, tamamlanan tasarım revizyonu: bunlar ekip için değerli üretim göstergeleri, ama finansal bir tartışmada karşılıkları yok. Süreç metriğiyle sonuç metriğini ayırmak, ROI konuşmasının ilk adımı.

Ölçüm altyapısı yoksa sayı da yok

Dönüşüm oranını tartışabilmek için huninin her adımının kodda bir olay olarak kayıtlı olması gerekir. Sepete ekleme, adres formunun açılması, ödeme adımına geçiş, hata mesajının görünmesi. Bu kayıt yoksa elinizde yalnızca toplam satış rakamı vardır ve nerede kaybettiğinizi göremezsiniz.

Ölçüm bedava da değil. Olay şemasını kurmak, alanların doğru dolduğunu doğrulamak ve bir sürüm sonrası bozulduğunda fark etmek geliştirme işidir, bakım gerektirir. Bu yüzden ROI tartışması tasarım bittikten sonra değil, iş başlamadan önce açılmalı: sonradan eklenen ölçüm, karşılaştırılacak bir “öncesi” bırakmaz.

Bir fark ne zaman gerçekten farktır

Diyelim dönüşüm oranı %2,0’dan %2,2’ye çıktı. Bu 0,2 puanlık farkın rastlantı olmadığını söyleyebilmek için belirli bir örneklem gerekir. Kaba bir tahmin şu bağıntıyla yapılır: n ≈ 16 × p × (1 − p) / δ². Burada p iki grubun ortalama dönüşümü (0,021), δ ise beklenen fark (0,002). Yerine koyduğunuzda varyant başına yaklaşık 82 bin ziyaretçi çıkar, iki grup için 165 bin.

Aylık 30 bin ziyaretçi alan bir sitede bu, tek bir testin yarım yıl sürmesi demek. Çoğu ekip bu yüzden A/B testi yerine öncesi-sonrası karşılaştırması yapar. Sorun şu ki o karşılaştırma yeniden tasarımı, aynı dönemde açılan kampanyayı, fiyat değişikliğini ve sezonu tek bir sayının içine sıkıştırır. Bir çeyreklik gelir artışını tümüyle arayüze bağlayan sunumlar bunu genelde atlar (o grafiklere pek güvenmiyorum).

Küçük trafikli projelerde çıkış yolu, sayıyı zorlamak yerine metriği değiştirmek. Görev tamamlama süresi, hata oranı ve destek talebi sayısı çok daha az örneklemle anlamlı hale gelir, çünkü ölçtükleri fark yüzde onların değil, kat kat büyüklüğündedir.

Memnuniyet skorları nereye oturur

CSAT ve NPS bir ROI tablosunda gelir satırının yanına konmaz. Bunlar öncü göstergedir: değişimin yönünü erken haber verir, büyüklüğünü değil. Bir yenileme dönemi öncesinde düşen memnuniyet skoru, gelir tablosunda henüz görünmeyen bir kaybın habercisi olabilir ve tam olarak bu yüzden değerlidir. Ama “NPS 8 puan arttı” cümlesi tek başına bir yatırımı savunmaz.

Savunulabilir bir tablo neye benzer

İşe yarayanı gördüğüm kadarıyla sade bir şey: bir gelir metriği, bir maliyet metriği, dürüst yazılmış bir maliyet tarafı ve nedenselliğin nasıl kurulduğuna dair açık bir cümle. Yani neyle karşılaştırdınız, hangi dönemde, aynı dönemde başka ne değişti. Bu dört satırı doldurabiliyorsanız sayınız tartışmaya dayanır. Doldurulamıyorsa, tabloyu büyütmek değil, ölçümü baştan kurmak gerekir.