A/B Testinde Soru Seçimi: Ölçülebilir Olması Yetmiyor

A/B testleri için verilen ilk tavsiye hep aynı: sorunuz ölçülebilir olsun. Doğru, ama iş orada bitmiyor. Ölçülebilir yüzlerce soru var ve çoğu, elinizdeki trafikle cevaplanamayacak kadar küçük bir farkı arıyor. Soru seçerken asıl kısıt ölçülebilirlik değil, cevabın kaç ziyaretçiye mal olduğu.

Ölçülebilir soru ile cevaplanabilir soru aynı şey değil

Şu ikisi de ölçülebilir: “Sepet adımına güvenlik rozeti koymak ödemeyi tamamlama oranını artırır mı?” ve “Buton metnini Satın Al yerine Hemen Al yapmak dönüşümü artırır mı?” Her ikisi de aksiyona bağlı, her ikisi de sayılabilir. Fark, beklenen etkinin büyüklüğünde. Birincisi ödeme akışının en tereddütlü yerine dokunuyor. İkincisi çoğu sitede ölçüm gürültüsünün altında kalacak kadar küçük bir etki üretir, yani test bitse bile elinizde bir cevap olmaz.

Sorunun trafik faturasını önceden çıkarın

Kaba bir hesap işe yarar. %95 güven ve %80 güç için kol başına gereken ziyaretçi sayısı yaklaşık 16 × p(1−p) / Δ² kadardır; p mevcut dönüşüm oranınız, Δ ise yakalamak istediğiniz mutlak fark.

%3 dönüşümle çalışan bir sepet sayfasında göreli %5’lik bir iyileşmeyi, yani 0,0015’lik mutlak farkı görmek istiyorsanız hesap kol başına yaklaşık 200 bin ziyaretçi diyor. Günde 2.000 ziyaretçi alan bir sitede iki kolu doldurmak yarım yılı geçer. O soru gayet ölçülebilirdi; sizin sitenizde cevaplanabilir değildi.

Bu hesabı testi kurmadan önce yapın. Sayı size altı ay diyorsa testi hiç başlatmayın, daha büyük bir değişiklik arayın: yarım yıl bekleyip anlamsız bir sonuç okumak, hiç test etmemekten daha pahalıdır.

Çok değişkenli test, sayılar aleyhinize dönünce

Üç değişkeni ikişer varyantla aynı anda denemek 2³, yani sekiz kombinasyon üretir. Trafik sekize bölünür, ama kol başına gereken örneklem küçülmez. Toplam ihtiyaç sekiz katına çıkar. Dört değişkende on altı kombinasyon, on altı kat.

Bu yüzden çok değişkenli test “bir arada daha çok şey öğrenmek” değil, bol trafiği olanların lüksüdür. Aylık birkaç yüz bin ziyaretçinin altındaysanız tek değişkenli testleri sıraya dizmek daha hızlı sonuç verir.

Erken bakmak sonucu bozar

Test açıkken her sabah panele girip anlamlı olup olmadığını kontrol etmek, ilan ettiğiniz %5’lik yanılma payını fiilen çok yukarı çeker. Her bakış yeni bir durdurma kararı, her karar yeni bir hata şansı demek. Birbirinin tıpatıp aynısı iki sayfayı karşılaştırsanız bile, yeterince sık bakarsanız er geç anlamlı görünen bir sapma yakalarsınız.

Çözümü can sıkıcı derecede basit: örneklemi baştan hesaplayın, o sayıya ulaşmadan sonuca bakmayın. Erken durdurmak zorundaysanız bunun için tasarlanmış yöntemler var (sıralı test, düzeltilmiş eşikler); göz kararı durdurma onların yerini tutmuyor.

Test bir keşif aracı değil

Yaygın tavsiye iki şeyi arka arkaya söylüyor: memnuniyet gibi soyut hedefleri bırakın, dönüşüme odaklanın; ve yalnızca sayılara bakmayın, kullanıcı deneyimini gözden kaçırmayın. Bu ikisi aynı anda tutmaz.

Tutarlı hali şu: neyin bozuk olduğunu kullanıcı testi, oturum kayıtları ve destek talepleri söyler. A/B testi yalnızca önerdiğiniz çözümün işe yarayıp yaramadığını söyler. Sorunu bulmak için test kurarsanız, keşfi mümkün olan en yavaş ve en pahalı yoldan yapmış olursunuz.

İyi soru neye benziyor

• “Ödeme adımındaki zorunlu telefon alanını kaldırmak tamamlama oranını artırır mı?” Değişken tek, adım belli, etki büyük olabilir.
• “Kargo ücretini ürün sayfasında baştan göstermek sepeti terk oranını düşürür mü?” Bilinen bir tereddüt anına dokunuyor.
• “Yeni ürün fotoğrafları müşteri memnuniyetini artırır mı?” Ne değişkeni tek, ne çıktısı ölçülebilir. Bu soru testin değil, araştırmanın konusu.

Test planı yapmak soruları çoğaltmak değil, elemek. Mevcut trafiğinizle altı hafta içinde cevaplanabilecek kaç soru varsa, planınız gerçekte o kadar.