A/B Testi Ne Zaman İşe Yarar, Ne Zaman Yaramaz
A/B testi, iki tasarımdan hangisinin daha çok dönüşüm getirdiğini ölçmenin en dürüst yolu diye anlatılır. Büyük ölçüde doğru, ama sessizce atlanan bir koşulu var: yeterli trafik. Günde birkaç yüz ziyaretçi alan bir sitede çalıştırılan test çoğu zaman kararsız kalır, ekip de gürültüyü zafer sanar. Testin değeri kurgusundan çok kaç kişiyle çalıştığına bağlıdır.
Test aslında neyi ölçer
A/B testi, aynı işi gören iki varyantı ziyaretçilere rastgele dağıtıp aradaki farkın rastlantıyla açıklanıp açıklanamayacağına bakar. Ölçtüğü şey "hangisi daha iyi" değil, "gördüğüm fark tesadüf olabilir mi" sorusudur. Bu ayrım önemsiz görünür ama testlerin çoğu tam buradan yanlış okunur: sonuç anlamlı çıkmadığında iki varyant eşit demek değildir, sadece elinizdeki veriyle ayırt edilemiyor demektir.
Önce şu hesabı yapın
Kaba bir örneklem formülü işi görür: n = 16 × p × (1 − p) / d². Burada p mevcut dönüşüm oranınız, d ise yakalamak istediğiniz mutlak fark. Dönüşümünüz %5 ise ve bunu %5,5'e çıkaran bir değişikliği görmek istiyorsanız d = 0,005 olur ve varyant başına yaklaşık 30 bin ziyaretçi gerekir. İki varyant için 60 bin. Günde 500 ziyaretçi alan bir sitede bu dört ay eder.
Küçük iyileştirmeler bu yüzden pahalıdır. Fark ne kadar küçükse gereken örneklem karesiyle büyür: %5'ten %6'ya çıkışı görmek yaklaşık 7.600 ziyaretçiyle mümkünken, %5,5'e çıkışı görmek dört katına çıkar. Buton rengi denemelerinin çoğu ölçülemeyen bölgede kalır.
Tek değişken kuralının faturası
"Her seferde tek bir değişkeni test edin" tavsiyesi yanlış değil, sonucu yorumlanabilir kılan şey odur. Ama arkasından gelen maliyet genelde söylenmez: beş ayrı fikri sırayla test etmek yukarıdaki örnekte 300 bin ziyaretçi ve yirmi ay demektir. Trafiğiniz bunu kaldırmıyorsa seçenek tek değişkeni feda etmek değil, sıraya soktuğunuz fikir sayısını azaltmaktır. Etkisi büyük olması muhtemel iki değişikliği test edin, diğerlerini niteliksel yöntemlerle eleyin.
Bir e-ticaret projesinde buton rengi varyantını iki hafta çalıştırdık, fark sonuna kadar gürültünün içinde kaldı; dönüşümü asıl kımıldatan şey kargo ücretini sepet sayfasında erken göstermek oldu.
Erken durdurma tuzağı
Sonuçlara her gün bakıp "anlamlı oldu" görüldüğü anda testi kesmek, yanlış pozitif oranını ilan edilen %5'in belirgin üstüne taşır. Yeterince sık bakarsanız rastgele dalgalanma er ya da geç eşiği geçer. Bitiş örneklemini teste başlamadan yazın ve ona ulaşmadan panoya bakmayı bir karar anı saymayın.
Araçlar
VWO görsel editörüyle kod yazmadan varyant kurmayı ve segment bazlı test çalıştırmayı kolaylaştırır; kurgu hızlıdır, raporlaması ayrıntılıdır. Optimizely benzer bir sürükle bırak arayüzü sunar, güçlü yanı Google Analytics ve diğer analitik yazılımlarıyla entegre çalışması, yani testi kendi hunisi içinde okumak zorunda kalmamanız.
Analitik tarafında Google Analytics ziyaretçi kaynağını, en çok görülen sayfaları ve huninin nerede daraldığını gösterir. Nedenini göstermez. MixPanel sayfa görüntülemenin ötesine geçip olay tabanlı analiz ve tutundurma raporları sunar, uygulama benzeri akışlarda daha isabetlidir. Inspectlet ise oturum kaydı ve ısı haritasıyla kullanıcının sayfada gerçekte ne yaptığını izletir.
Trafiğiniz azsa
Aylık oturum sayınız 20 binin altındaysa bir A/B aracı satın almadan önce oturum kayıtlarına bakın. Oturum kaydı istatistiksel kanıt değildir, bunu iddia eden yok; ama on kaydı izlemek çoğu zaman kaç haftalık testin vereceğinden daha net bir hipotez üretir. Beş kullanıcıyla yapılan bir kullanılabilirlik oturumu da aynı işi görür.
Sıralama şöyle işliyor: niteliksel yöntemler hangi değişikliğin denemeye değer olduğunu söyler, A/B testi de yalnızca yeterli trafik varsa o değişikliğin işe yarayıp yaramadığını doğrular. İkincisini birincisinin yerine koymak, pahalı ve yavaş bir tahmin makinesi kurmaktır.
Kaynaklar