A/B Testleri: Ne Ölçer, Ne Kadar Trafik İster

A/B testi, iki tasarım arasındaki farkı tahminle değil sayıyla kapatır. Yöntemin kendisi basittir; zor olan, o sayının güvenilir olması için gereken trafiği toplamaktır. Çoğu site bu trafiğe sahip değildir, test sonuçları da bu yüzden yanlış okunur.

Test neyi ölçer

Kurulum şudur: bir değişken değiştirilir, ziyaretçiler rastgele iki gruba bölünür, önceden seçilmiş tek bir metrik karşılaştırılır. Buton rengi, başlık metni, formdaki alan sayısı. Sonuç size hangi varyantın daha çok dönüştüğünü söyler, neden dönüştüğünü söylemez. Bu ayrımı atlayan ekipler test çıktısını kullanıcı davranışına dair bir açıklama sanır ve tek bir sayfadan öğrendiklerini bütün siteye genellerler.

Kaç ziyaretçi gerekir

Asıl mesele burada. Bir test, aradığınız fark küçüldükçe hızla pahalılaşır: gereken örneklem, yakalamak istediğiniz farkın karesiyle ters orantılıdır. Farkı yarıya indirdiğinizde örneklem dörde katlanır.

Somut bir hesap yapalım. Mevcut dönüşüm oranınız yüzde 2 ve bunu yüzde 2,2'ye çıkaran bir değişikliği makul bir güvenle (yüzde 95 anlamlılık, yüzde 80 güç) yakalamak istiyorsunuz. Varyant başına yaklaşık 78 bin ziyaretçiye, yani toplamda 155 binin üzerinde trafiğe ihtiyacınız var. Günde 200 ziyaretçi alan bir site bu sayıya iki yıldan uzun sürede ulaşır. O süre içinde sayfa da değişir, ziyaretçi profili de, sezon da; test bittiğinde ölçtüğünüz şey başlarken ölçmeye niyetlendiğiniz şey değildir.

"Küçük değişikliklerle büyük dönüşüm artışları" vaadi bu yüzden çoğu sitede tersine çalışır. Küçük değişiklik küçük etki demektir, küçük etkiyi görmek için de en çok trafiğe ihtiyaç duyarsınız. Örneklem hesabını testi kurmadan önce yapın; sayı tutmuyorsa test kurulmaz, konu kapanır.

Erken bakmak sonucu bozar

Testi açık bırakıp her gün sonuçlara göz atmak ve "anlamlı çıktı" der demez durdurmak yaygın bir hatadır. Anlamlılık eşiği, testin sonunda bir kez bakılacağı varsayımıyla hesaplanır. Her ara bakışta o eşiği yeniden denemiş olursunuz ve yanlış pozitif oranı yüzde 5'in belirgin şekilde üstüne çıkar. Süreyi baştan yazın, bitmeden açmayın. Ara kontrol gerçekten şartsa sequential testing destekleyen bir araca geçin; o araçlar eşiği tekrarlanan bakış için düzeltir.

Testin uygun olmadığı yerler

Büyük arayüz revizyonları, bilgi mimarisi değişiklikleri ve marka yönelimleri A/B testine uygun değildir. Bu tür değişikliklerde iki varyant arasındaki fark tek bir metriğe sığmaz, "B kazandı" sonucu da size neyin işe yaradığını göstermez.

Düşük trafikli bir sitede A/B testinden çok, beş kullanıcıyla yapılan moderasyonlu bir kullanılabilirlik oturumunu daha güvenilir bulurum. Beş kişi kullanılabilirlik sorunlarının yaklaşık yüzde 85'ini ortaya çıkarır (Nielsen Norman Group'un bu konudaki klasik yazısı hesabı ayrıntılı anlatır) ve size istatistik değil sebep verir. A/B testini trafik gerçekten geldiğinde, elinizde birbirine yakın iki iyi seçenek kaldığında açın.