A/B Testi ve Çok Değişkenli Test: Kombinasyon Sayısı Neyi Değiştirir

A/B testi ile çok değişkenli test çoğu yerde aynı şeyin iki ölçeği gibi anlatılır. Aradaki fark aslında yöntemde değil, aritmetikte: biri tek bir değişikliği ölçer, diğeri kurduğunuz kombinasyon sayısı kadar trafik ister. Hangisinin işinize yarayacağı da buradan çıkar.

A/B testi: tek değişken, iki dünya

A/B testinde sayfanın iki versiyonu vardır ve aralarındaki tek fark ölçmek istediğiniz şeydir. Buton rengi, başlık metni, formdaki alan sayısı. Trafik ikiye bölünür, her kolun dönüşüm oranı ayrı ayrı toplanır, sonunda elinizde tek bir soruya tek bir cevap kalır.

Bu darlık kısıt gibi görünür, oysa yöntemin en güçlü tarafı odur. Sonuç değiştiğinde nedenini biliyorsunuz, çünkü değişen tek bir şey vardı.

Çok değişkenli testte kombinasyonlar çarpılır

Çok değişkenli test (MVT) birden fazla öğeyi aynı anda oynatır ve hangi kombinasyonun daha iyi çalıştığını arar. Buradaki kritik ayrıntı, varyasyonların toplanmayıp çarpılmasıdır. Üç öğeyi üçer versiyonla denerseniz karşınıza 3 × 3 × 3 = 27 kombinasyon çıkar.

Trafiği nasıl etkilediğini görmek için basit bir hesap yeter. Kombinasyon başına aynı örneklem gerekiyorsa ve iki kollu bir A/B testi sizde iki hafta sürüyorsa, kol başına bir hafta demektir; 27 kombinasyon aynı hızda yarım yıldan fazla sürer. O altı ay boyunca sayfanın kendisi, fiyatlarınız, trafiğin geldiği kanallar sabit kalacak mı? Genelde kalmıyor, ve test bitmeden ölçtüğü şey değişmiş oluyor.

Peki çok kol açmanın istatistiksel bedeli ne?

Süre tek sorun değil. Her karşılaştırma kendi yanlış pozitif payını taşır. %95 güven düzeyi, gerçekte hiçbir fark yokken bir karşılaştırmanın %5 ihtimalle "kazandı" görünmesi demektir. 27 kombinasyonun 26'sını kontrole karşı ölçerseniz ve aslında hepsi etkisizse, en az birinin kazanmış görünme olasılığı 1 − 0,95²⁶, yani yaklaşık %74'tür.

Yani çok kollu bir testin size bir kazanan göstermesi neredeyse garantidir. Soru, o kazananın gerçek olup olmadığıdır. Düzeltme yöntemleri var (Bonferroni gibi eşiği bölen yaklaşımlar), ama hepsi aynı faturayı keser: eşiği sıkılaştırdıkça anlamlı sonuç için gereken örneklem yine büyür.

Hangisini seçmeli

Çoğu site için A/B testini çok değişkenli testten daha güvenilir buluyorum, üstelik trafiği yeterli olan siteler için bile. Sebebi şu: MVT bir kombinasyonun kazandığını söyler, hangi öğenin katkı yaptığını söylemez. Sıralı A/B testleri daha yavaş ilerler ama her adımda öğrenilmiş bir şey bırakır, MVT ise sonunda tek bir tablo bırakır.

Çok değişkenli test asıl şu durumda anlamlı: öğelerin birbirini etkilediğinden şüpheleniyorsanız. Başlık tek başına iyi, görsel tek başına iyi, ama ikisi yan yana geldiğinde sayfa dağılıyorsa etkileşimi ancak birlikte ölçerek görürsünüz. Bu gerçek bir soru, ve A/B testleri bunu cevaplayamaz. Sadece bedeli yüksek.

Uygulama tarafında da fark var. İki varyantı şablonda bir koşulla ayırırsınız; 27 kombinasyon, şablonun kombinatoryal şekilde üretilmesi ve her kombinasyonun ayrı ayrı gözle kontrol edilmesi demektir. Testin maliyetinin yarısı burada saklı.

Ölçmeye başlamadan önce

Testten önce cevaplanması gereken tek soru, hangi metriği ölçtüğünüzdür. Tıklanma mı, sepete ekleme mi, tamamlanan satın alma mı? Buton rengi tıklanmayı artırıp satın almayı düşürebilir, ikisini birden ölçmüyorsanız bunu fark etmezsiniz.

İkinci soru, testi ne zaman durduracağınız. Sonuçlara her gün bakıp "anlamlı çıktı" dediğiniz anda durdurursanız, o güven aralığının anlamı kalmaz; erken durdurma yanlış pozitifi doğrudan yukarı çeker. Gereken örneklemi testten önce hesaplayın ve o sayıya ulaşana kadar tabloya bakmayın.

Araçlar

Google Optimize kapandıktan sonra web tarafında tek bir varsayılan kalmadı. Mobil uygulamalar için Google Firebase deney altyapısı sunuyor. Web'de ise üçüncü parti araçlar ya da GA4 üzerine kurulan kendi ölçüm düzeneğiniz kalıyor.

Küçük ölçekli bir site için ikinci yol çoğu zaman yeterli: varyantı sunucu tarafında rastgele atayıp seçimi çerezde tutarsınız, dönüşümü GA4'e olay olarak yollarsınız, sonucu bir tabloda toplarsınız. Bunun için ayrı bir SaaS aboneliğine gerek yok, ve testi kendi kodunuzda tutmanın ek faydası var: sayfa yüklendikten sonra JavaScript ile içerik değiştiren araçların yol açtığı titremeyi hiç yaşamazsınız.