İstatistiksel Anlamlılık: p Değeri Neyi Söyler, Neyi Söylemez

İki tasarımdan biri diğerinden iyi sonuç verdiğinde ilk soru şu olmalı: bu fark gerçek mi, yoksa küçük bir örneklemin gürültüsü mü? İstatistiksel anlamlılık tam bu soruyu yanıtlamak için var. Ama alanda dolaşan tanımların çoğu p değerinin ne ölçtüğünü yanlış anlatıyor, o yanlış da karar masasına kadar geliyor.

Anlamlılık aslında neyi ölçer

Yaygın cümle şudur: "Sonucun rastgele ortaya çıkma olasılığı %5'in altındaysa sonuç anlamlıdır." Bu cümle yanlış. p değeri, sonucunuzun şans eseri olma olasılığı değildir. p değeri, ortada hiçbir gerçek fark yokken elinizdeki kadar uç bir veriyi görme olasılığıdır. Koşul tersine çevrilmiş durumda ve fark akademik bir titizlik meselesi değil: birinci okumaya göre p=0,03 çıkan bir testte "%97 ihtimalle B daha iyi" dersiniz, ki bu veriden çıkmaz.

Kurulan yapı basit. Önce "iki grup arasında fark yok" varsayımını alırsınız. Sonra bu varsayım doğruyken gözlemlediğiniz farkın ne kadar sıra dışı olduğunu hesaplarsınız. Yeterince sıra dışıysa varsayımı bırakırsınız. %5 eşiği ise bir doğa yasası değil, 1920'lerden kalma bir gelenek. Kalp pili yazılımı test ediyorsanız gevşek, buton rengi deniyorsanız fazla katı.

60'a 42 gerçekten anlamlı mı

Somut bir örnek üzerinden gidelim. A tasarımını 100 kişiye gösterdiniz, 60'ı işlemi tamamladı. B tasarımında 100 kişiden 42'si tamamladı. Kategorik veri, iki grup, dolayısıyla ki-kare uygun.

2x2 tablo için kısa formül şu: χ² = n(ad − bc)² / ((a+b)(c+d)(a+c)(b+d)). Sayıları yerine koyun: n=200, a=60, b=40, c=42, d=58. Pay 200 × (3480 − 1680)² = 648.000.000, payda 100 × 100 × 102 × 98 = 99.960.000. Sonuç yaklaşık 6,48. Tek serbestlik derecesinde bu değere karşılık gelen p yaklaşık 0,011. Yani %5 eşiğini rahat geçiyor, hatta %1'e teğet geçiyor.

Buraya kadar iyi. Sorun, aynı testin 18 puanlık farktan küçük hiçbir şeyi göremeyecek olması.

Örneklem, eşiği siz istemeden belirliyor

%60 ile %55 arasındaki beş puanlık farkı, %80 güçle ve %5 eşikle yakalamak istiyorsanız grup başına yaklaşık 1.533 kişiye ihtiyacınız var. 100'er kişiyle çalıştığınızda o fark orada olsa bile testiniz sessiz kalır ve siz "anlamlı fark yok" diye rapor yazarsınız. Oysa bulgunuz "fark yok" değil, "bu örneklemle göremedim".

Bu yüzden örneklem hesabını testten sonra değil önce yapmak gerekir: yakalamak istediğiniz en küçük farkı baştan söyleyin, gereken kişi sayısını çıkarın, o sayıya ulaşmadan sonuca bakmayın. Aksi halde iş, anlamlılık çıkana kadar veri toplamaya döner ki bu da eşiği anlamsızlaştırır.

Hangi test

Test seçimi verinin biçiminden çıkar, tercihten değil.

• t-testi: iki grubun ortalamasını karşılaştırırken (sepet tutarı, tamamlama süresi).
• Ki-kare: sayımlarla çalışırken (tamamladı / tamamlamadı).
• ANOVA: üç ve daha fazla grubun ortalamasını aynı anda karşılaştırırken.

ANOVA'nın var olma sebebi zaten bir sonraki başlık.

Çok test yaparsanız anlamlılık ucuzlar

Yirmi varyantı tek tek %5 eşiğiyle test ettiğinizi düşünün, hepsi de gerçekte birbirinin aynı olsun. En az bir tanesinin "anlamlı" çıkma olasılığı 1 − 0,95²⁰, yani yaklaşık %64. Hiçbir şeyin farklı olmadığı bir dünyada, üçte iki ihtimalle elinize bir kazanan geçiyor.

Bir ekranda beş metrik birden izlemek, kampanyayı beş segmente bölüp her birine ayrı bakmak da aynı kapıya çıkar. Çözüm ya eşiği test sayısına bölmek (yirmi test için 0,05 yerine 0,0025) ya da hangi metriğe bakacağınıza test başlamadan karar verip diğerlerini keşif olarak etiketlemek. Keşif fena değil, sadece kanıt değil.

Verinin kendisi de anlamlılığı bozar

Testi hızla bitirmek için rastgele tıklayan katılımcı, iki farklı şey anlaşılabilen bir soru maddesi, yarıda terk edilmiş oturumlar. Bunların hepsi gürültüyü büyütür ve gürültü büyüdükçe gerçek fark daha zor görünür hale gelir. Anlamlılık hesabı, kendisine verilen veriyi sorgulamaz; temizliği sizin yapmanız gerekir.

p yerine ne bakmalı

Bir raporda tek başına p değeri görmeyi, güven aralığı görmekten belirgin biçimde daha az bilgilendirici bulurum. p size yalnızca "eşiği geçti mi" der. Güven aralığı hem yönü hem büyüklüğü hem de belirsizliği aynı anda verir: yukarıdaki 60'a 42 örneğinde fark için aralık kabaca 4 ile 32 puan arasındadır. Sıfırı içermiyor, demek ki anlamlı; ama alt ucun 4 puan olması, bu değişikliğin maliyetini karşılayıp karşılamayacağı sorusunu hâlâ açıkta bırakıyor.

Anlamlılık, farkın var olup olmadığını söyler. Farkın işinize yarayıp yaramadığını söylemez. İki soruyu ayrı tutan ekipler, veriye bakıp yanlış karar verme oranını en çok düşüren ekipler oluyor.