UX Araştırmasında Güven Aralığı: Hangi Formül, Nasıl Yorum
Kullanılabilirlik testinde beş kullanıcıdan beşi görevi tamamladı. Başarı oranı %100 mü? Ölçtüğünüz beş kişide öyle. Güven aralığı tam olarak bu boşluğu ölçer: elinizdeki sayının, ölçmediğiniz kitle hakkında ne kadar şey söylediğini. Aşağıda aralığın ne anlama geldiğini, hangi formülün ne zaman doğru olduğunu ve raporda hangi sayının yer alması gerektiğini anlatıyorum.
Aralık neyin aralığı
%95 güven aralığı, sonucunuzun %95 ihtimalle doğru olduğu anlamına gelmez. Anlamı şu: aynı çalışmayı aynı yöntemle yüzlerce kez tekrarlasanız, ürettiğiniz aralıkların yaklaşık %95'i gerçek değeri içine alır. Fark akademik bir titizlik değil, pratik bir uyarı. Aralık bir tek ölçümün doğruluk belgesi değil, yöntemin uzun vadeli isabet oranıdır.
Buradan çıkan sonuç net: tek bir testin aralığı gerçek değeri kaçırmış olabilir ve bunu bilmenin yolu yoktur. Kararınızı aralığın genişliğine göre verin, merkezine değil.
z mi, t mi
Kitaplar şöyle yazar: popülasyonun standart sapması biliniyorsa z, bilinmiyorsa t kullanılır. UX araştırmasında popülasyonun standart sapmasını bilirsiniz diye bir durum yok. Görev süresinin gerçek yayılımını zaten bilseydiniz test yapmaya gerek kalmazdı. Dolayısıyla pratikte cevap her zaman t.
Örnek: 20 kişilik bir testte ortalama görev süresi 5 dakika, standart sapma 2 dakika çıktı. Serbestlik derecesi 19, %90 için t değeri 1,729. Hata payı 1,729 × (2 / √20) = 0,77 dakika. Aralık 4,23 ile 5,77 dakika arası. Aynı hesabı z ile (1,645) yapsaydınız 0,74 çıkardı; küçük bir fark ama hep aynı yöne, aralığı olduğundan dar göstermeye doğru bir fark. n büyüdükçe t zaten z'ye yaklaşır, o yüzden t'yi kullanmanın bir maliyeti yok.
Oranlarda Wald formülü küçük örneklemde çöker
Süre, tıklama sayısı gibi sürekli veriler için yukarıdaki hesap yeterli. Başarı oranı gibi oranlarda ders kitabı formülü şudur:
p ± z × √( p(1-p) / n )
Şimdi baştaki örneği koyun: p = 1, n = 5. Karekökün içi sıfır, hata payı sıfır, aralık [%100, %100]. Beş kişiyle tüm kullanıcı kitlesinin sorunsuz çalıştığını kanıtlamış oluyorsunuz. Formül burada matematiksel olarak çalışıyor ama gerçeği tersine çeviriyor.
Düzeltilmiş Wald (Agresti-Coull) yöntemi bu sorunu ucuz bir hileyle çözer: paya z²/2, paydaya z² ekleyip hesabı öyle yapar. 5/5 için %95 aralığı kabaca %51 ile %100 arasına oturur. Yani beş kişilik testten çıkarabileceğiniz tek şey "başarı oranı yazı turadan iyi" olur. Ben oran aralıklarında Wald'ı hiç kullanmam, düzeltilmiş halini standart kabul ederim; iki formülün farkı büyük örneklemde ihmal edilebilir, küçük örneklemde ise doğru ile yanlış arasındaki fark kadardır ve UX testlerinin çoğu küçük örneklemdir.
Dört kat kuralı
Hata payı √n ile ters orantılı. Bu, örneklemi büyütme kararını çok somut bir pazarlığa çevirir: aralığı yarıya indirmek için katılımcı sayısını dörde katlamanız gerekir. Yukarıdaki 20 kişilik testte ±0,77 dakikayı ±0,39'a çekmek 80 kullanıcı demek. 80'i ±0,19'a çekmek 320 kullanıcı demek.
Toplantıda "biraz daha veri toplayalım" denince sorulacak soru budur. Elli kişilik testi altmışa çıkarmak aralığı %9 daraltır, kimsenin kararını değiştirmez. Büyütme kararı ya dört katlıdır ya da anlamsızdır.
Güven düzeyini düşürmek örneklem sorununu çözmez
Bütçe yetmediğinde akla gelen kısayol güven düzeyini indirmek oluyor: %95 yerine %80, hatta "küçük riskli kararlar için %51 yeter" gibi öneriler dolaşıyor. Bu bir hesap değil, sayının anlamını boşaltmak. %51 güven düzeyi, yöntemin gerçek değeri kaçırma olasılığının yazı turaya yakın olduğunu söyler; bunu rapora yazmakla hiçbir şey yazmamak arasında ölçülebilir bir fark yok.
Doğru soru güven düzeyi değil, kararın maliyeti. Geri alması ucuz bir değişiklikte zaten aralığa ihtiyacınız yok, deneyin ve metriğe bakın. Geri alması pahalı bir değişiklikte de %80'e razı olmak riski azaltmaz, sadece görünmez kılar. Güven düzeyini projeye göre pazarlık konusu yapmayın; %95'i sabit tutun, oynanacak yer örneklem büyüklüğü ve kabul edeceğiniz aralık genişliğidir.
A/B testinde farkın aralığını verin
En sık yapılan raporlama hatası burada. "Yeni buton tıklanma oranını %10 artırdı" cümlesi iki farklı şeyi kastediyor olabilir: oran 20'den 22'ye mi çıktı, yoksa 20'den 30'a mı? Raporda mutlak farkı yazın.
Asıl mesele ise şu: iki varyantın kendi güven aralıklarını yan yana koymak sonucu vermez. Karar, farkın güven aralığına bakılarak verilir. Fark için hesaplanan aralık sıfırı içeriyorsa "iyileşme yok" değil, "bu veriyle yön belirlenemiyor" demektir. İki varyantın ayrı aralıkları çakışsa bile farkın aralığı sıfırı dışarıda bırakabilir; tersi de olur. Yan yana iki çubuk grafiğe bakıp karar veren ekiplerin çoğu bu yüzden yanılıyor.
İstatistiksel anlamlılık, işe yararlık değildir
Yeterince büyük örneklemle her fark anlamlı çıkar. Sayfa yüklenme süresini 0,1 saniye kısaltmanın etkisi 200 bin oturumda pekâlâ anlamlı görünür; bu, o iş için üç haftalık geliştirme ayırmayı haklı çıkarmaz. Anlamlılık farkın sıfırdan ayrıldığını söyler, farkın büyüklüğü hakkında hiçbir şey söylemez.
Bunun panzehiri aralığın kendisi. Testten önce "ne kadarlık bir iyileşme bu işi yapmaya değer kılar" sorusunu cevaplayın ve o eşiği yazın. Sonra farkın aralığına bakın: aralığın tamamı eşiğin üstündeyse uygulayın, tamamı altındaysa vazgeçin, eşiği kesiyorsa henüz karar verecek veriniz yok.
Raporda ne yazmalı
Çıplak yüzde yazmayın. Her oranın yanına örneklem büyüklüğünü, aralığı ve güven düzeyini koyun: "görev başarısı %85 (%95 GA: %72–%94, n = 30)". Grafiklerde hata çubuğu kullanın ve çubuğun neyi gösterdiğini açıkça yazın; standart sapma ile güven aralığını aynı grafikte karıştıran raporlar okuyucuyu sistematik olarak yanıltıyor.
Aralık dar değilse bunu gizlemek yerine kararı erteleyin ya da geri alınabilir bir deneme olarak sunun. Belirsizliği rapora yazmak zayıflık değil; belirsizliği raporlamayan ekip, kararın hesabını sormak isteyene verecek hiçbir sayıya sahip olmaz.
Kaynaklar