Doğrulama Yanlılığı Analizden Önce Başlar
Doğrulama yanlılığı, inandığımız şeyi destekleyen veriyi öne çıkarıp geri kalanını sessizce elemek demek. Hipotezi test ettiğinizi sanırsınız, aslında onu savunursunuz. Kullanıcı araştırmasında ve karar süreçlerinde pahalıya patlayan hataların büyük kısmı buradan çıkar.
Yanlılık analizden önce başlar
Doğrulama yanlılığı çoğunlukla verinin yorumlandığı ana bağlanır. Oysa iş o noktada çoktan bitmiştir. Hangi soruyu sorduğunuza, kime sorduğunuza ve testi ne zaman durduracağınıza karar verirken tarafınızı seçmiş olursunuz; sonuç tablosuna bakmak, verilmiş kararın üstünü örtmekten ibaret kalır.
Altında yatan şey basit: yanılmak istemiyoruz. Haklı çıkma isteği, bir projenin yönünü aylarca yanlış tarafa çevirebilecek kadar güçlü bir motivasyon.
Bilimde bile
Margaret Mead'in 1928'de yayımlanan Samoa çalışması buna sık verilen örnektir. Mead sahadan, o dönem antropolojide savunulan tezi destekleyen bir tablo getirdi. Derek Freeman 1983'te aynı toplumu inceleyip neredeyse tersini yazdı, ama Freeman'ın çalışması da kendi beklentisini doğrulamakla suçlandı. Tartışma hâlâ kapanmadı ve asıl ders de bu: sahaya giden kişi çoğu zaman gitmeden önce inandığı şeyle döner.
Araştırmada nereden sızar
Birincisi soru. “Bu ekranı kullanmak kolay mıydı?” cevabını içinde taşır; kullanıcı size nazik davranır ve veriniz olumluya kayar. “Burada ne yapmaya çalıştınız?” aynı oturumda çok daha az hoş, çok daha kullanışlı bir cevap getirir.
İkincisi katılımcı seçimi. Ürünü zaten kullananlardan kurulan bir test grubu, ürünün anlaşılır olduğunu değil, o kişilerin ürünü öğrenmiş olduğunu ölçer.
Üçüncüsü ve en sinsisi durdurma anı. A/B testine her gün bakıp fark anlamlı göründüğü anda durdurmak, testi bitirmez, sadece beklediğiniz sonucu gördüğünüz yerde ölçümü keser. Bu şekilde çalışan bir düzende yanlış pozitif oranı, ilan ettiğiniz yüzde 5'in belirgin şekilde üstüne çıkar. Rakam sizi doğrulamış olmaz, siz rakamı doğru zamanda yakalamış olursunuz.
İşe yarayan önlemler
- Teste başlamadan önce şunu yazın: hangi sonuç beni yanıltır? Yazılı değilse yok sayın, sonradan hatırlanan kriter her sonuca uyar.
- Örneklem büyüklüğünü ve durdurma kuralını veri gelmeden sabitleyin.
- Beklentinize uymayan sonucu savunmakla görevli birini belirleyin. Bu bir rol, kişisel bir itiraz değil; kimse kendi fikrini savunmak zorunda kalmadığı için de daha rahat çalışır.
- Kullanıcıya sorulan her cümleyi, cevabı içinde taşıyıp taşımadığına bakarak yeniden okuyun.
Bu dördü içinde en ucuzu birincisi, bir cümlelik iş. En pahalıya mal olanı ise ikincisini atlamak: durdurma kuralı olmayan bir testin sonucu, testten önce bellidir. Kuralı yazın, sonra sonuca bakın, sırası bu.
Kaynaklar