Proje Yaşam Döngüsünde Nicel Araştırma Nerede İşe Yarar

Nicel araştırma projenin her aşamasında aynı işi görmez. Gereksinim aşamasında insanların ne isteyeceğini söylemez, yalnızca bugün ne yaptıklarını sayar; test aşamasındaysa tek başına karar verecek kadar güçlüdür. Aşamaları ayırmadan veriye dayalı çalışalım demek, çoğu projede yanlış soruya çok doğru bir cevap üretmekle bitiyor.

Erken aşamada anket sandığından az şey söyler

Kullanıcıya ne istediğini sormak, ne yapacağını öğretmez. Beyan edilen tercihle gözlenen davranış arasındaki fark UX literatürünün en eski bulgularından biri. İnsanlar gelecekteki davranışlarını tahmin etmekte kötüdür, anket formatı da bu kötülüğü ondalıklı bir sayıya çevirip güvenilir gösterir.

Beyan tabanlı anketi, davranış tabanlı analitikten daha zayıf bir kanıt sayarım; ikisi çeliştiğinde analitikten yana giderim. Anketin proje başındaki tek sağlam kullanımı doğrulamadır: önce birkaç görüşme yap, hipotezini ve şıklarını oradan çıkar, sonra ölçeğe geç. Şıklarını kendin uydurduğun bir anket kullanıcıyı değil, kendi varsayımlarını ölçer.

Prototip testinde yüzde vermek sahte kesinliktir

Wireframe aşamasında altı kişiyle görev testi yapmak doğru iştir. Yanlış olan, çıkan sonucu tabloya yüzde diye yazmak. Altı kişinin beşi görevi tamamladıysa rapora %83 gider, oysa o oranın güven aralığı kabaca %36 ile %100 arasında uzanır. Bu genişlikte bir aralıkla hiçbir tasarım kararı verilmez.

Altı kişi sana kaç kullanıcının başaracağını söylemez, nerede takıldıklarını söyler. Erken aşamanın çıktısı da zaten budur. Sayıyı, örneklem o sayıyı taşıyacak kadar büyüdüğünde kullan.

A/B ve çok değişkenli testin trafik faturası

Dönüşüm oranı %3 olan bir sayfada %10 göreli iyileşmeyi, yani %3'ten %3,3'e çıkışı, makul bir istatistiksel güçle yakalamak için varyant başına elli bin civarı ziyaretçi gerekir. Tek bir A/B testinin gerçek maliyeti budur ve çoğu kurumsal site bu trafiği aylarca biriktirir.

Çok değişkenli test aynı maliyeti çarpar. Üç öğeyi üçer varyantla denemek yirmi yedi hücre demek ve her hücre kendi örneklemini ister; toplam bir buçuk milyon ziyaretçiye çıkar. Kaynak metinlerin çoğu multivariate testi A/B testinin gelişmiş hali gibi anlatır, oysa trafik tarafında iki yöntem aynı ligde değil. Öğeleri beklenen etki büyüklüğüne göre sıraya diz ve tek tek dene. Kombinasyon etkilerini kaçırırsın, ama hiçbir hücresi anlamlı çıkmayan yirmi yedi kutuluk tablodan iyidir.

Ne ölçeceğine analitiği kurmadan önce karar ver

Her şeyi toplayalım sonra bakarız yaklaşımının bedeli çoklu karşılaştırmadır. Yirmi metriğe %5 anlamlılık eşiğiyle bakarsan, hepsi gerçekte etkisizken bile en az birinde anlamlı fark görme olasılığın %64'e çıkar. Panelde yeterince uzun gezinen herkes eninde sonunda kutlayacak bir sayı bulur.

Bu yüzden ölçüm planı testten önce yazılır: hangi metrik birincil, hangi eşikte karar verilecek, test hangi noktada durdurulacak. Sonradan yazılan plan, plan değil gerekçelendirmedir.