Kullanıcı Araştırma Planı Hazırlarken Verilen Dört Karar
Kullanıcı araştırması planı, işe başlamadan önce hangi soruyu sorduğunu ve cevabın hangi kararı değiştireceğini yazmaktır. Bu iki satır yoksa toplanan veri ilginç olur ama hiçbir şeyi değiştirmez. Aşağıdakiler, planı ayakta tutan dört karar.
Söylenen ile yapılan, iki ayrı veri
Anket ve mülakat, insanların hatırladığını ve anlatmak istediğini verir. Gerçek kullanım ekranda olur. İkisi çeliştiğinde gözlemi esas al, çünkü kimse kendi tıklamalarını doğru hatırlamaz.
Gözlem de tek başına yetmiyor. Ne yapıldığını gösterir, neden yapıldığını göstermez. Kullanılabilirlik testinde bir katılımcının formu yarıda bıraktığını görürsün; sebebini ancak o an durdurup sorduğunda öğrenirsin. Pratik karşılığı şu: oturumu kaydet, sorularını görevin bittiği yerde sor, kullanıcı hâlâ ekranın karşısındayken.
Yöntemi alışkanlığına göre değil, soruya göre seç
Her ekibin rahat ettiği bir yöntem vardır ve o yöntem zamanla bütün soruların cevabı olmaya başlar. Oysa "insanlar bu akışta nerede takılıyor" ile "hangi başlık daha çok tıklanıyor" aynı araçla ölçülmez.
A/B testi bunun iyi örneği. Anlamlı bir fark görebilmek için ciddi bir dönüşüm hacmi gerekir; günde birkaç yüz ziyaretçi alan bir sitede test haftalarca sürer ve sonunda elinde yine gürültü kalır. Aynı soruyu beş kişilik bir kullanılabilirlik testiyle bir öğleden sonrada kapatabiliyorsan A/B testine hiç girme. Kaldı ki A/B testi hangi varyantın kazandığını söyler, neden kazandığını söylemez; o cevabı yine konuşarak alırsın.
Çeşitlilik kaynak sayısında değil, kaynak türünde
"En az üç kaynaktan doğrula" gibi kurallar rahatlatıcıdır ama sayıya bakmak yanıltır. Üç ayrı anket üç kaynak değildir, aynı yöntemin üç kopyasıdır ve aynı yanlılığı üç kez taşır.
Bakman gereken şey türlerin dağılımı: nitel taraftan (mülakat, kullanılabilirlik testi) ve nicel taraftan (analitik, dönüşüm verisi, destek kayıtları) en az birer kaynak. İki farklı yöntem aynı sonuca çıkıyorsa bulguya güvenebilirsin. Çıkmıyorsa asıl bulgu odur; çelişkinin nedenini araştırmak, üçüncü bir anket doldurtmaktan çok daha fazlasını verir.
Planı bir sayfada tut
Yazılı plan, paydaşlarla aynı şeyi konuştuğunu garantiler ve sonradan "biz bunu neden ölçmüştük" tartışmasını bitirir. Planı genelde tek sayfada tutarım: araştırma sorusu, yöntem, katılımcı profili, tarih ve sonucun hangi kararı değiştireceği. Uzun plan bir kez yazılır, bir kez okunur, sonra kimse dönüp bakmaz.
Bir de şu var: kapsam değiştiğinde belgeyi güncelle. Güncellenmeyen plan hiç yazılmamış plandan daha zararlıdır, çünkü ekip ona güvenmeye devam eder. Değişiklikleri tarihiyle alta not düşmek yeterli, yeni sürüm dosyası açmaya gerek yok.
Kaynak