UX Araştırmasında Parçalı Veriyle Karar Vermek
Beş kişilik bir test, ürünün tamamı hakkında değil, o beş kişinin dokunduğu yüzey hakkında bilgi verir. Sorun testin küçük olması değil, çıkan cümlenin ürünün geneli sanılması. Araştırmayı büyütmeden önce elinizdeki parçanın neyi temsil ettiğine karar vermek gerekiyor.
Hata az veriyle çalışmakta değil
Kör adamlar ve fil hikayesi bu konuda sık anlatılır: herkes hayvanın bir yerine dokunur, kimse tamamını bilemez. Hikayenin araştırmaya taşınan hali genelde yanlış yerinden tutuluyor. Adamların hatası az dokunmak değildi, dokundukları yeri hayvanın tamamı saymalarıydı.
Pratikte şöyle görünür. Beş kullanıcıyla yapılan testten “kullanıcılar filtreyi bulamıyor” cümlesi çıkar, üç hafta sonra bu cümle yol haritasında bir maddeye dönüşür. O beş kişinin hepsinin mobilden girdiğini ve hiçbirinin ürünü daha önce kullanmadığını kimse hatırlamaz.
Ucuz bir çözümü var: bulguyu kapsamıyla birlikte yazın. “Filtre bulunamıyor” değil, “ilk kez giren 5 mobil kullanıcının 4'ü filtreyi açamadı”. Aynı bilgi, ama genellenmeye direniyor.
Kaç kişi değil, hangi kişiler
Örneklem tartışması neredeyse her zaman sayı üzerinden yürür. Oysa aynı profilden yirmi kişi eklemek, farklı profilden üç kişi eklemekten daha az yeni şey gösterir; benzer insanlar benzer yerlerde takılır ve aynı bulguyu üst üste doğrularsınız.
En sık düşülen tuzak, katılımcıyı ulaşması kolay yerden toplamak: e-bülten listesi, ürünü zaten seven kullanıcılar, ofisteki arkadaşlar. Bu grup ürünü öğrenmiş insanlardan oluşur, dolayısıyla öğrenme sırasında kırılan ne varsa görünmez olur.
Üç gruba ayrı ayrı bakın: ürünü ilk kez açan, düzenli kullanan, bir kez deneyip bırakan. Üçüncüsü en zor bulunan ve en çok şey söyleyen gruptur (bırakan kullanıcıya tek soruluk bir e-posta göndermeyi, pahalı araştırmaların çoğundan verimli buluyorum).
Hızlı test ile derin araştırma aynı soruya cevap vermiyor
Tavsiye genelde ikisini birden yapmak yönünde: aylık hızlı testler, yılda bir kapsamlı analiz. Doğru ama eksik, çünkü çıktıların ne işe yaradığı söylenmiyor ve ekipler ikisini aynı torbaya atıyor.
Ayrım şu. Aylık küçük testler “değiştirdiğimiz şey işe yaradı mı” sorusuna bakar, örneklemi dar olduğu için yeni bir ihtiyaç keşfetmek üzere kurulmaz. Derin araştırma ise “doğru problemi mi çözüyoruz” sorusudur, sonucu bir sonraki çeyreğin kapsamını değiştirir. Küçük testten çıkan tek bir bulguyla stratejiyi çevirmek hızlı olduğu için değil, yanlış aletle ölçtüğü için tehlikeli.
Sahibi olmayan veri havuzu mezarlığa döner
Departmanların birbirinin verisini görmemesi gerçek bir sorun ve çözümü genelde “hepsini ortak bir yerde toplayalım” diye özetleniyor. Ortak yer bir hafta dolar, altı ay sonra kimse açmaz.
Havuzun yaşaması için iki şey gerekiyor: sahibi olan bir kişi ve her kaydın yanında duran künye. Künye kısa olabilir; tarih, kaç kişi, hangi profil, hangi sürüm. Sürümü yazmak fazladan iş gibi görünür, ama arayüz değiştikten sonra eski bulgunun hâlâ geçerli olup olmadığını başka türlü anlayamazsınız.
Dosyalamayı proje adına göre değil ekrana ya da akışa göre yapın. Altı ay sonra kimse “Q3 Onboarding Çalışması” diye aramaz, “ödeme adımı” diye arar.
Nitel ne söyler, nicel ne söyler
Analitikte düşen bir dönüşüm oranı insanların ne yaptığını gösterir, neden yaptığını göstermez. Görüşme tam tersidir: nedeni verir, yaygınlığı vermez. Birini diğerinin yerine kullanmak, araştırmada en sık görülen ve en pahalıya mal olan hata.
Sıralama da işin bir parçası. Önce nicel veriye bakıp nerede kanadığınızı bulun, sonra o noktaya nitel yöntemle inin. Ters yönde ilerlerseniz üç kişinin şikayet ettiği bir ekranı cilalamakla haftalar geçebilir.