Nitel Kullanıcı Araştırması: Beş Kişi Neyi Bulur, Neyi Kaçırır

Nitel kullanıcı araştırması, kaç kişinin ne yaptığını değil neden yaptığını sorar. Sekiz görüşme, sekiz bin oturumluk analitik verisinin açıklayamadığı bir davranışı bazen tek cümlede çözer. Aynı sekiz görüşme, yanlış kurulduğunda araştırmacının zaten inandığı şeyi kibarca onaylayan bir tiyatroya da dönüşebilir. Fark yöntemin kendisinde değil, nasıl kurulduğunda.

Nicel size ne olduğunu söyler, nitel nedenini

Analitik panelinde ödeme adımının terk oranını görürsünüz: yüzde 62. Bu sayı sorunun büyüklüğünü verir, kaynağını vermez. Kaynağı öğrenmek için birinin o ekranda durup "kargo ücreti nerede yazıyor" diye sorduğunu duymanız gerekir.

İki yaklaşım arasında bir hiyerarşi kurmanın anlamı yok, ama sıralamanın anlamı var. Nitel önce gelirse ölçeceğiniz doğru şeyi bulursunuz; nicel önce gelirse yanlış hipotezi çok hassas biçimde ölçersiniz. Ekiplerin çoğu ikincisini yapıyor, çünkü panel zaten açık ve görüşme ayarlamak zahmetli.

Beş kullanıcı kuralının hesabını yapın

Sektörde en çok tekrarlanan sayı bu: beş kullanıcıyla test edin, sorunların yüzde 85'ini bulun. Rakam uydurma değil, Nielsen ve Landauer'in modelinden geliyor ve formülü basit: bulunan sorun oranı 1 - (1 - L)^n. Burada n katılımcı sayısı, L ise tek bir katılımcının ortalama olarak sorunların ne kadarını ortaya çıkardığı.

Orijinal çalışmalarda L yaklaşık 0,31 çıkmış. Beş katılımcı için 1 - 0,69^5 = 0,84. Yüzde 85 buradan.

Asıl mesele L'nin sabit olmaması. Basit bir kayıt formunda tek kullanıcı sorunların üçte birine denk gelebilir. Onlarca dallanması olan bir kurumsal onay akışında bu oran rahatlıkla 0,15'e düşer, çünkü her katılımcı akışın yalnızca bir kolundan geçer. O zaman hesap şöyle olur: 1 - 0,85^5 = 0,56. Beş kişi sorunların yarısını biraz geçer. Aynı formül, aynı yöntem, tamamen başka bir sonuç.

İkinci sınır segmentlerde. Formül tek ve homojen bir kullanıcı kitlesi varsayar. Bayi, son kullanıcı ve muhasebe personeli aynı üründe farklı ekranlarda dolaşıyorsa, bunlar üç ayrı popülasyondur ve her biri için ayrı beş kişi gerekir. "Beş kişi yeter" cümlesini toplam katılımcı sayısı sanıp üç segmentten ikişer kişi çağırmak, kâğıt üzerinde kural uygulanmış gibi görünen ama hiçbir segmenti kapsamayan bir test üretir.

Pratik sonuç: beş sayısını hedef değil, ilk tur olarak alın. Beşinci görüşmede hâlâ yeni tipte sorun çıkıyorsa örneklem doymamıştır ve devam etmeniz gerekir. Yeni gelen her şey öncekilerin tekrarıysa durabilirsiniz.

Önyargı yok edilmez, izlenebilir kılınır

Nitel araştırma metinlerinin çoğu "önyargılarınızdan arının" der ve iki paragraf sonra yöntemin gücünün araştırmacıyla katılımcı arasındaki yakın etkileşimden geldiğini söyler. Bu ikisi aynı anda doğru olamaz. Odada bir insan varsa, soruyu seçen, ne zaman sustuğuna karar veren, hangi cümleyi not defterine geçireceğini belirleyen o insandır.

Gerçekçi hedef, önyargıyı silmek değil kayıt altına almak. Araştırmaya başlamadan önce beklediğiniz bulguları bir yere yazın. Görüşmeler bittiğinde o listeye dönün. Beklentilerinizin hepsi doğrulandıysa muhtemelen araştırma yapmadınız, kendinize onay topladınız.

Soru kalıbı da bunun bir parçası. "Bu ekranı kullanışlı buldunuz mu" sorusu cevabı içinde taşır. "Bu ekranda en son ne yapmaya çalıştınız, nasıl sonuçlandı" sorusu taşımaz. Katılımcı sizi memnun etmek ister; ona memnun edecek cümleyi vermeyin.

Hafıza güvenilmez bir kaynaktır

Görüşmelerin en zayıf tarafı geçmişe dönük sorular. İnsanlar iki hafta önce bir uygulamada yaşadıkları takılmayı hatırlamaz; hatırladıklarını sandıkları şey, o zamandan bugüne kurdukları tutarlı bir hikâyedir. Anlatılan sürüm gerçekte yaşananın düzeltilmiş halidir.

Bu yüzden "nasıl yapıyorsunuz" sorusu yerine "şimdi yapın, ben izleyeyim" tercih edilmeli. Kullanım anında yapılan gözlem, sessizlikleri, geri dönüşleri, yanlış tıklamaları verir. Bunların hiçbiri sonradan anlatılmaz, çünkü kimse kendi tereddüdünü hatırlamaz.

Geçmişe dönük sorunun işe yaradığı tek yer motivasyon katmanı: neden bu ürünü aradınız, alternatifi neydi, vazgeçmenize ne sebep oldu. Davranışı gözleyin, gerekçeyi sorun.

Analizi tek kişiye bırakmayın

Kodlama aşaması, araştırmanın en sessiz biçimde bozulduğu yer. Ham kayıtları tek bir kişi temalara ayırdığında ortaya çıkan şey verinin değil, o kişinin veriyi nasıl gördüğünün haritasıdır.

Ucuz bir çözüm var: aynı iki görüşmeyi iki kişi bağımsız olarak kodlasın, sonra listeleri yan yana koyun. Ayrıştıkları noktalar genelde en ilginç bulgulardır, çünkü ikisi de aynı cümleyi duymuş ve farklı sonuç çıkarmıştır. Dovetail veya Miro gibi araçlar bunu kolaylaştırır ama zorunlu değil; iki sütunlu bir tablo da iş görür.

Katılımcıya geri dönüp "sizi doğru anladım mı" diye sormak da işe yarar, tek şartla: özeti kendi yorumunuzu ekleyerek sunmayın, katılımcının kendi cümlelerini geri okuyun.

Bulguyu karara bağlayın

Sekiz görüşmeden çıkan otuz sayfalık not, kimse okumadığı sürece bir maliyet kalemidir. Her temayı bir eyleme bağlayın: değişecek ekran, düzelecek metin, kaldırılacak adım. Bağlanamayan tema ya gerçek bir sorun değildir ya da yeterince derine inilmemiştir.

Üç katılımcının aynı yerde takıldığı bir akış, analitikte yüzde 2'lik bir sapma gibi görünen şeyden daha güçlü bir sinyaldir. Sayının küçüklüğü sinyalin zayıflığı anlamına gelmez; sadece ne kadar yaygın olduğunu bilmediğiniz anlamına gelir. Onu ölçmek nicel tarafın işi, ve sırası tam olarak burasıdır.