Kullanıcı Testinde Zor Katılımcı: Sorun Gerçekten Katılımcıda mı?
Test sonrası değerlendirmelerde en kolay cümle şudur: katılımcı kötü çıktı. Oysa dolaşan "problemli katılımcı" listelerine bakınca davranışların çoğunun kaynağı katılımcı değil; eleme kriteri, görev kurgusu ya da moderatörün oturum içindeki refleksleri. Hangisinin gerçekten karşıdaki kişiden geldiğini ayırmak, oturumu kurtarmanın ilk adımı.
Listedeki davranışların çoğu katılımcının tercihi değil
Standart liste hep aynı beş kişiyle başlar: konudan sapan, her şeyi onaylayan, sessiz kalan, aşırı eleştiren, kendi yerine "kullanıcılar şöyle yapar" diye konuşan. Peki bu beş davranış oturuma nereden giriyor?
Başkası adına konuşan katılımcı neredeyse her zaman bir eleme sorusu hatasıdır. Ürünü kendi işinde kullanmayan birini davet edersen elinde aktaracak deneyim olmaz, boşluğu tahminle doldurur. Konudan sapan katılımcıda da benzeri olur: görev yeterince somut değilse, ne yapacağını bilmeyen insan konuşarak zaman doldurur.
Eleme sorularını niyet üzerinden değil geçmiş davranış üzerinden kur. "Fatura kesiyor musunuz" yerine "son bir ayda kaç fatura kestiniz" diye sor; ilkine herkes evet der, ikincisi kendini ele verir.
Onaylayan katılımcıyı genelde oturumun kendisi üretir
Aynı kaynaklarda iki tavsiye yan yana durur: katılımcıya görüşünün ne kadar değerli olduğunu hissettir, sıcak davran, teşekkür et. Sonra da her şeye "güzel olmuş" diyen katılımcıdan şikâyet edilir. İkincisi büyük ölçüde birincisinin sonucudur.
Görev arasında "harika gidiyorsunuz" demek, karşıdakine hangi cevabın beklendiğini söyler. Tasarımın sahibi olmadığını oturum başında belirtmek işe yarar ama tek başına yetmez; asıl fark soruların yönünde. "Bu ekran kolay mıydı" sorusu evet cevabını hediye eder. "Burada beklemediğiniz ne oldu" sorusu ise söyleyecek şeyi olmayan biri için boş kalır, o boşluk da veridir.
Sessizlik veri yokluğu değil
Sesli düşünme yönteminde en çok müdahale edilen an, katılımcının sustuğu andır. Oysa susma çoğu zaman zorlanmanın kendisidir: kişi ekranda ne olduğunu çözmeye çalışırken konuşmayı bırakır. Tam o noktada araya girip "aklınızdan ne geçiyor" diye sormak, ölçmeye çalıştığın şeyi bozar.
Peki susan katılımcıdan hiç konuşma çıkmayacak mı? Kaydı birlikte izleyerek çıkar. Görev bittikten sonra o otuz saniyeyi geri sar ve "burada ne oluyordu" diye sor. Anlatım biraz sonradan kurgu kokar, ama görevin akışı bozulmadan kalır.
Müdahale eşiğini oturumdan önce yaz
Moderatörün ne zaman ipucu vereceği kararı oturum içinde verilirse, her katılımcı aslında farklı bir test yapmış olur. İpucu seviyelerini önceden üç satırla yaz ve herkeste aynı sırayla kullan: önce sessiz bekleme, sonra görevi tekrar okuma, en son yön gösterme. Yoksa görev süreleri birbiriyle karşılaştırılabilir olmaktan çıkar ve bunu ancak üçüncü katılımcıda fark edersin.
Bekleme süresi için de aynısı geçerli. "Zorlanınca biraz zaman tanıyın" tavsiyesi ölçülebilir değil; kaç saniye olduğunu yazarsan ölçülebilir olur.
Süreyi neyle ölçtüğün, ölçtüğün şeyi değiştirir
Görev süresini kronometreyle tutmak moderatörün refleksini veriye karıştırır. Uygulamada zaten olay kaydı varsa süre oradan da çıkar: başlangıç ve bitiş olarak hangi olayların sayılacağını önceden belirle, oturumun başında ekranda görünen tek bir işaretle video saatiyle log saatini hizala. Sonrasında videoyu saymak yerine kayıttan okursun.
Bunu her araştırma için yapmak gerekmez. Üç kişiyle yürütülen bir keşif oturumunda kimse süreye bakmayacaksa, o süreyi hiç raporlamamak da bir seçenek. Yanlış ölçülmüş bir sayı, hiç olmayan sayıdan daha çok zarar veriyor.
Kaynaklar