Utangaç Katılımcılarla Kullanıcı Testi: Sessiz Oturumdan Veri Çıkarmak
Kullanıcı testlerinde bazı katılımcılar tek kelimeyle cevap verir, ekrana bakar, geçer. Bu oturumları kayıp saymak yerine yöntemi değiştirmek gerekir. Sessiz katılımcıdan da veri çıkar, yalnızca sözlü kanaldan gelmez; iş, o kanalı kapatmayan bir düzen kurmakta.
Sessizlik veri yokluğu değil
Utangaç katılımcı genelde kısa cevap verir, göz teması kurmaz, “bu sadece benim fikrim” diye başlar. Bunlar kişilik tespiti için değil, oturumu ayarlamak için işe yarayan sinyaller. Katılımcı fikir üretmiyor değil, fikrini yüksek sesle söylemenin bedelini yüksek buluyor. Bedeli düşürürsen veri gelir.
Pratikte iki şey yaparsın: konuşma yükünü azaltırsın, konuşmadan gelen kanalları güçlendirirsin.
İlk beş dakikayı kaybetme
Oturumun tonu ilk birkaç dakikada oturur. Şu üçünü açıkça söyle, geçiştirme:
- Değerlendirilen ürün, katılımcı değil. “Bugün şu ekranı test ediyoruz, takıldığınız her yer bizim hatamız” cümlesi bunu tek seferde kurar.
- Yanlış cevap yok. Bunu bir kez söyleyip bırakma; katılımcı ilk kez tereddüt ettiğinde tekrarla.
- Senin rolün gözlemci. Not aldığını ve neden not aldığını baştan söyle, yoksa her yazışın katılımcıya puan kırma gibi görünür.
Katılımcı kendini küçümsediğinde (“herhalde ben beceremedim”) düzelt ve devam et. “Tam da bunu görmek için buradasınız” yeterli, uzun teselli konuşması araya girer ve akışı bozar.
Sesli düşünmeyi ısrarla dayatma
Bu, utangaç katılımcıyla yapılan testlerin en sık atlanan çelişkisi. Klasik tavsiye iki şeyi aynı anda ister: katılımcıya sessizlik için alan tanı, ama sürekli sesli düşünmesini iste. Eş zamanlı sesli düşünme protokolü katılımcıdan görevi yaparken kesintisiz konuşmasını bekler, yani utangaç birine en zor gelen şeyi görev boyunca sürekli talep eder. Sonuç, ne düzgün konuşma ne düzgün görev performansı olur.
Çözüm protokolü değiştirmek. Görevi sessiz yaptır, ekranı kaydet, bitince kaydı birlikte izleyip “burada durdunuz, ne oldu” diye sor. Geriye dönük sesli düşünme, konuşma yükünü görevden sonraya taşır ve katılımcıya hatırlamak için görsel bir dayanak verir. Maliyeti oturum süresinin uzaması, kazancı ise sessiz geçen dakikaların açıklanabilir hale gelmesi.
Davranış verisine ağırlık ver
Katılımcı hiç konuşmasa bile şunlar elinde kalır: göreve kadar geçen süre, gidilen yol, geri dönülen ekranlar, tıklanıp vazgeçilen öğeler, imlecin bir düğmenin üstünde beklediği süre. Duraksama noktaları neredeyse her zaman arayüzün bir yerinde belirsizlik olduğunu gösterir.
Bunu toplamak için pahalı bir analitik ürününe gerek yok. Test derlemesine birkaç satırlık bir olay dinleyicisi koy, tıklama ve sayfa geçişlerini zaman damgasıyla konsola ya da düz bir dosyaya yaz, oturumdan sonra ekran kaydıyla yan yana koy. Hazır araçların çoğu bunun üstüne ısı haritası ve gösterge paneli ekliyor; beş kişilik bir testte o katmanın karşılığı yok.
Yüz ifadesi ve beden dili notlarını da al ama tek başına yorumlama. “Kaşını çattı” tek başına bulgu değil, “üçüncü adımda kaşını çattı ve iki kez geri döndü” bulgudur.
Konuşmadan geri bildirim veren yöntemler
Sözlü kanal tıkalıysa yazılı ya da eylemsel kanalları aç:
- Görev sonunda basit bir zorluk puanı sor (1-5). Tek soru, tek sayı, konuşma yok.
- Ekran görüntüsünü katılımcıya ver, kafa karıştıran yerleri işaretlemesini iste.
- Kart sıralama veya öncelik sıralaması yaptır. Katılımcı fikrini cümle kurmadan sıralamayla söyler.
- Oturum sonrası kısa bir yazılı form gönder. Utangaç katılımcının en açık geri bildirimi çoğu zaman odadan çıktıktan sonra geliyor.
Beş kullanıcı kuralı burada olduğu gibi tutmaz
Yaygın kabul, beş katılımcının kullanılabilirlik sorunlarının yaklaşık %85'ini ortaya çıkardığı yönünde. Bu, kişi başına sorun bulma olasılığını yaklaşık %31 alan bir modelden geliyor: beş kişiyle 1-(1-0,31)^5, yani %84 civarı.
Model her katılımcının aynı verimle veri ürettiğini varsayıyor. Sözlü gerekçeye dayanan bulgular için bu varsayım sessiz katılımcılarda çöker. Beş kişilik bir oturumda ikisi neredeyse hiç konuşmuyorsa, o kanal için etkin örneklem üçe iner ve aynı hesap %67'ye düşer. Aradaki fark küçük değil.
Bunun iki sonucu var. Gerekçe gerektiren sorular (neden bu düğmeyi bekliyordunuz, bu terimden ne anladınız) için katılımcı sayısını artır ya da yazılı takip ekle. Davranışsal bulgular (nerede takıldı, hangi yolu denedi) sessiz katılımcıda da geliyor, orada beş sayısıyla oynamana gerek yok.
Kaynak