Kullanıcı Testlerinde Evetçi Katılımcı: Sinyali Nerede Aramalı
Kullanıcı testinde bazı katılımcılar her ekrana iyi, her soruya evet der. Takıldıkları yeri söylemez, sorunu kendi hataları sayar ve oturumu kimseyi kırmadan bitirmeye çalışırlar. Araştırma yazınında bu tipe evetçi katılımcı (yes person) deniyor. Verdiği veri hiç veri olmamasından daha zararlıdır, çünkü ekibe ürünün sorunsuz çalıştığı izlenimini bırakır.
Evetçi katılımcı ne yapar
Test ortamı baştan asimetriktir. Bir taraf ürünü aylardır yapıyordur, diğer taraf onu ilk kez görür ve kısa süre sonra kalkıp gidecektir. Bu kurulumda çoğu insanın refleksi çatışmayı azaltmak olur: soruya olumlu cevap verir, takıldığı yeri geçiştirir, sonunda teşekkür edip çıkar.
Bunu kişilik kusuru saymak yanlış. Aynı kişi aynı ürünü arkadaşına anlatırken çok daha sert konuşur. Değişen kişi değil ortam: karşısında ürünü yapan biri oturuyordur ve söyleyeceği her olumsuz cümle o kişiye yöneltilmiş gibi durur. Yorgunluk da aynı yöne iter. Kırkıncı dakikada ayrıntılı cevap vermek emek ister, evet demek istemez.
Kendini suçlamak istisna değil, kural
Yaygın tavsiye şöyle: katılımcı ben beceremedim diyorsa evetçidir, dikkat edin. Bu teşhis fazla iddialı. Kullanılabilirlik araştırmasının en eski gözlemlerinden biri, insanların tasarım hatasını kendi beceriksizliği sanmasıdır; Don Norman'ın itilecek yerde çekilen kapı örneği tam olarak bunu anlatır. Kendini suçlama testin normal gürültüsüdür, nadir bir uyarı işareti değil.
Ayırt edici olan suçlamanın kendisi değil, arkasının gelip gelmemesi. Galiba yanlış tıkladım, üstteki sekmede arıyordum diyen katılımcı size hâlâ tasarım verisi veriyor: beklentisinin nerede durduğunu söyledi. Ben beceremedim deyip susan katılımcı ise konuyu kapatıyor. İkinci durumda cevabı düzeltmeye uğraşmayın, sadece nereye baktığını sorun.
Sinyal davranışta, sözde değil
Düşünerek konuşma (think aloud) protokolü, katılımcıdan görevi yaparken aklından geçeni sesli söylemesini istemek demektir. Evetçi katılımcıda bu protokol tek başına yetmez, çünkü sesli söylediği şey de kibardır. İşe yarayan yanı, sustuğu anları görünür kılmasıdır.
Şu davranışlar sözlü cevaptan daha güvenilirdir:
- İmlecin aynı ekranda bir süre amaçsız gezmesi, sonra hiçbir şey olmamış gibi devam edilmesi.
- Bir adımı geri alıp tekrar denemek, ardından sorun yoktu demek.
- Sayfayı aşağı yukarı tarayıp aradığını bulamamak ve aramayı kendiliğinden bırakmak.
- Görevi tamamlarken izlenen yolun, sizin tasarladığınız yolla ilgisi olmaması.
Bunların hepsi kayıtta görünür ve hiçbiri katılımcının nazik olmasından etkilenmez. Oturum videosunu izlerken sözlü cevapları bir kenara bırakıp yalnızca duraksamaları not almak, aynı oturumdan çıkan bulgu listesini belirgin biçimde uzatır.
Sürenin kendisi evetçilik üretir
Tavsiyelerin çoğu iki şeyi aynı anda söyler: oturumu kısa tutun ve tutarlılığı ölçmek için aynı görevi farklı senaryolarla tekrarlatın. İkisi bir arada yürümez. Her görevi ikinci kez yaptırmak oturumu iki katına çıkarır, uzayan oturum da yorgunluktan doğan evetçiliği besler. Tutarlılık diye ölçtüğünüz şey, katılımcının ikinci turda daha az direnmesi olup çıkar.
Kırk beş ile altmış dakikayı ideal diye veren tavsiye bu yüzden fazla cömert (otuz dakikayı aşan oturumlarda son çeyreğin cevaplarını ayrı bir gözle okurum). Tekrar gerekiyorsa görevi aynı kişiye değil başka bir katılımcıya verin. Beş kişiyle tek turluk test, iki kişiyle iki turluk testten daha çok şey söyler.
Soruyu yeniden yazın
Evet ya da hayırla cevaplanabilen her soru, evetçi katılımcıya hazır bir çıkış kapısı verir. Bu ekran anlaşılır mıydı sorusunun cevabı baştan bellidir. Aynı bilgiyi almanın yolu, soruyu geçmiş zamana ve tek bir ana bağlamaktır: bu ekrana geldiğinde ne olmasını bekliyordun. Beklenti ile ekranda olan arasındaki fark, katılımcı farkında olmasa bile cevabın içinde durur.
- Beğendin mi yerine: bu adımda ne yaptın, neden orayı seçtin.
- Zorlandın mı yerine: o sırada tam olarak neyi arıyordun.
- Önerin var mı yerine: bunu yarın tekrar yapman gerekse nereden başlardın.
Tersinden bir uyarı da var. Yanlış cevap yok, biz ürünü değerlendiriyoruz cümlesini oturum boyunca tekrarlamak işe yaramaz, hatta ters teper. Katılımcı bu cümleyi ne kadar çok duyarsa karşısındakinin onayına o kadar odaklanır. Bir kez söyleyin, sonra susup izleyin. Sessizlik, doldurulmayı bekleyen bir boşluktur ve çoğu zaman katılımcı onu kendiliğinden doldurur.
Evetçi katılımcıyı örneklemden atmayın
Bu konudaki en sık verilen öğüt, mümkünse böyle katılımcılarla çalışmamaktır. Bu öğüt sorunu yanlış yerden çözüyor. Uysal insanlar gerçek kullanıcı kitlesinin içinde de var; ürünle bir sorun yaşadığında size haber vermeden sessizce bırakıp gidecek olanlar da tam olarak onlar. Örneklemden çıkardığınızda geriye itiraz etmeyi seven bir azınlık kalır ve ürünü o azınlığın önceliklerine göre şekillendirirsiniz.
Değiştirilecek olan katılımcı değil ölçüt. Görev tamamlandı mı, kaç denemede tamamlandı, nerede durdu, yardım istedi mi. Bunlar fikir değil davranış kaydıdır ve katılımcının kibarlığı bu sayıları bozamaz. Fikir sorularını yine sorun, ama kararı onlara dayandırmayın.
Kaynaklar