Kullanıcı Gözlemi: Kontrollü ve Doğal Gözlem Nasıl Yapılır

Kullanıcı gözlemi çoğu kaynakta en hızlı ve en güvenilir yöntem diye geçer. Hızlı olduğu doğru. Güvenilirliği ise gözlemi kimin, nerede ve hangi beklentiyle yaptığına bağlı; aynı oturumu izleyen iki kişi çoğu zaman iki farklı sorun listesi çıkarır. Kontrollü gözlemle doğal gözlem arasındaki ayrım da buradan başlıyor, çünkü ikisi aynı soruya cevap vermiyor.

Gözlem neyi gösterir, neyi göstermez

Gözlem davranışı gösterir, gerekçeyi göstermez. Kullanıcının kayıt formunu üçüncü alanda bıraktığını görürsün, neden bıraktığını göremezsin. Sunucu log'u da tam aynı yerde susar: formun gönderilmediğini söyler, kullanıcının o alana üç kez dönüp yazdığını sildiğini söylemez. Gözlemin asıl katkısı bu ara karelerdir.

Oturum kaydı araçları böyle davranışları rage click gibi etiketlerle işaretler (etiketin kendisini biraz fazla dramatik buluyorum), ama etiket yalnızca nereye bakacağını söyler. Sebebi bulmak için ya kullanıcıya sormak ya da aynı kalıbı birkaç oturumda daha görmek gerekir.

Kontrollü gözlem

Kontrollü gözlem, önceden yazılmış senaryoların belirli bir ortamda uygulatılmasıdır. Görev tamamlama süresi, hata sayısı, hangi adımda takılındığı temiz biçimde kaydedilir ve oturumlar birbiriyle karşılaştırılabilir. Yöntemin gücü tekrarlanabilirliğinde.

Zayıf tarafı da aynı yerde duruyor. Senaryoyu sen yazdın. Kullanıcının o ekrana kendi başına gelip gelmeyeceğini, geldiğinde o işi yapmak isteyip istemeyeceğini hiç sınamamış olursun. Üstüne katılımcı izlendiğini bildiği için normalden dikkatli ve sabırlı davranır; Hawthorne etkisi denen şey pratikte oturumdaki hata sayısını gerçek kullanımın altında gösterir.

Doğal gözlem

Doğal gözlemde kullanıcı kendi ortamında, kendi işini yaparken izlenir. Ortaya çıkan şeylerin çoğu senaryo dışıdır: telefonu tek elle kullanması, ekranın yarısını kaplayan bildirim, işi yarıda bırakıp başka uygulamaya geçmesi, kendi bulduğu kestirmeler. Bu kestirmeler genellikle en değerli bulgudur, çünkü arayüzün nerede yol vermediğini kullanıcı zaten kendi başına çözmüştür.

Karşılığında örneklem küçülür ve tekrarlanabilirlik kaybolur. Beş kullanıcı yeter kuralı kontrollü gözlemde makul, doğal gözlemde aynı şey değil. Tek bir bağlamdan beş kişiyle beş farklı bağlamdan beş kişi aynı veriyi vermez; ikincisinde her oturum kendi başına bir vakadır ve sayarak değil okuyarak değerlendirilir.

Oturumdan önce hazırlanacaklar

• Ne öğrenmek istediğini tek cümleyle yaz. Yazamıyorsan gözlem türünü seçmen de anlamsız.
• Katılımcı profilini işe göre belirle: ürünü ilk kez açan biriyle her gün kullanan biri farklı şeyler gösterir.
• Gözlemciyi baştan ayır. Oturumu yürüten kişiyle not tutan kişi aynıysa ikisi de eksik yapılır.
• Kayıt alınacaksa açık onay al, neyin kaydedildiğini ve ne kadar saklanacağını söyle.

Tarafsız gözlem diye bir şey yok

Gözlemciye genelde iki şey aynı anda söylenir: yorum yapma, sadece kaydet; ve beklentinin dışına çıkan davranışları not et. İkincisi birincisini geçersiz kılıyor. Beklentinin dışını fark edebilmek için bir beklentinin olması gerekir, neyi not alacağını seçmek de başlı başına yorumdur.

Pratik çözüm tarafsızlığı iddia etmek değil, görünür kılmak. Oturumdan önce ne bulmayı beklediğini iki üç madde halinde yaz, sonra notlarınla karşılaştır. Beklentinle birebir örtüşen bulguya biraz daha şüpheyle bak; onu bulmaya zaten hazırdın.

Değerlendirme yapmadan gözlemlemek, en üst düzeyde zekânın göstergesidir.
Jiddu Krishnamurti

Hoş bir cümle, ama ulaşılmış bir durum değil, olsa olsa bir hedef. Gözlemci kamerayı nereye çevireceğine karar verdiği anda değerlendirme çoktan başlamıştır.

Notlardan rapora

Kontrollü oturumların çıktısı tabloya girer: görev başına süre, tamamlanma oranı, takılma noktaları. Doğal gözlemde tablo kurmaya çalışmak veriyi bozar; orada aranan şey tekrar eden kalıptır. İki ayrı oturumda aynı davranış çıktıysa listenin başına koy, bir kez çıkan şey bulgu değil hipotezdir ve bir sonraki turda sınanır.

Oturum biter bitmez kısa bir görüşme yap. On dakika sonra katılımcı neden o butona iki kez bastığını hatırlıyor, ertesi gün hatırlamıyor. Raporun işe yarayıp yaramadığı da şuradan belli oluyor: bir sonraki sürümde hangi satırın bu yüzden değiştiğini gösterebiliyor musun.