Etik Kullanıcı Araştırması: Rıza, Veri ve Beş Kişilik Örneklem
Kullanıcı araştırmasında etik, imzalatılan bir onam formundan ibaret değil. Asıl sınav katılımcı odadan çıktıktan sonra başlıyor: kaydı nerede sakladığınızda, raporda kimin sözünü nasıl aktardığınızda, beş kişinin söylediğini yüzdeye çevirip çevirmediğinizde. Aşağıdakiler küçük ekiplerin en sık tökezlediği yerler.
Facebook deneyi neyi yanlış yaptı
2012 Ocak'ında bir hafta boyunca 689 bin Facebook kullanıcısının haber akışı, haberleri olmadan değiştirildi. Bir gruba daha olumlu, bir gruba daha olumsuz gönderiler gösterildi ve sonra bu insanların kendi paylaşımlarının tonu ölçüldü. Çalışma 2014'te PNAS'ta yayımlandığında tartışma bulgular üzerinden değil, rıza üzerinden koptu.
Şirketin savunması, kullanım şartlarını kabul etmiş olmanın araştırmaya katılmaya da onay sayıldığıydı. Bu savunma tutmaz. Sözleşmedeki genel bir madde rıza değildir; rıza belirli bir çalışmaya, belirli bir müdahaleye verilir. Küçük ekipler bu hatayı çok daha ucuz bir cümleyle yapıyor: "zaten üyelik sözleşmesinde yazıyor."
Rıza tek seferlik bir imza değil
Katılımcı neyin kaydedildiğini, kaydı kimin izleyeceğini ve ne kadar süre saklanacağını bilmeli. Çekilme hakkı da oturumun sonunda bitmiyor: bir hafta sonra "kaydımı silin" diyebilmeli.
Burada çoğu rehberin atladığı bir çelişki var. Kaydı gerçekten anonimleştirdiyseniz hangi kaydın kime ait olduğunu bilmezsiniz, dolayısıyla silme talebini yerine getiremezsiniz. Pratik çözüm ikisinin arasında: kayıtlara takma ad verin, takma ad ile kimlik eşlemesini ayrı ve erişimi kısıtlı bir yerde tutun, saklama süresi dolunca yalnızca o eşleme tablosunu silin. Kayıt o andan sonra gerçekten anonimdir, o ana kadar da silinebilirdir.
Beş kişiyle yüzde konuşulmaz
Nitel araştırmada küçük örneklem meşru. Beş kullanıcının kullanılabilirlik sorunlarının büyük bölümünü ortaya çıkardığı, tekrar tekrar gösterilmiş bir bulgu. Sorun örneklemde değil, o örneklemin rapora yüzdeyle geçirilmesinde.
Beş kişilik bir çalışmada tek katılımcı 20 puan eder, sekiz kişilikte 12,5 puan. "Kullanıcıların %40'ı ödeme adımında zorlandı" cümlesi aslında iki kişinin zorlandığı anlamına gelir ve o iki kişiden biri olmasa oran %20'ye inerdi. Yöneticiye giden slayta ham sayıyı yazın: 8 kişiden 3'ü. Daha az etkileyici durur; karşılığı olan tek biçim odur.
Amacı söylememek ne zaman aldatmadır
Bazı çalışmalarda amacı baştan açıklamak ölçümü bozar. Hangi düğmenin fark edildiğini ölçüyorsanız, söylediğiniz anda katılımcıya o düğmeyi arattırmış olursunuz. Amacı geri planda tutmak burada savunulabilir, ama iki şartla. Katılımcı, bilseydi katılmayacağı bir duruma maruz kalmayacak. Ve oturum biter bitmez gerçek amaç kendisine anlatılacak. Bilgilendirmeyi sonraya erteleyip sonra da yapmayan çalışma, kendine ne ad verirse versin aldatmadır.
Odada kim var
Kültürel duyarlılık başlığı çoğu metinde soyut kalıyor. Somut hali şu: yöneticisi odadayken çalışan, kullandığı yazılımın kendisini yavaşlattığını söylemez. Aynısı aile bireylerinin yanında yapılan ev ziyaretleri için de geçerli. Katılımcıyı kimin duyduğuna oturumu planlarken karar verin; bu, sonradan düzeltilebilen bir şey değil.
Zamana saygı da bir o kadar somut. 60 dakika dediğiniz oturum 85 dakika sürüyorsa, son yarım saatteki cevaplar ürünü değil yorgunluğu ölçüyordur. Soru listesini kısaltın. Katılımcının nezaketen devam etmesi onay sayılmaz.