Kullanıcı Araştırmasında Katılımcı Seçimi: Veriyi Bozan Hatalar

Bir kullanıcı araştırmasının sonucu, sorduğunuz sorulardan çok kimi odaya aldığınıza bağlıdır. Yanlış katılımcı çöp veri üretmez, makul görünen yanlış veri üretir; pahalı olan da budur. Kötü katılımcıyı sonradan analizden çıkarmak mümkün, ama ucuz olan onu hiç almamaktır.

Ödülü yükseltmek katılımı değil, gelen kişiyi değiştirir

Yüksek ödül daha çok başvuru getirir, bu doğru. Getirdiği kişilerin bileşimi de değişir: göreve ilgi duyan kullanıcı yerine, saat başına en çok ödülü toplamayı optimize eden panel kullanıcısı gelir. Bu kişi anketi bilerek sabote etmez, sadece hızlı bitirmeye çalışır, sonuç aynı kapıya çıkar.

Ödülü, katılımcının harcayacağı süreyi makul bir saatlik ücretle çarparak belirleyin. Bunun bariz üstüne çıktığınızda kazandığınız şey katılım hızıdır, veri kalitesi değil.

Dar filtre ile çeşitlilik aynı anda istenemez

Katılımcı seçimi tavsiyelerinde sık rastlanan bir çelişki var: bir yanda "hedef kitleyi yüksek isabetle daraltın", diğer yanda "havuzu çeşitlendirin, farklı segmentleri dahil edin". Bu ikisi aynı çalışmada birlikte yürümez. Her ek ekran sorusu havuzu böler, ve dar bir tanımın içinde kalan grup genelde birbirine benzeyen kişilerden oluşur.

Kararı çalışmanın sorusuna göre verin. Belirli bir akışın belirli bir kullanıcı tipinde kırılıp kırılmadığını arıyorsanız filtreyi sıkın, on kişi yeter. Ürünün genel olarak kimde tıkandığını bilmiyorsanız filtreyi gevşetin, çeşitlilik burada bir maliyet değil, aradığınız şeyin ta kendisi.

Dikkat kontrollerinin kendi hata payı var

Çapraz soru, tuzak soru, süre eşiği: hepsi işe yarar, hepsinin yanlış pozitifi vardır. Dikkatli bir katılımcı da soruyu yanlış okuyabilir, telefonu elinden bırakabilir, bir soruda daldığı için eşiği aşabilir.

Aritmetiği yapmakta fayda var. Tek bir kontrolün dürüst katılımcıyı yanlışlıkla eleme olasılığı yüzde 5 ise, beş bağımsız kontrolün hepsini geçme olasılığı 0,95'in beşinci kuvveti, yani yaklaşık yüzde 77. Geriye kalan yüzde 23, hiçbir şey yapmamış insanları elediğiniz orandır. Üç kontrolde bu oran yüzde 14'e iner. Kontrol sayısını artırmak veriyi bir yere kadar temizler, sonrasında sadece örneklemi "testte iyi olan" insanlara doğru kaydırır.

İki kontrol yeterli: biri tutarlılık için (aynı bilgiyi farklı biçimde soran bir çift), biri de çabayı ölçmek için. Üçüncüsünü eklemeden önce elinizdeki ilk ikisinin kaç kişiyi elediğine bakın.

Cevaba değil davranışa bakın, ölçmesi daha ucuz

Katılımcının ne söylediği manipüle edilebilir, formu doldururken bıraktığı iz genelde edilemez. Yanıt süresi, soru başına geçen zaman, geri dönüp cevabı değiştirme, tek kolonda ilerleyen işaretleme (straightlining) gibi sinyaller, self-report'tan daha güvenilirdir.

Bunun için ayrı bir analitik aracı kurmanız gerekmez. Formun açıldığı zaman damgasını gizli bir alanda taşıyıp gönderim anındaki farkı sunucuda kaydedin, birkaç satır iş. Card sorting ve first-click testlerinde araç bu veriyi zaten üretiyor, dışa aktarım dosyasında duruyor ve çoğu ekip hiç açmıyor.

Eleme kuralını veriyi görmeden yazın

Katılımcı elemesindeki asıl risk kötü katılımcı değil, elemeyi sonuca bakarak yapmaktır. Veri geldikten sonra "bu cevaplar tuhaf" diye çıkardığınız kişiler, çoğu zaman hipotezinizi bozan kişilerdir.

Bu yüzden eşikleri çalışma başlamadan sabitleyin: minimum süre kaç saniye, tutarsızlık sayısı kaçtan sonra dışarıda, kaç kişi elenirse çalışma tekrarlanacak. Yazılı olsun, kısa olsun, sonradan değişmesin. Analiz sırasında kural değiştirmek zorunda kaldığınız her seferde, o çalışmanın sonucunu bir hipotez olarak raporlayın, bulgu olarak değil.

Pratikte kontrol listesi

• Ödülü süre ile orantılayın, piyasa üstüne çıkmayın.
• Aynı kişinin ikinci kez katılmasını e-posta değil, cihaz ve panel kimliği üzerinden engelleyin; e-posta ucuzdur.
• Ön bilgilendirmeyi kısa tutun ve görevi baştan söyleyin. Ne yapacağını bilmeden başlayan katılımcının ilk iki görevi zaten ısınma turudur.
• Eleme kurallarını ve elenen kişi sayısını raporda yazın. Yüzde kırkı elenmiş bir çalışmanın sonucu, yüzde beşi elenmiş bir çalışmanınkiyle aynı ağırlıkta okunamaz.