UX Araştırmalarında Derecelendirme Ölçekleri: Hangisi Neyi Ölçer?
Derecelendirme ölçeği kurmak kolay, yorumlamak zor. Beş seçenekli bir soru birkaç dakikada yazılır, ama çıkan 3,8 ortalamasının ne anlattığı çoğu raporda hiç sorgulanmaz. Ölçek türleri arasındaki asıl fark da burada, cevabın sayıya dönüşme biçiminde ortaya çıkıyor.
Ölçek türü, aslında soruyu belirler
İkili ölçek (evet/hayır) hızlıdır ve bir şeyin olup olmadığını öğrenmek istediğinizde yeterlidir: kullanıcı arama kutusunu buldu mu, bulmadı mı. Nüans arıyorsanız yanlış araç. Likert ölçeği bir ifadeye katılım derecesini sorar, memnuniyet ve algılanan kullanılabilirlik ölçümlerinin standardı halini almıştır. Semantik diferansiyel ise iki zıt sıfat arasında konumlandırma ister ("karmaşık / basit"), marka algısı ve duygusal tepki ölçmek için Likert'ten daha keskin sonuç verir. Sayısal ve görsel analog ölçekler, 0 ile 100 arası bir sürgü gibi, yoğunluk ölçmek içindir.
Peki neden çoğu ankette her soru aynı beşli Likert kalıbıyla soruluyor? Genellikle alışkanlıktan. Aynı formda ölçek türünü değiştirmek katılımcıyı yormaz, tersine soru tipinin değişmesi dikkati canlı tutar.
Ortalamanın sessiz sorunu
Likert verisi sıralıdır. "Katılıyorum" ile "tamamen katılıyorum" arasındaki mesafenin, "kararsızım" ile "katılıyorum" arasındaki mesafeye eşit olduğunu kimse göstermedi. Cevapları 1-5 diye numaralayıp toplayıp bölmek, tam olarak bu eşitliği varsaymak demektir.
Somut hali şu: iki ekran da 3,6 ortalama almış olsun. Birincide herkes 3 ya da 4 vermiştir, ikincide katılımcıların yarısı 1, yarısı 5 vermiştir. Ortalama aynı, ama birinci ekran sıradan, ikincisi bir kısım kullanıcıyı tamamen kaybediyor. Ortalamayı raporlayan tablo bu ayrımı görünmez kılar.
Pratik karşılığı: medyan ve dağılımı birlikte verin, ortalamayı tek başına başlığa taşımayın. Görsel analog ölçek bu konuda daha rahattır, 0-100 sürgüde aralıklar tanım gereği eşittir, orada ortalama savunulabilir bir sayıdır.
Yanlılıkların hangisi gerçekten çözülüyor
Ölçek yanlılıklarının hepsi aynı ölçüde giderilebilir değil. Soru sırasından kaynaklanan etkiyi katılımcılar arasında rastgeleleştirerek dengeleyebilirsiniz, bu ucuz ve işe yarar. Kullanıcının en son yaşadığı deneyimi genelleme eğilimi ise ancak ölçümü deneyimin hemen ardına yerleştirerek kontrol edilebilir, sonradan sorulan "genel olarak nasıldı" sorusu zaten son oturumun cevabıdır.
Ortalamaya eğilim için sık verilen tavsiye, orta seçeneği kaldırıp dörtlü ölçeğe geçmektir. Bunu iyi bir fikir bulmuyorum: gerçekten kararsız olan katılımcıyı taraf tutmaya zorlarsınız ve elinize veri değil gürültü geçer. Orta noktayı bırakıp uç etiketleri netleştirmek daha sağlam sonuç veriyor. "Çok memnunum" yerine "bu adımı tekrar yapmak isterim" gibi davranışa bağlı bir ifade, katılımcının kendi ölçeğini uydurmasını engeller.
Ölçeğin söylemediği şey
Bir ölçek size skorun ne olduğunu söyler, neden o olduğunu söylemez. Düşük puanın arkasında bazen tasarım hatası vardır, bazen kullanıcının o gün hiç aramadığı bir özellik. Her ölçek sorusunun ardına tek bir açık uçlu satır koymak ("bu puanı verirken aklınızda ne vardı?") analiz aşamasının en çok işe yarayan girdisidir. Kullanılabilirlik testi ya da oturum kaydı da aynı boşluğu doldurur, ama okunması saatler alır; açık uçlu cevap dakikalar.
Veriyi toplarken ve okurken
Analizde başlanacak yer dağılımdır, ortalama değil. Histogramı çizin, medyan ve çeyrekler arası açıklığı yazın, sonra segmentlere kırın: yeni kullanıcı ile üç aydır ürünü kullanan aynı ölçeği aynı anlamda kullanmıyor. Katılımcı sayısı yirminin altındaysa istatistik üretmeye çalışmak yerine cevapları tek tek okumak daha dürüst bir yol.
Bir de kayıt tarafı var. Yanıtı veritabanına yazarken sadece 4 sayısını değil, ölçeğin o günkü halini de saklayın: madde metni, seçenek sayısı, uç etiketleri. (Altı ay sonra ölçeği güncellediğinizde eski veriyle karşılaştırma yapmak isteyeceksiniz, elinizde yalnızca sayı kalırsa o karşılaştırma yanlış olur ve yanlışlığı fark edilmez.)
Kaynaklar