Kullanıcı Geri Bildirim Anketlerinde İşe Yarayan Sorular
Anket, kullanıcının kafasındakini doğrudan okuyan bir araç değildir. Sorduğun soruların izin verdiği kadarını gösteren bir filtredir, o yüzden sonucun kalitesi katılımcı sayısından çok soru kurgusuna bağlıdır. Aşağıda hangi soruların gerçekten yeni bilgi getirdiği, hangi yaygın kalıpların yanıltıcı olduğu ve gelen yanıtların nasıl okunacağı var.
Bir anket sorusu ne ölçer
Her sorunun bir çıktı tipi vardır: sayı, seçim ya da metin. Sayı karşılaştırılabilir ama nedenini söylemez. Metin nedeni söyler ama toplanamaz. Seçim ikisinin arasındadır, yalnızca senin önceden düşündüğün şıklar kadar zeki olabilir.
Anket tasarlarken sorulacak ilk soru şudur: bu yanıt geldiğinde ne yapacağım? Cevabı "raporda güzel durur" olan her soruyu at. Kalanların hepsi bir karara bağlanmalı, yoksa kullanıcının zamanını harcayıp kendi tamamlanma oranını düşürmüş olursun.
Puan soruları ve NPS'in gizli matematiği
"Bu ürünü bir arkadaşınıza tavsiye eder miydiniz?" sorusu 0-10 ölçeğiyle sorulduğunda Net Tavsiye Skoru olur. Hesabı basit görünür: 9-10 verenlerin yüzdesinden 0-6 verenlerin yüzdesi çıkarılır. Dikkat edilmesi gereken kısım aradaki 7 ve 8'dir; bu yanıtlar skora hiç girmez.
Sonuç şu: NPS'i 0 çıkan iki ürün tamamen farklı durumda olabilir. Birinde katılımcıların yarısı 10, yarısı 3 vermiştir, yani ürün insanları ikiye bölmüştür. Diğerinde herkes 8 vermiştir, yani kimse ne çok memnun ne kızgındır. Tek sayı ikisini ayırt edemez. Bu yüzden NPS'i takip edeceksen skorun yanında dağılımın kendisini de sakla.
Aynı ankette hem NPS hem de "1-10 arası ürünümüzü nasıl puanlarsınız" sorusunun bulunması sık rastlanan bir hatadır. İkisi de on basamaklı, ikisi de genel memnuniyet soruyor. İnsanların büyük çoğunluğu iki alana aynı sayıyı yazar, sen de iki kolonluk veriyle tek kolonluk bilgi toplarsın. Birini seç, hemen arkasına "bu puanı neden verdiniz?" alanını koy. Asıl bilgi orada.
Ölçeği dengeli kurmak
Kullanım kolaylığı gibi bir şeyi ölçerken uçların simetrik olması gerekir. "Çok kolay" ile "imkansız" arasında bir ölçek kurmak yaygın bir tavsiyedir ama kendi kuralını çiğner: "çok kolay"ın karşıtı "çok zor"dur, "imkansız" ondan bir adım daha uçtadır. Ağırlığı olmayan bir uç seçeneği katılımcılar işaretlemekten kaçınır ve dağılım farkında olmadan olumluya kayar.
Nötr seçenek meselesi de buna benzer. Ortada bir "kararsızım" bırakırsan acelesi olan herkes oraya tıklar. Çıkarırsan tercihi olmayan insanı taraf tutmaya zorlarsın. Genel kural olarak tutum ölçerken nötr kalsın, davranış sorarken kalmasın; "kullandım" ile "kullanmadım" arasında orta nokta yoktur.
Açık uçlu sorular
"Ürünümüzü birkaç kelimeyle nasıl tanımlarsınız?" ve "en sevmediğiniz yön nedir?" iyi sorulardır, çünkü senin şık olarak akıl edemediğin şeyleri getirirler. Ama pahalıdırlar: her açık uçlu alan katılımcıdan yazma eylemi ister, üç dört tanesi arka arkaya geldiğinde anket yarıda bırakılır. İki tane yeter.
Bu yanıtları kelime bulutuna dönüştürme alışkanlığına da temkinli yaklaşmakta fayda var. Kelime bulutu frekans gösterir, olumsuzlamayı taşımaz. "Yavaş" kelimesi hem "her şey çok yavaş" cümlesinden hem de "hiç yavaş değil" cümlesinden aynı şekilde düşer bulutun içine ve ikisi ekranda aynı boyutta görünür. Elli yanıtı gözünle okumak, elli yanıttan üretilmiş bir görselden daha çok şey öğretir.
Özellik önceliklendirme sorularının tuzağı
"Hangi özellikler sizin için önemli?" diye sorup çoklu seçim bırakırsan insanlar neredeyse hepsini işaretler. Bedeli olmayan bir tercihte herkes her şeyi ister. Öncelik çıkarmak istiyorsan seçimi kısıtla: en fazla üç tanesini işaretlet ya da katılımcıya dağıtacağı sabit bir puan bütçesi ver. Kısıtlama olmadan aldığın liste, ürün yol haritası değil dilek listesidir.
Bunun ters yönlüsü olan "hangilerini gereksiz buluyorsunuz?" sorusu ise beklenenden değerlidir. Kaldırılacak özelliği bulmak, ekleneceği bulmaktan hem daha ucuzdur hem de bakım yükünü doğrudan düşürür.
Yanıtları okumak
Analiz kısmında işi zorlaştıran şey genelde araç değil, veriyi nasıl sakladığındır. Puanı veritabanına ortalama olarak değil ham değer olarak yaz, ortalamayı sorgu anında hesapla. Hazır anket araçlarının panelinde gördüğün tek ortalama, "son otuz gün, mobil, ödeme yapmış kullanıcı" gibi bir alt kümeye bakmak istediğinde sana hiçbir şey söylemez; alt kümeyi çıkarabilmek için ham satırlara ve bir zaman damgasına ihtiyacın olur.
Metin yanıtlarında da aynı disiplin geçerli. Önce benzer geri bildirimleri temalara ayır, her temanın kaç yanıttan geldiğini not et, sonra tekrar eden şikayetleri geliştirme sırasına koy. Son adımı atlamamak lazım: ankete katılanlara ne değiştirdiğini söyle. İkinci ankete katılım oranını belirleyen şey, birincisinden sonra bir şeyin gerçekten değişip değişmediğidir.
Kaynak