Satış Yüksek, Şikayet Yok: Bu Bir Deneyim Kanıtı mı?
Satışlar artıyor, destek kutusuna neredeyse hiç şikayet düşmüyor. Bu tablo genelde kullanıcı deneyiminin kanıtı sayılır. Oysa iki rakam da deneyimi değil, kullanıcının davranışının sonucunu ölçüyor ve o davranışın arkasında memnuniyet de olabilir, vazgeçmişlik de.
Sessizlik iki ayrı şeyin sesi
Bir kullanıcı size yazmıyorsa, ya işi yolunda gidiyordur ya da yazmanın işe yarayacağına inanmamıştır. İkisi aynı veriyle, yani sıfır kayıtla temsil ediliyor. Peki bu ikisini birbirinden nasıl ayırırsınız?
Ayırt etmenin en ucuz yolu şikayeti değil terk etmeyi izlemek. Bir özelliğe girip yarıda bırakan, aynı ekrana üç kez dönüp hiçbir şey yapmadan çıkan, aboneliğini sessizce yenilemeyen kullanıcılar hiçbir zaman ticket açmaz. Şikayet sayısı düşerken bu üç sayı yükseliyorsa, ortada iyi bir deneyim değil, bıkmış bir kitle vardır.
Şikayet oranının paydası ne?
"Şikayet oranımız çok düşük" cümlesi bir kesir iddiasıdır ama pratikte payda neredeyse hiç sorulmaz. Toplam kayıtlı kullanıcıya mı bölünüyor, o ay giriş yapana mı, yoksa o özelliğe gerçekten dokunana mı? Aradaki fark tek başına oranı on katına kadar oynatabilir.
Somut hali şu: özelliği ayda 400 kişi kullanıyor, 12 şikayet var. Kayıtlı 40 bin kullanıcıya bölerseniz oran binde 0,3 çıkar ve rahatlarsınız. Gerçek kullanan sayısına bölerseniz yüzde 3 çıkar, yani her otuz kullanımdan biri şikayete dönüşüyordur ki bu ciddi bir arıza sinyalidir. Aynı olayın iki farklı raporda birbirinin yüzde biri kadar görünmesi, verinin yalan söylemesinden değil, paydanın seçilmiş olmasından kaynaklanır (bu ayrımı yapmayan panoyu ben rapor saymıyorum).
Analitik "kullanıldı" der, "işe yaradı" demez
Gelişmiş özelliklere kimsenin dokunmadığını görmek, arayüzde bir sorun olduğunun işaretidir. Ama çoğu kurulumda tam tersi bir yanılgı üretilir: metrik "en az bir kez tıklandı" olarak tanımlanır ve yanlışlıkla açılıp hemen kapatılan bir ekran da kullanım sayılır.
Bunun yerine olayları tamamlanmaya göre ayırın. Özelliği açan kaç kişi, onu bitirene kadar götürdü? İkinci kez geri döndü mü? Bir özelliğin ilk kullanım sayısı yüksek, ikinci kullanım sayısı sıfıra yakınsa, kullanıcı o özelliği denemiş ve beğenmemiştir. Bu, arayüzün keşfedilebilir ama işlevin karşılıksız olduğu anlamına gelir ve çözümü daha büyük bir buton değildir.
Destek kayıtları şikayetten daha dürüst
Şikayet, kullanıcının kızgın olduğu ana denk gelir. Soru ise sadece takıldığı ana. İkincisi çok daha sık yaşanır ve çok daha fazla bilgi taşır.
Destek kayıtlarını konuya göre kümeleyip aynı sorunun ayda kaç kez tekrarladığını çıkarmak, çoğu kullanılabilirlik testinden daha hızlı sonuç verir. Aynı ekran için üç ay üst üste aynı soru geliyorsa orada bir dokümantasyon eksiği değil, bir tasarım kararı hatası vardır. Dokümantasyona bir madde eklemek bu sayıyı düşürür, sorunu düşürmez.
Rakip yokken deneyim ölçülemez
Bir ürün gerçekten ihtiyaç duyulan bir işi tek başına yapıyorsa, deneyimi ne olursa olsun satılır. Kullanıcı kötü arayüzü değil, alternatifsizliği kabul etmiştir. Bu yüzden pazarda tek olduğunuz dönemde toplanan memnuniyet verisi, deneyim hakkında neredeyse hiçbir şey söylemez.
Ölçüm anlam kazanmaya rakip çıktığında başlar ve o an ölçmeye başlamak için geç bir andır. Peki ya alternatif henüz yokken bunu test etmek isteseniz? Kullanıcıya "memnun musunuz" diye sormak yerine, aynı işi rakip bir üründe yaptırıp iki süreyi karşılaştırmak işe yarar. Cevap hoşunuza gitmeyecek olsa bile, en azından rakibiniz sizin adınıza ölçmeden önce öğrenmiş olursunuz.
Kaynaklar