Sistem Kullanılabilirlik Ölçeği (SUS) Skorunu Doğru Okumak
SUS on maddelik bir ankettir, sonunda 0 ile 100 arasında tek bir sayı verir. O sayı yüzde değil; 72 alan bir arayüz, kullanıcıların yüzde 72'sini memnun etmiş demek değil. Ölçeğin gerçek gücü tek bir ölçümde değil, aynı ürünün iki sürümü ya da aynı kategorideki iki ürün arasında karşılaştırma yapabilmesinde.
Ölçek neyi ölçüyor
John Brooke 1986'da ölçeği “quick and dirty” bir araç olarak tanımlamıştı ve bu tanım hâlâ yerinde duruyor. On madde, beşli Likert, birkaç dakika. Maddeler dönüşümlü olarak olumlu ve olumsuz yazılmıştır; amaç, katılımcının hepsine düşünmeden aynı kutuyu işaretlemesini zorlaştırmak.
Ölçek sana neyin bozuk olduğunu söylemez. Akışın hangi adımında insanların takıldığını, hangi butonun bulunamadığını SUS'tan öğrenemezsin. Öğrendiğin şey, bütünün algılanan kullanılabilirliğinin nereye düştüğü. Peki bu neye yarar? Karşılaştırmaya. Tek başına duran bir SUS skoru neredeyse hiçbir şey ifade etmez, ikinci bir skorla yan yana geldiğinde anlam kazanır.
Hesap
Tek numaralı maddelerde (1, 3, 5, 7, 9) katılımcının verdiği yanıttan 1 çıkarırsın. Çift numaralılarda (2, 4, 6, 8, 10) yanıtı 5'ten çıkarırsın. Her madde böylece 0-4 aralığına iner, on maddenin toplamı en fazla 40 eder. Bu toplam 2,5 ile çarpılınca 0-100 ölçeğine taşınır.
Çarpanın 2,5 olmasının sebebi burada duruyor: 40 × 2,5 = 100. Ölçek yüzde üretmiyor, 40'lık bir toplamı yüz üzerinden okunabilir hale getiriyor (bu ayrımın yönetici sunumlarında ne kadar hızlı kaybolduğunu görmek şaşırtıcı).
68 neyi işaret ediyor
Jeff Sauro'nun yüzlerce çalışmayı derlediği analizde SUS ortalaması 68 civarında çıkıyor. Yani 68 alan bir ürün ortalamadır, iyi değil. Kaynak metinlerin çoğunda tekrarlanan “70 üstü iyidir” eşiği tam da bu yüzden yanıltıcı: 70, ortalamanın yalnızca biraz üzerinde bir yer.
Skorlar ortalamadan uzaklaştıkça yüzdelik sıra hızla yükselir, çünkü dağılımın büyük kısmı ortada toplanır. Ama bu okuma her zaman kategori içinde yapılmalı. Bir muhasebe yazılımının kullanıcısıyla bir müzik uygulamasının kullanıcısı aynı beklentiyle gelmiyor, ikisinin 68'i aynı şey değil.
Kaç kişi yeterli
Kaynaklarda sık geçen “15-20 kişi yeter” tavsiyesi, ölçümün ne kadar oynayabileceğini hesaba katmıyor. SUS skorlarının standart sapması yayınlanmış çalışmalarda tipik olarak 17 puan bandında geziyor. Bu sapmayla 15 kişilik bir grupta ortalamanın yüzde 95 güven aralığı yaklaşık ±9 puan çıkıyor: 1,96 × 17 / √15 ≈ 8,6.
Pratikte şu demek. İlk turda 68, ikinci turda 74 aldıysan elinde bir iyileşme kanıtı yok, iki aralık büyük ölçüde üst üste biniyor. Altı puanlık farkın gürültü olmadığını söyleyebilmek için ya farkın çok daha büyük olması ya da katılımcı sayısını ciddi biçimde artırman gerekiyor. Aralık örneklemin kareköküyle daraldığı için ±9'u ±4,5'e indirmek 15 kişiden 60 kişiye çıkmak demek. Küçük ekiplerin çoğunda bu, o turda başka hiçbir araştırma yapılamaması anlamına gelir.
Skoru işe yarar hale getirmek
Anketi görev tabanlı bir testin hemen sonuna koy. Ürünü kullanmadan doldurulan SUS, üründen çok markayla ilgili bir şey ölçer. Testin ardından doldurulduğunda ise skor, az önce yaşanan zorluğun izini taşır.
Yanına tek bir açık uçlu soru ekle: “Bu üründe seni en çok ne yavaşlattı?” Sayı nereye düştüğünü söyler, o cümle nedenini. Lewis ve Sauro'nun analizlerinde 4 ve 10 numaralı maddelerin ayrı bir öğrenilebilirlik boyutu oluşturduğu gösterilmişti; bu iki maddenin ortalaması diğer sekizden belirgin biçimde düşükse sorun arayüzün genel mantığında değil, ilk karşılaşmada olabilir.
Peki ölçeği hiç kullanmasan ne kaybedersin? Tek seferlik bir ölçümde pek bir şey. SUS değerini, aynı anketi aynı görev setiyle her sürümde tekrarlayıp seriyi biriktirdiğinde gösteriyor. Seri yoksa elinde bağlamsız bir sayı kalıyor, o sayı da genellikle olduğundan iyi okunuyor.