Uzaktan Gözetimsiz Kullanılabilirlik Testi (URUT) Nasıl Kurulur

Uzaktan gözetimsiz kullanılabilirlik testi, katılımcının kendi cihazında, kimse izlemeden verilen görevleri yapmasıdır. Moderatör olmadığı için maliyet düşer ve katılımcı sayısı rahatça büyür. Karşılığında soru sorma hakkınızı kaybedersiniz: eline ne verdiyseniz onun kadar veri alırsınız, görev metni yanlışsa test de yanlış çıkar.

Hangi durumda bu yöntemi seçin

Yöntem, cevabı davranışta olan sorularda iyi çalışır. Kullanıcı bu akışı tamamlayabiliyor mu, nerede duraksıyor, hangi adımda vazgeçiyor. Bunları otuz kişiyle ölçmek, beş kişiyle moderatörlü oturum yapmaktan hem hızlı hem ucuzdur.

• Rakip ürünle aynı görevi karşılaştırmak istiyorsanız: iki grup, aynı görev seti, aynı metrik.
• Kitleniz coğrafi olarak dağınıksa, laboratuvara kimseyi çağırmadan İzmir'den de Berlin'den de katılımcı toplarsınız.
• Örneklem büyüdükçe tamamlama oranı gibi sayılar anlam kazanır, dokuz kişilik oturumda kazanmaz.

Görev metni bütün yükü taşır

Moderatörlü testte kötü yazılmış bir görevi anında toparlarsınız. Burada toparlayamazsınız, katılımcı yanlış anlar, yanlış şeyi yapar ve o oturum çöpe gider. Bu yüzden görevler tek eylemli, sonu belli ve yardımsız bitirilebilir olmalı.

Ödeme, üyelik, form doldurma gibi adımlarda katılımcıya örnek veri vermek gerekir. Test kartı numarası, sahte adres, kullanıcı adı. Buradaki asıl risk metnin kendisi değil, ortam: staging ortamı o test kartını reddediyorsa katılımcı hatayı kendi hatası sanır, geri döner, oturumu bırakır. Ödeme adımı içeren bir görevi katılımcılara açmadan önce aynı veriyle baştan sona kendim denemeden göndermem.

Test bitiminde iki üç soruluk kısa bir anket eklemek işe yarar. Uzun anket eklemeyin, tamamlama oranını düşürür.

Katılımcıyı nereden bulacaksınız

Mevcut kullanıcı listesine e-posta atmak en ucuz yol, ama ürünü zaten bilen insanları ölçersiniz; ilk kullanım sorunlarını göremezsiniz. Site üzerindeki davet kutusu taze kullanıcı getirir, buna karşılık kabul edenler ortalamadan daha meraklı ve daha sabırlı kişilerdir. Ücretli katılımcı havuzları hedef kitleyi doğru kurmanızı sağlar, profesyonel test katılımcısı riski taşır.

Küçük bir hediye çeki katılımı belirgin şekilde artırır. Tutarı yükselttikçe niteliğin arttığını sanmayın, sadece hızlı bitirip ödülü almak isteyen katılımcı sayısı artar.

Veri geldikten sonrası hesaplanmıyor

Bu yöntemin gizli maliyeti analizdedir. 80 katılımcı ve ortalama yedi dakikalık oturum, dokuz saatten fazla ekran kaydı demektir. Kimse dokuz saat video izlemez; pratikte kayıtlar açılmaz, sadece tamamlama oranına bakılır ve testin nitel tarafı baştan kaybedilir.

Çalışan yöntem şu: önce sayılara bakın, tamamlanamayan ve süresi ortalamanın belirgin üstünde olan oturumları ayırın, yalnızca onları izleyin. Genelde toplamın beşte biri kadar bir küme çıkar ve sorunların neredeyse hepsi orada durur. Başarılı oturumlardan da rastgele birkaç tanesini izleyin, yoksa "herkes yapabiliyor" yanılgısına düşersiniz.

Yetmediği yer

URUT, "nerede takılıyor" sorusunu ucuza cevaplar. "Neden takılıyor" sorusunu cevaplamaz. Katılımcı sepette duraksadığında bunun sebebi kargo ücreti mi, güven eksikliği mi, düğmeyi görmemesi mi; kayıttan çıkaracağınız şey tahmindir.

Yeni çıkmış, kavramı henüz oturmamış bir üründe de zayıf kalır, çünkü katılımcının aklındaki soruyu kimse cevaplayamaz. Böyle durumlarda beş kişilik moderatörlü oturum, seksen kişilik gözetimsiz testten daha çok şey öğretir. İkisini sırayla kullanmak en iyisi: önce az kişiyle konuşup soruyu netleştirin, sonra kalabalıkla ölçün.