Oyunlaştırma Metrikleri: Hangi Sayı Gerçekten Bir Şey Söyler?

Oyunlaştırma projelerinde en kolay iş rakam üretmektir. Rozet dağıtırsınız, bir liderlik tablosu koyarsınız, panelinizdeki her sayı yukarı gider ve kimse itiraz etmez. Zor olan kısım, o sayıların hangisinin gerçek bir davranış değişimini gösterdiğini ayırmak. Aşağıdakiler, birkaç projede arka arkaya yanıldıktan sonra elimde kalan ölçüm kuralları.

Mekaniğin kendi ürettiği sayı sonuç değildir

Bir liderlik tablosu eklediğinizde günlük aktif kullanıcı sayınız artar. Bu bir başarı değil, tanım gereği olan bir şey: insanlar sıralamadaki yerlerine bakmak için giriyor. Ortalama oturum süresi de artar, çünkü tabloya bakılan otuz saniye toplam süreye ekleniyor.

Ayrım şurada: metrik mekaniğin varlığıyla mı büyüyor, yoksa mekaniğin teşvik ettiği davranışla mı? Basit bir kontrol var. Mekaniği kaldırdığınızda önce hangisi düşüyor? Sadece giriş sayısı düşüyorsa ölçtüğünüz şey meraktı. Asıl davranış da düşüyorsa elinizde bir etki var demektir.

Puan, rozet ve seviye sayıları bu yüzden birincil metrik olamaz. Onlar sistemin çıktısı değil, girdisi.

Kümülatif sayaçlar yalan söylemez ama hiçbir şey de söylemez

Toplam dağıtılan puan, toplam kazanılan rozet, toplam tamamlanan görev. Üçü de zamanla artmak zorunda, çünkü hiçbiri geri gitmiyor. Proje çökse bile bu grafikler yatay kalır, düşmez. Yönetime sunulan tabloların yarısı bu tür sayaçlardan oluşuyor ve hepsi teknik olarak doğru.

Kullanılabilir hale getirmek için ikisini yapmak gerekiyor. Sayacı bir orana çevirin: kullanıcı başına haftalık tamamlanan görev. Sonra kohorta bölün: ocak ayında katılanların dördüncü haftadaki aktifliğini şubatta katılanlarınkiyle karşılaştırın. Kohort kırılımı olmadan yeni kullanıcı akışı, eskilerin terk edişini örter. Büyüyen bir üründe toplam aktiflik artarken kişi başına aktiflik düşüyor olabilir, ve genelde öyledir.

“Az metrik takip edin” tavsiyesinin gerekçesi

Bu cümle her yerde yazıyor, gerekçesi neredeyse hiçbir yerde. Gerekçesi şu: yirmi metriği aynı anda izleyip sonradan anlamlı çıkanı seçerseniz, mekaniğin etkisi tam olarak sıfır olsa bile en az birinin yüzde beş eşiğini geçme olasılığı 1 - 0,95^20, yani yaklaşık yüzde 64. Hiçbir işe yaramayan bir rozet sistemi bile, yeterince metrik izlerseniz size iki üzerinden birden fazla ihtimalle “başarılı” görünür.

Çözüm metrik sayısını azaltmak değil, rollerini önceden ayırmak. Deney başlamadan bir birincil metrik seçin ve yazılı hale getirin. Geri kalanı teşhis metriği olsun: birincil metrik oynadığında nedenini anlamak için bakılır, kendi başına karar gerekçesi olmaz.

Kontrol grubu olmadan ROI hesabı bir temenni

Oyunlaştırmayı açtığınız çeyrekte satış yüzde on iki arttıysa, bunun ne kadarı mekanikten? Kampanya, sezon, fiyat değişikliği ve o dönem yayına giren üç özellik de aynı sayının içinde. Öncesi ile sonrasını karşılaştırmak, sebep aramak için yeterli bir yöntem değil.

Uygulaması sanıldığından kolay: kullanıcıların yüzde onunu mekaniğin dışında bırakın. Rozet görmezler, tablo görmezler. İki grubun aynı dönemdeki farkı, aradığınız etkinin kendisidir. Bu grubu kalıcı tutmak da mümkün. Çoğu ekip birkaç ay sonra kapatıyor ve altı ay sonra mekaniğin hâlâ işe yarayıp yaramadığını söyleyemez hale geliyor.

Maliyet tarafında da dürüst olmak gerekiyor. ROI hesabına ödül bütçesi kadar geliştirme ve bakım süresi de girer. Sürekli kuralları dengelenen, istismar edenleri ayıklanan bir puan sistemi ilk aydan sonra da adam saat yemeye devam ediyor.

İzlemeye değer dört sayı

• Kohort bazlı geri dönüş: katılımdan dört hafta sonra hâlâ hedef davranışı yapanların oranı.
• Ödülsüz davranış oranı: ödül vermeyen adımlarda da devam eden kullanıcıların payı. İçsel motivasyona en yakın gösterge budur.
• Hedef davranış başına maliyet: toplam ödül ve bakım gideri bölü elde edilen ek davranış sayısı.
• Terk noktası: kullanıcıların akışta bıraktığı adım. Genelde ilk rozetin hemen sonrasıdır, çünkü kolay ödül bittiğinde geriye sadece iş kalır.

Bu arada teknik performans skorları, mesela Lighthouse çıktısı, bir oyunlaştırma metriği değildir. Sayfanın yavaş açılması her metriği aşağı çeker, o kadar. Sağlık kontrolü olarak faydalı, mekaniğin başarısı olarak okunduğunda yanıltıcı.

Ne zaman kapatmalı

Bir mekaniği açmak kadar kapatmak da karar gerektiriyor ve bu ikincisi neredeyse hiç verilmiyor. Üç ay sonra kontrol grubuyla aradaki fark ölçüm gürültüsünün içinde kalıyorsa mekanik çalışmıyordur. Öylece açık bırakmanın bedeli var: kimsenin umursamadığı bir rozet, arayüzdeki diğer her şeyin ciddiyetini de düşürüyor.