Ölçmesi Kolay Olanı Ölçmek: Tasarımda Metrik Seçimi
Bir şeyin ölçülmesinin kolay olması, onun önemli olduğu anlamına gelmez. Pratikte ise tam olarak bu anlama geliyor: panele düşen sayı toplantının gündemini kuruyor, düşmeyen konu yokmuş gibi davranılıyor. GSYİH'de olan da bu, ürün metriklerinde olan da bu.
Kolay olan, önemli olanı kovuyor
Para akışını saymak kolaydır. Bir ülkenin eğitiminin niteliğini, havasının temizliğini, insanlarının birbirine güvenini saymak zordur. Sonuç olarak GSYİH ülkelerin tek skoru haline geldi ve tuhaf bir şey oldu: kirlenen bir nehrin temizlenmesi için harcanan para GSYİH'yi artırıyor. Kirlilik maliyet, temizlik de büyüme sayılıyor. Ölçü aleti, ölçmesi gereken şeyin tersini ödüllendiriyor.
Aynı mekanizma ürün tarafında da işliyor. Oturum süresi arttığında bunu iyi haber sayan çok ekip gördüm. Oysa oturum süresi, kullanıcının içerikten keyif almasıyla da artar, aradığını bulamayıp sayfalar arasında dolaşmasıyla da. Tek başına yorumlanamayan bir sayıyı gösterge tahtasının ortasına koymak, ölçmemekten daha kötüdür; çünkü ölçtüğünü sanırsın.
İnsan sistemleri yol bağımlıdır
Don Norman'ın bu konudaki yazısında altını çizdiği ayrım kritik: fizik dünyasının ölçümleri yol bağımsızdır, bir cismin bulunduğu noktaya nasıl geldiği o noktadaki konumunu değiştirmez. İnsan ve toplum böyle çalışmaz. Bugünkü durum, oraya hangi güzergâhtan gelindiğine bağlıdır.
Bunun ölçüm pratiğinde çok somut bir karşılığı var. İki yıldır ürünü kullanan biriyle dün kaydolmuş biri, aynı arayüz değişikliğine zıt tepki verir; birincisi kas hafızasını kaybettiği için yavaşlar, ikincisi hiç öğrenmediği için hızlanır. İkisinin ortalamasını alıp "değişiklik nötr" demek, iki gerçek etkiyi birbiriyle sıfırlamaktır. Test sonucunu kullanıcı yaşına göre ayırmadığın sürece, elindeki sayı bir ortalama değil, bir yanlış anlamadır.
Doughnut modeli ve durduğu yer
Çok boyutlu ölçümün en olgun örneği Kate Raworth'un Doughnut modeli. İki halka var: içteki halka insanların altına düşmemesi gereken toplumsal tabanı gösteriyor (gıda, sağlık, eğitim, barınma, gelir, söz hakkı gibi 12 başlık), dıştaki halka gezegenin aşılmaması gereken 9 sınırını. Yaşanabilir alan ikisinin arasındaki halka. Görselleştirmesi güçlü, çünkü "iyi gidiyoruz" cümlesini tek sayıya indirgemeyi imkânsız kılıyor. Örnekler ve ülke skorları doughnuteconomics.org üzerinde.
Modelin sessiz kaldığı yer de burada. 21 boyutun hepsi aynı anda iyileşmez; enerjiye erişimi artırırken karbon sınırını zorlarsın, gıda güvencesini büyütürken azot döngüsünü. Doughnut bu takası görünür kılar ama nasıl çözüleceğini söylemez, o karar politik kalır. Yani model bir karar mekanizması değil, karar verirken hangi kaybı göze aldığını gizlemeni engelleyen bir ayna. Ondan fazlasını beklemek hayal kırıklığı üretir.
UX'te aynı hatanın küçük ölçeği
"Nicel veri yetersiz, nitel veriye geçelim" cümlesi bu tartışmanın standart kapanışıdır ve yanlış yeri işaret eder. Tekrar dönüş oranı, sadakat, elde tutma da sonuçta sayıdır. Ayrım nicel-nitel değil, elindeki metriğin kullanıcının amacının kendisi mi yoksa uzaktan bir vekili mi olduğudur.
Kullanıcı fatura indirmeye geliyorsa amacın kendisi "faturayı indirdi mi" sorusudur. Tıklama sayısı, sayfada geçirilen süre, scroll derinliği bunun vekilleridir ve vekiller yönetilmeye başlandığı anda bozulur. Görev tamamlama oranını memnuniyet puanından daha güvenilir bulurum: memnuniyet, anketi kimin doldurduğuna ve o gün nasıl bir gün geçirdiğine göre oynar, tamamlama ise olmuş bir şeyi sayar. Memnuniyetin işe yaradığı yer başka: neden tamamlanamadığını yalnızca insanlar anlatır, sayılar anlatmaz.
Pratikte ne yapmalı
Önce başarının ne olduğunu cümleyle yaz, metrikle değil. "Kullanıcı faturasını üç dakikadan kısa sürede indirebilmeli" gibi. Metrik o cümleden türetilir, tersi olmaz.
Sonra her metriğin yanına onu dengeleyen bir ikinciyi koy. Dönüşüm oranının yanında iade oranı, hız iyileştirmesinin yanında hata oranı. Tek başına iyileşen her sayı, başka bir yerde bozulan bir şeyi saklıyor olabilir; ikinci metrik o saklanan şeyi görünür kılar.
Bir de ölçemediklerinin listesini tut. Tasarım kararlarının en pahalı hataları ölçülen sayıların yanlış çıkmasından değil, hiç ölçülmeyen alanların gündemden düşmesinden geliyor. Listeyi görünür bir yerde tutmak, en azından unutmayı zorlaştırır.
Kaynaklar