Hawthorne Etkisi ve Kullanıcı Araştırmasında Gözlemin Payı
Bir kullanıcı testinde katılımcı, ekranı sizin baktığınızı bilerek kullanıyor. Ölçtüğünüz şey onun gerçek davranışı mı, yoksa size gösterdiği davranış mı? Hawthorne etkisi tam bu boşluğu tarif ediyor: gözlendiğini bilen insanın davranışının değişmesi. Peki bu etki sandığımız kadar güçlü mü, yoksa araştırma tasarımındaki başka bir aksaklığı mı onun sırtına yıkıyoruz?
Fabrikadaki deney anlatıldığı gibi değil
Adı, Western Electric'in Chicago yakınlarındaki Hawthorne Works fabrikasından geliyor. 1924-1932 arasında yürütülen çalışmalarda ışık seviyesi artırıldığında üretim yükselmiş, azaltıldığında da yükselmiş, hiç değişmediğinde bile yükselmiş görünüyor. Henry A. Landsberger 1958'de olguya bu adı verdiğinde elindeki anlatı buydu.
Orijinal veriler yıllar sonra yeniden incelendiğinde tablo bu kadar temiz çıkmadı. Işık değişiklikleri çoğunlukla pazartesi günleri yapılıyordu ve üretim zaten pazartesileri, hafta sonu molasının ardından toparlanıyordu. Etkinin tamamen hayal olduğunu söylemek fazla iddialı olur; ama "her müdahale üretimi artırdı" cümlesinin arkasındaki kanıt, ders kitaplarında anlatıldığı kadar sağlam değil. Bir olguya elli yıl boyunca isim babalığı yapan veri setinin bu kadar tartışmalı olması, onu araştırma planınızda otomatik bir gerekçe olarak kullanmayı zorlaştırıyor.
Gözlem mi bozuyor, farklı muamele mi?
Şunu sormakta fayda var: gözlenmek tek başına davranışı değiştiriyorsa, bu bütün katılımcılarda aynı yönde çalışan bir kayma demektir. İki arayüz versiyonunu aynı koşulda, aynı gözlem altında karşılaştırıyorsanız kayma iki tarafta da var ve farkı alırken büyük ölçüde birbirini götürür. Yani Hawthorne etkisi mutlak sayınızı şişirir, karşılaştırmanızı çoğu zaman bozmaz.
Asıl tehlike gözlemin taraflar arasında eşit olmadığı yerde. Yeni tasarımı laboratuvarda moderatör eşliğinde ölçüp eski tasarımın rakamını canlı kullanım verisinden çekerseniz, aradaki farkın ne kadarı tasarımdan ne kadarı ortamdan geliyor, ayıramazsınız. Aynı sorun, kontrol grubunun hiç haberdar edilmediği ama deney grubunun brifing aldığı kurulumlarda da çıkar.
Hangi sayı bozulur, hangisi ayakta kalır
Beyan en kırılgan veri türü. Memnuniyet puanları, "bunu kullanır mıydınız" soruları, oturum sonundaki genel değerlendirme; hepsi katılımcının karşısındaki insana karşı nazik olma eğiliminden payını alır. Görev tamamlama süresi ve hata sayısı da etkilenir, çünkü izlenen kişi normalde okumadığı etiketi okur, normalde denemeyeceği menüyü dener.
Ayakta kalan şey, katılımcının nerede takıldığının kendisi. Birisi bir düğmeyi bulamıyorsa, gözlendiğini bildiği için daha dikkatli baktığı halde bulamıyordur; bu, bulgunun aleyhine değil lehine bir durum. Kullanıcı testinin asıl çıktısını puan değil de takılma noktası olarak görürseniz Hawthorne etkisiyle ilgili endişenizin çoğu kendiliğinden azalır.
Gizli gözlem tavsiyesi onamla çakışıyor
Etkiyi azaltma listelerinde sık geçen bir madde var: katılımcıya izlendiğini hissettirmeyin, gizli gözleme başvurun. Kulağa metodolojik geliyor, fakat KVKK'nın ve temel araştırma etiğinin karşısına düşüyor. Bilgilendirilmiş onam, gözlemin varlığını saklamaya izin vermez. Aynı yazının bir bölümünde gizli gözlem önerip başka bir bölümünde onamı zorunlu saymak, çoğu araştırma metninin farkına varmadan taşıdığı bir çelişki.
Yapılabilecek olan, gözlemi değil beklentiyi gizlemek. Katılımcı ölçüldüğünü bilsin, neyin "doğru cevap" sayıldığını bilmesin. Moderatörün "bu bizim yeni tasarımımız, ne dersiniz" demesiyle "şu ürünü sepete ekleyin" demesi arasındaki fark, çoğu Hawthorne önleminden daha çok iş görür. Hipotezi oturumun sonunda anlatırsınız, başında değil.
Zaman etkiyi eritir
Gözlem kaynaklı davranış değişikliği kalıcı değil. Yeni bir özellik açıldığında ilk günlerdeki kullanım oranı, iki hafta sonrakiyle nadiren aynı kalır; bunun bir kısmı yenilik etkisi, bir kısmı da ölçüldüğünü bilmenin etkisi. Bu yüzden bir haftalık gerçek kullanım verisini, bir saatlik moderasyonlu oturumun kaydından daha güvenilir bulurum. Oturum niyeti gösterir, log davranışı gösterir; ikisi aynı soruya cevap vermiyor.
Pratikte işe yarayan kurulum ikisini üst üste koymak: testte kaç kişinin nerede takıldığını görürsünüz, sonra aynı adımı canlı üründe olay bazında ölçüp oranın gerçekten düşüp düşmediğine bakarsınız. Testte çözüldü sanılan sorunun canlıda aynı yerde durduğu çok olur.
Kaynaklar