Yapay Zekâ Ürünlerinde Güven: Şeffaflık Nerede İşe Yarar?
Yapay zekâ ürünlerinde güven meselesi çoğu zaman bir anlatım sorunu gibi sunulur: kullanıcıya yeterince açıklarsan güvenir. Pratikte olan biraz farklı. Kullanıcı, sistemin ne zaman yanıldığını fark edebildiği ölçüde güveniyor; arayüzdeki güven vurgusu, altındaki iddianın karşılığı yoksa ters yönde çalışıyor.
Kara kutu değil, olasılık kutusu
Klasik yazılımda aynı girdi aynı çıktıyı verir, hata ayıklama da bunun üstüne kuruludur. Öğrenen sistemlerde çıktı bir dağılımdan geliyor, dolayısıyla “neden bu sonuç” sorusunun dürüst cevabı çoğu zaman “çünkü bu girdiye en çok benzeyen örnekler böyle etiketlenmişti” oluyor. Sorun sistemin içine bakılamaması değil. İçine bakıldığında bulunan şeyin bir gerekçe değil bir istatistik olması.
Bir de sık tekrarlanan, ama çoğu üründe karşılığı olmayan bir cümle var: “Sistem sizden öğreniyor.” Yaygın kurulumda modelin ağırlıkları donmuş halde dağıtılır, yeniden eğitim ayrı bir sürüm işidir ve haftalar sürer. Kullanıcının verdiği geri bildirim genelde bir kuyruğa düşer, o kadar. Öğrenmediği halde öğrendiğini söyleyen bir arayüz, şeffaflık başlığı altına yazılmış bir yanlış beyandır.
Doğruluk oranı göstermenin bedeli
Şeffaflık önerilerinin favorisi, sonucun yanına bir güven yüzdesi koymaktır. Bu ancak yüzde kalibre edilmişse bilgi taşır: model yüzde 80 dediği yüz vakada yaklaşık seksen kez haklı çıkmalı. Sınıflandırıcıların ham çıktısı bunu kendiliğinden sağlamaz, derin ağların sistematik biçimde fazla emin davrandığı bilinen bir sorundur.
İyi tarafı, bunun ölçülebilir olması. Tahminleri yüzdeye göre kovalara ayırırsın, her kovada iddia edilen oranla gerçek isabeti karşılaştırırsın; aradaki fark kalibrasyon hatandır. Kalibre edilmemiş bir yüzdeyi arayüze koymak kullanıcıya bilgi vermez, ölçülebilir bir yanlışı kesinlik kılığında sunar. (Virgülden sonrasını göstermeyi zaten abartılı buluyorum.)
Yüzde göstermeyeceksen alternatif “yüksek/orta/düşük” gibi kaba bir bant değil, sonucun ne zaman kullanılmaması gerektiğini söyleyen bir eşiktir. Kullanıcı için işe yarayan bilgi, sistemin ne kadar emin olduğu değil, emin olmadığında ne yapması gerektiğidir.
NIST'in yedi niteliği ve aralarındaki gerilim
ABD Ulusal Standartlar ve Teknoloji Enstitüsü'nün (NIST) güvenilir yapay zekâ için saydığı nitelikler kısaca şöyle:
- Geçerli ve güvenilir: iddia ettiği işi ölçülebilir biçimde yapıyor.
- Güvenli: yanlış çalıştığında verdiği zarar sınırlı.
- Dayanıklı: beklenmedik girdide çökmek yerine kontrollü davranıyor.
- Hesap verebilir ve şeffaf: kimin neyi ne zaman kararlaştırdığı izlenebiliyor.
- Açıklanabilir ve yorumlanabilir: çıktı, kullanıcının anlayacağı bir gerekçeye bağlanabiliyor.
- Gizliliği gözeten: kişisel veri en aza indirilmiş.
- Adil: zararlı önyargılar yönetiliyor.
Liste bir kontrol listesi gibi okunuyor, oysa maddeler birbirini çekiştiriyor. Açıklanabilirliği artırmanın en kolay yolu, çıktının hangi örneklere benzediğini göstermektir; o örnekler eğitim verisinden geliyorsa altıncı maddeyi delersin. Adalet kısıtı eklemek çoğu zaman genel isabeti düşürür, yani birinciden verirsin. NIST'in kendi metni de bu ödünleşmelerin varlığını kabul ediyor.
Buradan çıkan sonuç, listeyi çöpe atmak değil. Yedi maddeyi aynı anda azami seviyeye çıkarmayı hedefleyen bir ürün planı, hangisinden ne kadar feragat edildiğini yazmadığı sürece plan değil dilek listesidir. Yazılı bir ödünleşme, imzalanmış bir taahhütten daha çok işe yarar.
Şeffaflığın kodda karşılığı
Arayüzde yazan her güvence, bir yerde bir bayrağa ya da bir sorguya karşılık gelmeli. “Verileriniz model eğitiminde kullanılmaz” cümlesini yazacaksan, bu cümlenin karşılığını ardışık düzende gösterebilecek biri olmalı. Gösteremiyorsa cümle metin yazarlığıdır. Aynısı saklama süresi, silme talebi ve dışa aktarma için de geçerli.
Kullanıcının anlamlı biçimde takip edebileceği şeyler aslında az: verinin nereden geldiği, kişisel veri vermeden ürünün kullanılıp kullanılamadığı, yanlış bir sonucu bildirmenin yolu ve o bildirimin ardından ne olduğu. Sonuncusu en çok atlanandır. Geri bildirim düğmesi koyup arkasını boş bırakmak, kullanıcıya sistemin umursadığını bir kez söyler, sonra her seferinde tersini gösterir.
Üretken yapay zekâ ve telif: şeffaflık kimin için
Üretken modellerle yapılan işlerde tartışma teknikten hukuka kayıyor: çıktı kimin eseri, hangi veriyle üretildi, insanın payı nerede başlıyor. Burada şeffaflık kullanıcı için değil, üçüncü taraflar için gerekiyor. Refik Anadol'un Unsupervised çalışması bu tarafta iyi bir örnek, çünkü hangi koleksiyonun işlendiği ve modelin ne yaptığı işin kendisinin parçası olarak açıklanıyor. Veri kümesini söylemeyen bir üretken iş için etik sıfatını kullanmak zor.
Kaynaklar