Yapay zeka halüsinasyonu, bir modelin yanlış veya dayanağı olmayan bilgileri doğruymuş gibi sunmasıdır. Akıcı bir açıklama, ayrıntılı bir tarih veya akademik görünümlü bir kaynakça, yanıtın doğruluğunu tek başına kanıtlamaz. Bu nedenle yapay zekadan alınan cevabı kullanmadan önce iddiaları kontrol edilebilir parçalara ayırmak önemlidir.
Bu rehber; blog yazısı hazırlarken, araştırma yaparken veya teknik bir soruya yanıt ararken uygulayabileceğiniz bir doğrulama akışı sunar. Amaç her cümleden kuşkulanmak değil, hangi bilginin hangi kanıta dayandığını görebilmektir.
Yapay zeka halüsinasyonu nedir, neden oluşur?
Büyük dil modelleri, bağlam içindeki örüntülerden yararlanarak metin üretir. Olası bir devam cümlesi oluşturmak, o cümlenin gerçek dünyada doğru olduğunu doğrulamakla aynı işlem değildir. Bir yanıt bu nedenle dil açısından tutarlı görünürken içerik açısından hatalı olabilir.
NIST, üretken yapay zeka riskleri arasında bu durumu “confabulation” başlığıyla ele alır. Yanlış bilginin kendinden emin sunulmasının yanında, verilen bağlamdan sapma veya önceki ifadelerle çelişme de değerlendirilir. Ayrıntılı tanım NIST Üretken Yapay Zeka Risk Profili’nin 2.2 bölümünde bulunur.
Örneğin gerçekte yayımlanmamış bir makale başlığı, bir yazılımda bulunmayan ayar veya yanlış kişiye atfedilen söz üretilebilir. “Halüsinasyon” sözcüğü burada teknik bir benzetmedir; modelin insan gibi algıladığı veya kasıtlı biçimde yalan söylediği anlamına gelmez.
Hangi işaretlere dikkat edilmeli?
Yanıtta kaynağı gösterilmeyen kesin rakamlar, açılmayan bağlantılar, aynı paragrafta değişen tarihler ve soruda bulunmayan ayrıntılar görüyorsanız kontrol ihtiyacı artar. Bunlar hatanın kesin kanıtı değildir; öncelikle incelenmesi gereken noktaları gösterir.
Üreticinin kendi yardım belgeleri de modellerin yanlış veya yanıltıcı cevaplar verebileceğini açıklar. Claude’un yanlış yanıtlarla ilgili açıklaması, bir aracın kendinden emin dilinin güvenilirlik ölçütü olarak kullanılmaması gerektiğini anlamak için yararlı bir başlangıçtır.
Yapay zeka yanıtlarını doğrulamak için 5 adım
1. Yanıtı tek tek iddialara ayırın
Uzun bir metni bütünüyle doğru veya yanlış diye etiketlemek yerine tarihleri, sayıları, ürün özelliklerini ve alıntıları listeleyin. “Bu cihaz hızlı ve güvenlidir” gibi genel bir ifade yerine işlemci modeli, güncelleme süresi veya desteklenen güvenlik özelliği gibi somut unsurları kontrol edin.
2. Kaynağın varlığını ve kimliğini kontrol edin
Bağlantıyı açın; sayfanın başlığını, yazarını, yayın tarihini ve kurumunu inceleyin. Akademik kaynaklarda makale adıyla yazar bilgisinin eşleşmesine bakın. Sayfanın açılması yalnızca kaynağın var olduğunu gösterir; ilgili iddiayı desteklediği ayrıca kontrol edilmelidir.
3. İddiayı kaynaktaki ilgili bölümle eşleştirin
Yanıtta bir ürün için “çevrimdışı çalışır” deniyorsa belgedeki cümlenin tam olarak neyi anlattığını bulun. Yalnızca bazı özelliklerin çevrimdışı kullanılabilmesi, ürünün bütün işlevlerinin internet olmadan çalıştığı anlamına gelmez. Kapsamı daraltan koşulları ve dipnotları atlamayın.
4. Tarih, sürüm ve koşulları karşılaştırın
Bir özellik eski sürümde bulunmayabilir veya yalnızca belirli bir abonelikte sunulabilir. Yanıttaki tarih ile belgenin güncellendiği tarihi birlikte değerlendirin. İki kaynağın çelişmesi halinde önce farklı dönemleri, ülkeleri veya ürün sürümlerini anlatıp anlatmadıklarını kontrol edin.
5. Doğrulanamayan kısmı açıkça ayırın
Kanıt bulamadığınız bilgiyi tahminle tamamlamayın. Çalışma notunuzda “doğrulandı”, “çelişkili” veya “doğrulanamadı” durumlarını kullanabilirsiniz. Önemli bir kararı etkileyen iddia çözülemiyorsa, ilgili alandaki yetkin kişiye veya resmi destek kanalına danışmak sonraki adım olabilir.
Doğrulama için örnek istem
Aşağıdaki örnek, bu rehber için hazırlanmış bir çalışma şablonudur. Paylaşmaya yetkili olduğunuz belgelerle kullanabilirsiniz:
Yalnızca verdiğim belgeleri kullanarak sorumu yanıtla. Her önemli iddianın hangi belge ve bölüme dayandığını belirt. Belgelerde bulunmayan bilgi için “bu kaynaklarla doğrulanamıyor” yaz. Kaynakta geçen bilgilerle kendi çıkarımlarını ayrı göster. Tarih veya sürüm çelişkisi varsa bunu açıklamadan tek bir sonucu doğru kabul etme.
Belgeyle sınırlama, kanıt isteme ve belirsizliği belirtme gibi yaklaşımlar Anthropic’in halüsinasyon azaltma belgelerinde de ele alınır. Bu yöntemler hataları azaltmaya yardımcı olabilir; tamamen ortadan kaldırma garantisi vermez. Modelin oluşturduğu kaynak gösterimlerini de kontrol etmek gerekir.
Uygulamalı kontrol örneği
Tamamen kurgusal bir örnek düşünelim: Bir yanıt, “ÖrnekNot uygulaması tüm planlarda sınırsız çevrimdışı kullanım sunar” diyor. Kontrol notunu üç soruya ayırabilirsiniz: Çevrimdışı özellik var mı? Hangi planlarda var? Sınırsızlık hangi kullanım için geçerli?
Resmi belgede yalnızca indirilen notların okunabildiği yazıyorsa, ilk iddiayı olduğu gibi kullanmak yerine kapsamını düzeltirsiniz. Plan bilgisi bulunmuyorsa o bölümü doğrulanmamış bırakırsınız. Böylece tek bir olumlu cümleden geniş bir ürün vaadi üretmemiş olursunuz. Bu örnekteki ürün adı ve özellikler gerçek bir hizmete ilişkin iddia değildir.
Sık sorulan sorular
Kaynak veren yapay zeka yanıtı mutlaka doğru mudur?
Hayır. Kaynak var olsa bile iddiayla ilişkisi zayıf olabilir veya sonuç olduğundan geniş yorumlanmış olabilir. Bağlantı ile birlikte ilgili bölümü de inceleyin.
Aynı soruyu iki modele sormak yeterli mi?
İki benzer yanıt yararlı bir karşılaştırma sağlar, ancak bağımsız kanıtın yerini tutmaz. Son değerlendirmeyi modellerin uzlaşmasına değil, incelenebilir kaynaklara dayandırın.
Yapay zeka halüsinasyonu tamamen engellenebilir mi?
Her kullanım için sıfır hata sözü vermek doğru değildir. Sınırları belirlenmiş görevler, uygun kaynaklar ve sonuç kontrolü daha güvenilir bir çalışma düzeni kurmaya yardımcı olur.
Teknoloji kavramlarını kaynaklarıyla okumaya devam etmek için passkey ve şifresiz giriş rehberini inceleyebilirsiniz. Bir kavramı öğrenirken tanımını, kullanım koşullarını ve sınırlamalarını birlikte ele almak, yapay zeka yanıtlarını değerlendirirken de işe yarar.