Yapay zekâ görünürlüğü ölçmenin iki yolu var: motorun geliştirici arayüzüne, yani API’ye sormak ya da kullanıcının kullandığı ekranı okumak. İkisinin aynı sonucu vereceğini varsaymak, ölçümün tamamını yanlış yere kurmak demek.
Birinci motor: API kör
İzlediğimiz bir markanın 50 sorusunu aynı gün iki yüzeyde ölçtük. Motorun resmi API’si markayı 50 sorunun hiçbirinde göstermedi. Aynı sorular kullanıcı arayüzünde okunduğunda marka çıktı.
Çıkan soruyu elle de doğruladık: aynı soru kendi tarayıcımızda soruldu, marka cevabın içindeydi. Cevabı besleyen bağlantılarda arayüzün kendi imzası vardı. Yani arayüz gerçekten farklı bir şey yapıyor; ölçüm hatası değil.
İkinci motor: API şişiriyor
Aynı deneyi başka bir motorda kurduğumuzda yön tersine döndü. API, arama yapmaya zorlandığı için markayı arayüzde göründüğünden daha sık gösterdi. Beş turluk arayüz ölçümünün birleşimi bile API’nin tek atışının altında kaldı.
Bu motorda API rakamına bakan bir araç, müşterisine olduğundan iyi bir tablo gösterir. Gerçek kullanıcı o cevabı çoğu zaman görmüyor.
Çıkardığımız kural
Tek tip yöntem yok. Her motorda kullanıcının gördüğü yüzey ölçülür ve o yüzeyin doğru yüzey olduğu ölçümle doğrulanır. Bir motorda arayüz, başka bir motorda resmi API, bir başkasında arama sonucundaki cevap kutusu.
Bunun bedeli var: yüzey başına ayrı bakım, ayrı maliyet, ayrı kırılganlık. Karşılığı da var: rakam müşterinin gerçekte gördüğü şeyi anlatıyor.
Neden yazıyoruz?
Piyasadaki araçların çoğu hangi motorda hangi yüzeyi okuduğunu söylemiyor. Söylemeyince de rakamlar karşılaştırılamaz hale geliyor: iki araç aynı markaya iki farklı görünürlük verir ve ikisi de kendi yönteminde tutarlıdır.
Biz motor başına hangi yüzeyi okuduğumuzu Kaynaklar bölümünde açıkça yazıyoruz. Yöntemi bilinmeyen bir görünürlük rakamı, rakam değil süstür.
Kanıt zinciri
Tek bir ölçüme güvenmedik; aynı bulguyu üç bağımsız yoldan doğruladık. Birincisi otomatik ölçümün kendisi. İkincisi elle doğrulama: aynı soru kendi tarayıcımızda soruldu, marka cevabın içindeydi. Üçüncüsü cevabın izleri: kaynak bağlantılarında arayüzün kendi yönlendirme imzası duruyordu. Üçü aynı yönü gösterince yüzey farkı bir varsayım olmaktan çıktı.
Şişirme yönündeki bulgu için de aynı disiplin uygulandı: arayüz beş ayrı turda ölçüldü, turların birleşimi bile API’nin tek atışının altında kaldı. Tek turla yetinseydik farkı şansa da bağlayabilirdik; beş turun toplamı bunu kapatıyor.
Bedeli ve sınırı
Yüzey başına ayrı yöntem, ayrı bakım ve ayrı kırılganlık demek. Arayüzler sık değişir; bu yüzden ölçüm altyapısını kendimiz kurmak yerine bu işi sürekli yapan bir altyapıdan alıyoruz ve yüzey seçimini düzenli aralıklarla yeniden doğruluyoruz. Bugün doğru olan seçim, motor davranış değiştirirse yarın yanlış olabilir; bunu takip etmek yöntemin parçası.
Rakamları karşılaştırırken
- İki aracın rakamı farklıysa önce yüzeyi sorun: biri arayüzü, diğeri API’yi ölçüyorsa fark normaldir; ikisi de "doğru" ölçüyordur ama aynı şeyi ölçmüyordur.
- Soru kümesi aynı değilse rakam hiç karşılaştırılamaz. Elli genel soruyla elli yerel sorunun görünürlüğü apayrı iki dünyadır.
- "Hangi motorda hangi yüzey" sorusuna yazılı cevap veremeyen bir araca, verdiği rakam ne olursa olsun temkinli yaklaşın.
- Kendi gözünüz de bir ölçüm aracıdır: aracın gösterdiği soruyu ara sıra kendi hesabınızda sorun; sürekli çelişiyorsa sebebini isteyin.
Ölçümler 23 ile 25 Temmuz 2026 arasında yapıldı; 50 soru, iki motor, aynı gün karşılaştırma. Motor ve sağlayıcı adları verilmiyor: biri ticari bilgi, diğeri tedarik zinciri. Yöntem tarif edildiği gibi tekrarlanabilir.