Yapay zekânın cevapları her seferinde biraz değişir. Aynı soruyu iki kez sorduğunuzda farklı oteller görebilirsiniz. Bu yüzden tek bir cevaba değil, aynı soruların her hafta verilen yüzlerce cevabına bakıyoruz. Bu not, ölçümün nasıl yapıldığını açıkça paylaşmak için yazıldı.
Sorular
Her kasaba için gezginlerin yazabileceği gibi sorular hazırlıyoruz ve bunları ihtiyaçlara göre grupluyoruz (yetişkinlere özel, romantik, aile, denize yakın, kışın açık gibi). Alaçatı’da 16 ihtiyaç ve 133 soru var. Sorular şu an yalnızca Türkçe.
Asistanlar ve ayarlar
- Soruları ChatGPT ve Gemini’ye, web araması açık olarak, geliştirici arayüzü (API) üzerinden soruyoruz.
- Asistanların ayarlarını (model, arama) haftadan haftaya değiştirmiyoruz; her cevap sorulduğu ayarla birlikte saklanıyor. Böylece haftalar karşılaştırılabilir kalıyor.
- Ölçüm her cumartesi sabah yapılıyor. Bir asistandan bir hafta cevap gelmezse o hafta eksik sayılıyor; karşılaştırma yalnızca iki haftada da ölçülen asistanlarla yapılıyor.
- API cevapları, uygulamada görülen cevaplarla aynı olmayabilir. Bu farkı düzenli olarak elle yapılan kontrollerle izlemeyi planlıyoruz.
Cevapları nasıl okuyoruz
- Her cevaptan önerilen otelleri, sıralarını ve gösterilen kaynak siteleri çıkarıyoruz.
- Bir otelin farklı yazılışları (“X Otel”, “X Hotel Alaçatı”) tek otel sayılıyor.
- Yapay zekâyı yalnızca cevaptaki otel adlarını ve özellikleri okumak için kullanıyoruz; sayım, sıralama ve oranlar kodla hesaplanıyor.
- Kasabadaki bütün tesisler aynı sorularla ölçülüyor, yalnızca müşterilerimiz değil. Sıra ancak böyle dürüstçe söylenebilir.
Sayılar
- Önerilme oranı: o otel için sorulan sorulara verilen cevapların yüzde kaçında adının geçtiği.
- Aralık: her oranı %95 güven aralığıyla veriyoruz (“%20” yerine “%17–24”).
- Gerçek değişim mi, dalgalanma mı: iki dönemi karşılaştırırken farkın şansla açıklanıp açıklanamayacağını test ediyoruz. Açıklanabiliyorsa “dalgalanma” diyoruz, artış demiyoruz.
- Bir adımdan sonra değişen sonucu “bu adımdan sonra” diye gösteriyoruz, “bu adım yüzünden” diye değil; aynı haftalarda yapılan işler etkiyi paylaşır.
- Yöntemi denediğimiz test ölçümleri, otellere gösterilen sayılara karıştırılmıyor.
Sınırlar
- Şimdilik iki asistan ve yalnızca Türkçe. Sırada İngilizce, Almanca, Rusça ve Arapça var.
- Otel adı eşleştirmesi otomatik; aynı otel farklı adlarla anıldığında sayılar eksik kalabilir.
- Ölçüm, yapay zekânın neden bir oteli önerdiğini tek başına açıklamaz; neyin değiştiğini gösterir.