Gecikme sayılarımız: ABD'de 0,45 sn, Avrupa'da 0,6 sn, Türkiye'de 0,8 sn
Sesli yapay zekâ ürünlerinin pazarlama sayfalarında tek bir gecikme rakamı görürsünüz. Bu rakam neredeyse her zaman en iyi koşulda, en yakın veri merkezinde, en hızlı modelle alınmış bir sayıdır. Biz üç ayrı sayı veriyoruz, çünkü gerçekte üç ayrı sayı var.
| Bölge | Yanıt süresi | Not |
|---|---|---|
| Amerika Birleşik Devletleri | 0,45 – 0,50 sn | En kısa şebeke mesafesi |
| Avrupa | 0,60 sn | Opus ses kalitesinde, bağlantı kalitesinden ödün vermeden |
| Türkiye | 0,80 sn | Yurt içi operatör şebekesi dahil |
Bu sayı neyi ölçüyor
Ölçtüğümüz şey, müşterinin konuşmayı bitirmesinden ajanın sesinin telefonda duyulmaya başlamasına kadar geçen süre. Yani konuşma tanıma, dil modeli, seslendirme ve şebeke gecikmesinin toplamı. Sadece modelin ilk kelimeyi ürettiği an değil — o sayı çok daha küçük çıkar ve müşterinin duyduğu şeyle ilgisi yoktur.
Bu ayrımın altını çizmek gerekiyor, çünkü pazarda "200 ms gecikme" tarzı rakamlar dolaşıyor. O rakamlar genellikle modelin kendi yanıt süresidir; telefon şebekesini, ses taşımayı ve seslendirmeyi içermez. Telefonda konuşan bir insanın hissettiği süre değildir.
Neden coğrafyaya göre değişiyor
Kullandığımız modellerin çalıştığı veri merkezleri ile telefon çağrısının çıktığı yer arasındaki fiziksel mesafe, gecikmenin sabit bir parçasıdır. Yazılımla kapatılamaz. Türkiye'den yapılan bir çağrıda ses, yurt içi operatör şebekesini geçer, uluslararası bağlantıdan çıkar ve aynı yoldan geri döner. ABD içindeki bir çağrıda bu yol çok daha kısadır.
Avrupa'daki 0,6 saniyelik sayı bizim için özellikle anlamlı, çünkü bu süreyi ses kalitesinden ödün vermeden alıyoruz. Gecikmeyi düşürmenin kolay yolu sesi daha agresif sıkıştırmaktır; o zaman rakam güzelleşir, ses kötüleşir. Opus codec ile bağlantı kalitesini koruyarak ölçtüğümüz sayı bu.
Rakamın söylemediği şey
- Bunlar bizim kendi ölçümlerimizdir, bağımsız bir denetim değildir.
- Gürültülü ortamdan gelen çağrılarda konuşma tanıma daha uzun sürebilir; bu sayı temiz hat koşullarını yansıtır.
- Uzun bir bilgi bankası sorgusu gerektiren yanıtlarda süre artar.
- Operatör kaynaklı şebeke dalgalanmaları bizim kontrolümüz dışındadır.
Bir sonraki adımımız bu ölçümü tekrarlanabilir hale getirmek: hangi senaryolarda, kaç çağrıda, hangi yüzdelik dilimlerde (p50, p95, p99) ölçtüğümüzü yöntemiyle birlikte yayınlamak. Tek bir ortalama sayı, dağılımı gizler; asıl önemli olan p95'tir, çünkü müşterinin "bu yavaş" dediği an oradadır.
Gecikmede kazanılan her 100 milisaniye, konuşmanın doğal hissettirmesine doğrudan yansır. Ama yanlış ölçülen 100 milisaniye kimseye bir şey kazandırmaz.
Diğer yazılar
Telefon altyapısını neden kendimiz işletiyoruz
Sesli AI platformlarının çoğu telefoniyi hazır bir sağlayıcıya bırakır. Biz sinyalleşme ve ses katmanını kendimiz işletiyoruz — çünkü Türkiye şebekesi hazır davranışla çalışmıyor.
Türkçe sesleri neden kendimiz eğittik
Hazır seslendirme servisleri Türkçe'yi konuşabiliyor. Ama telefonda, gerçek bir konuşmanın içinde, hâlâ yabancı aksanlı bir Türkçe duyuyorsunuz. Sebebi ve çözümü.