AI çağrısının maliyetini tahmin et: tokenlar ve sınırlar

Bir otomasyona model bağlamadan önce “ayda kaç çağrı, çağrı başına ne kadar veri?” sorularını cevapla. Buradaki hesaplayıcı yalnızca giriş ve çıkış tokenlarının sade bir tahminidir. Başlangıçtaki birim fiyatlar varsayımsaldır; herhangi bir modelin güncel tarifesi değildir.

Hesabın mantığı

Çağrı sayısını, çağrı başına ortalama giriş tokenı ve giriş birim fiyatıyla çarp. Aynı hesabı çıkış için yapıp iki tutarı topla. Birim fiyat bir milyon token için verilmişse her iki çarpımı da bir milyona böl. Aşağıdaki örnek değerler 1.000 çağrı için 2,70 USD üretir; bu bir sağlayıcı teklifi değildir.

Token sayısı kelime sayısına eşit değildir. Dil, kod ve medya türü sonucu değiştirebilir. Gerçek isteklerin kullanım alanlarını sağlayıcının yanıtından kontrol et. Gemini belgelerindeki token açıklamalarını referans alırken kullandığın API ve sürümün alan adlarını ayrıca doğrula.

Basit hesap neyi kapsamaz?

Önbellek, düşünme tokenları, araç kullanımı, medya işleme, yeniden denemeler, barındırma ve vergiler ayrı kalabilir. Kullandığın model bunları farklı fiyatlandırabilir. Bu nedenle bu araç bir fatura simülatörü değildir.

Bütçeyi uygulamada koru

Önce küçük bir örnek kümesiyle ortalama tüketimi ölç. Ardından istek başına çıktı sınırı, günlük çağrı limiti ve zaman aşımı belirle. Kullanıcı hatasında tekrar denemekle geçici servis hatasında tekrar denemeyi ayır. Sınır dolduğunda sessizce başka ücretli modele geçme; açık bir durum göster. Model ve fiyat değişikliklerinde tahminini güncelle.

Hesaplayıcıdaki değerler bu açık sayfada kalır. Etkileşim sayacı bu sayıları veya yazdığın veriyi kaydetmez.

Sayıları küçük bir deneyden çıkar

Bir kişisel not asistanı tasarladığını düşün. Üç kısa not, üç orta uzunlukta belge ve beklenenden uzun bir örnek seç. Gerçek özel kayıtlar yerine aynı yapıyı taşıyan deneme metinleri kullan. Her istek için giriş büyüklüğünü, istenen yanıt uzunluğunu ve dönen kullanım bilgisini not et. Kısa bir sorunun uzun bir sistem talimatıyla gönderildiğinde küçük kalmayabileceğini bu tabloda görebilirsin.

Sonra aynı soruyu farklı yanıt sınırlarıyla karşılaştır. Daha kısa bir yanıtın yeterli olduğu bir işte uzun çıktı istemek, okurun işini kolaylaştırmadan tüketimi artırabilir. Buna karşılık çok kısa sınır yüzünden yarım kalan bir sonuç yeniden istek gerektiriyorsa toplam gider düşmeyebilir. Amaç yalnızca token sayısını azaltmak değil, işe yarayan cevabın toplam maliyetini anlamaktır. Bu deney bir modelin kalitesini bütün görevlerde ölçtüğünü iddia etmez.

Birim hataları tahminden daha çok zarar verebilir

Tarifede bin token mı, bir milyon token mı yazdığını kontrol et. Dolar ve başka bir para birimini aynı sütunda toplama. Bir iş akışında iki model varsa her modelin giriş ve çıkış fiyatını ayrı satırda tut. Ondalık ayırıcıyı ve fiyatın hangi tarih için geçerli olduğunu not et. Birim dönüşümünü formülün içinde gizlemek yerine hesapta görünür bırakmak, küçük bir tabloyu daha denetlenebilir yapar.

Örnek bir aylık hesapta önce planlanan istek sayısını yaz. Ardından çağrı başına giriş ve çıkış tahminlerini ekle. Son olarak tekrarlar ve altyapı için ayrı bir satır aç. Bunları tek bir token katsayısına sıkıştırmak yerine ayrı göstermek, sonradan hangi varsayımın yanlış çıktığını anlamayı sağlar. Vergi ve kur etkisini dahil etmiyorsan toplamın yanında bu sınırı açıkça belirt.

Tahmin ile sınır aynı araç değildir

Bir elektronik tabloda bütçenin görünmesi, uygulamanın o bütçeyi koruduğu anlamına gelmez. İşlem başlamadan önce kalan hakkı kontrol eden bir kural ve tüketim kaydını güncelleyen bir akış gerekir. Birden fazla istek aynı anda geliyorsa hepsinin aynı son hakkı kullanmadığından emin ol. Kişisel bir uygulamada bile hata mesajını, bekleme durumunu ve yeniden deneme davranışını düşün.

İlk haftanın ardından beklenen ve gözlenen toplamı karşılaştır. Farkı yalnızca modele bağlama: uzun bağlam, yinelenen talimat, başarısız deneme veya beklenmedik kullanıcı davranışı etkili olabilir. Bir değişiklik yaptığında yeni örnek kümesiyle yeniden ölç. Böylece hesaplayıcı bir kere doldurulup unutulan sayı yerine tasarımdaki tercihleri görünür kılan bir çalışma notuna dönüşür.

Küçük bir duyarlılık deneyi

Hesaplayıcıda önce yalnızca çağrı sayısını iki katına çıkar. Diğer değerler sabitken toplamın nasıl değiştiğini gözle. Sonra başlangıç değerlerine dön ve sadece çıktı uzunluğunu artır. Bu deney, hangi varsayımın sonuç üzerinde daha etkili olduğunu anlamana yardım eder. İki değişkeni aynı anda değiştirdiğinde gözlediğin farkın nedenini ayırmak zorlaşır. Her denemenin varsayımını bir satırla yazmak yeterlidir; karmaşık bir rapor hazırlamana gerek yok.

Son olarak bir isteğin yeniden denendiği durumu düşün. Başarısız görünen ilk çağrının ücretlendirilip ücretlendirilmediği sağlayıcının koşullarına bağlı olabilir. Bu yüzden tekrar sayısını yalnızca başarılı yanıt adedi üzerinden hesaplama. Gerçek kullanım kaydını inceleyebildiğin küçük bir test seç ve sağlayıcının raporuyla kendi sayacını karşılaştır. Fark varsa otomatik olarak fiyat hatası varsayma; hangi isteklerin kapsama girdiğini araştır. Bu çalışma, belirsiz bir güven payını somut bir kullanım varsayımına dönüştürür.

Kaynak

• Google AI: token kavramı ve kullanım

Sıradaki adım

AI aramalarında görünürlük: sağlam SEO ile başla rehberiyle devam edebilir veya bu yazının çalışma notlarını PDF olarak indirebilirsin.