Yapay zekâ dünyasında en çok parlayan kelime uzun süre model eğitimi oldu. Herkes modellerin nasıl eğitildiğini, kaç GPU kullanıldığını, hangi şirketin daha büyük veriyle daha güçlü model kurduğunu konuştu. Fakat bugün sessizce başka bir merkez doğuyor. Asıl para giderek model eğitimi tarafında değil, çıkarım tarafında birikiyor.
Önce kavramı açalım. Çıkarım (inference), eğitilmiş bir yapay zekâ modelinin gerçek kullanım anında cevap üretmesi demektir. Yani model artık ders çalışmıyordur; sınava çıkmıştır. Bir kullanıcı soru sorar, model cevap verir. Bir şirket belge özetletir, model özet çıkarır. Bir uygulama ses kaydını yazıya çevirir, model bunu o anda yapar. İşte bu çalışma anı çıkarımdır.
Model eğitimi (training) ise bunun önceki aşamasıdır. Modelin büyük veri yığınları üzerinden örüntü öğrenmesi, parametrelerini ayarlaması ve neye nasıl cevap vereceğini iç yapısında kurması demektir. Daha sade bir benzetmeyle: model eğitimi, aşçılık okuludur; çıkarım ise restoranda sipariş servis etmektir. Okul pahalı olabilir, uzun sürebilir ve prestijlidir. Ama para, restoran gün boyu sipariş aldıkça döner.
Google Cloud dokümanları çıkarımı, bir modelin girdiden yola çıkarak metin, gömme vektörü (embedding) ya da başka çıktılar ürettiği çalışma aşaması diye tarif ediyor. Bu tanım teknik olarak doğru ama eksik. Çünkü bugün mesele sadece modelin cevap verebilmesi değil. Milyonlarca insana, düşük gecikmeyle, kabul edilebilir maliyetle ve sürekli cevap verebilmesi. Asıl ekonomi burada başlıyor.
Çıkarım neden model eğitiminden farklı bir savaş alanı?
Model eğitimi büyük bir harcamadır ama genellikle aralıklı olur. Şirket bir modeli aylarca eğitir, sonra o modeli kullanıma açar. Çıkarım ise tekrar eden masraftır. Her soru, her tık, her ajan adımı, her özet, her arama, her kod tamamlama yeni bir çıkarım talebi doğurur. Bu yüzden model eğitimi bir kere pahalı olabilir; ama çıkarım her gün para yer ya da para kazandırır.
Bir modeli eğitmek fabrikayı kurmaya benzer. Çıkarım ise o fabrikanın her gün ürün çıkarıp çıkaramamasına. Fabrika etkileyici olabilir. Ama bant dönmüyorsa şirketin büyümesi hikâyede kalır. NVIDIA’nın resmî açıklamaları da artık bu yöne kaymış durumda. Şirket 2025 mali yılının ilk çeyrek sonuç açıklamasında yapay zekâ çıkarımında üretilen token sayısının bir yıl içinde on kat arttığını söyledi. Mart 2026’daki Dynamo duyurusunda ise daha ileri gidip “Çıkarım is the engine of intelligence” (çıkarım zekânın motorudur) dedi.
Token ne, neden bu kadar önemli?
Burada bir kelimeyi daha açalım: token. Token, modelin işlediği en küçük metin parçacıklarından biridir. Bazen bir kelime, bazen bir kelimenin parçası, bazen noktalama işareti olabilir. Siz modele bir soru sorduğunuzda model sadece anlam işlemez; aslında token dizileriyle çalışır. Siz cevap aldığınızda da sistem size tekrar tokenlar hâlinde çıktı üretir.
Bu neden önemli? Çünkü çıkarımın zamanı ve maliyeti büyük ölçüde bu token akışı üzerinden ölçülür. OpenAI’nin resmî gecikme rehberi çok net bir şey söylüyor: Bir büyük dil modeli kullanırken gecikmenin en büyük parçası çoğu zaman token üretimidir. Hatta çıktı tokenlarını yarıya indirirseniz, gecikme de kabaca yarıya inebilir. Demek ki çıkarım ekonomisinde mesele yalnızca modelin varlığı değil; kaç token, ne hızda ve hangi maliyetle üretildiğidir.
Asıl darboğaz neden cevap anında çıkıyor?
Büyük dil modelleri, özellikle metin üreten modeller, cevabı genellikle sıra sıra verir. Yani bir sonraki tokeni üretir, sonra bir sonrakine geçer. AWS’nin resmî teknik yazısında anlatıldığı gibi bu çıktı üretimi ağır yapı, yani cevap tarafının ağır bastığı işler, donanımı zaman zaman bellek bant genişliği tarafında tıkayabiliyor. Sırf bu nedenle token başına maliyet yükseliyor.
Bunu sade anlatalım. Modelin cevabı tek seferde fırlatmak yerine satır satır yazdığı bir dünya düşünün. Ne kadar uzun konuşursa, o kadar çok zaman ve kaynak kullanır. Cevap aşamasındaki her yeni parça, sistem için yeni bir iş demektir. Bu da çıkarımın neden çok hızlı büyüyen bir operasyon maliyeti olduğunu açıklar. AWS’nin aynı yazısı, spekülatif kod çözme gibi tekniklerle maliyeti ve gecikmeyi düşürmeye çalışmalarının sebebinin de bu olduğunu gösteriyor.
Bulut şirketleri neden artık model eğitimi ve çıkarımı ayrı satmaya başladı?
Bu değişimin en güçlü işaretlerinden biri ürün yapılarında görünüyor. Google, Nisan 2026’da Gemini API için Flex ve Priority çıkarım katmanlarını duyurdu. Bu aslında çok şey anlatan bir hamle. Çünkü şirket artık tek tip model çağrısı satmıyor; gecikmeye hassas iş ile arkada bekleyebilecek işi ayırıyor. Önceliği daha düşük işleri daha ucuz katmana, kullanıcının gözünün içine bakan anlık deneyimleri ise daha güvenilir ve daha pahalı katmana koyuyor.
OpenAI tarafında da benzer bir mantık var. Priority Processing sayfası doğrudan öngörülebilir düşük gecikme vaadiyle konuşuyor. Yani burada satılan şey yalnızca model cevabı değil; daha hızlı ve daha tutarlı token akışı. Bu da bize şunu gösteriyor: Yapay zekâ pazarı, model kalitesi kadar çıkarım kalitesi üzerinden de katmanlaşıyor.
Çip savaşı bile çıkarıma göre şekilleniyor
Belki en çarpıcı işaret donanım tarafından geliyor. Google yeni TPU neslini ikiye ayırıyor: TPU 8t model eğitimi için, TPU 8i ise düşük gecikmeli çıkarım için. Meta, kendi MTIA yol haritasını çıkarım öncelikli bir odakla kurduğunu açıkça yazıyor. Microsoft ise çıkarım ağırlıklı işlerin maliyet, performans ve sistem tasarımı gereksinimlerini yeniden şekillendirdiğini anlatıyor.
Bu üç resmi yan yana koyunca mesaj net: Sektör artık çipi önce model eğitimi için tasarlayıp sonra çıkarıma uydurmaya çalışmıyor. Tersine, giderek daha fazla donanım ve yazılım katmanı doğrudan çıkarımın ihtiyaçlarına göre biçimleniyor. NVIDIA’nın Dynamo duyurusu da bu yüzden önemli. Orada mesele yalnızca hız değil; token başına maliyet. Daha ucuz token, daha çok kullanıcı, daha çok ajan ve daha büyük talep demek.
Peki neden asıl para makinesi ifadesi abartılı değil?
Çünkü model eğitimi, etkileyici olsa da genellikle hazırlıktır. Çıkarım ise tekrarlanan nakit akışının kendisine daha yakındır. Bir model günde bir kere eğitilmez; ama bir ürün günde milyonlarca kez çağrılabilir. Bir modelin eğitim hikâyesi manşete çıkar; ama şirketin bilançosunu uzun vadede çıkarım yoğunluğu, token verimliliği, gecikme disiplini ve kapasite planlaması şekillendirir.
Bugün bir yapay zekâ ürünü başarılı olduğunda, bunun anlamı sadece iyi cevap veriyor değildir. Şu dört soruya da iyi cevap veriyor demektir: kaç kullanıcıya aynı anda hizmet verebiliyor, cevabı ne kadar hızlı veriyor, bunu token başına ne kadar maliyetle yapıyor ve trafik patladığında sistem dağılıyor mu? Bu dört soru, çıkarım ekonomisinin özüdür.
Ve bence gelecek burada daha da sertleşecek. Çünkü ajanlar büyüdükçe tek bir soru-tek bir cevap düzeni zayıflayacak. Yerine daha uzun muhakeme zincirleri, araç kullanan sistemler, arama yapan yardımcı uygulamalar, şirket içi belge gezen asistanlar ve cihazın içinde sürekli çalışan zekâ katmanları gelecek. Bu da daha fazla çıkarım demek. Yani daha fazla token, daha fazla gecikme baskısı, daha fazla maliyet savaşı.
Sonuç olarak çıkarım, yapay zekânın görünmeyen arka ofisi değil. Tam tersine, onun gişesi, mutfağı ve elektrik saati aynı anda. Model ne kadar parlak olursa olsun, eğer çıkarım zayıfsa ürün pahalı, yavaş ya da kırılgan hâle gelir. Belki de önümüzdeki dönemde teknoloji dünyasının en ciddi sorusu “en zeki modeli kim eğitti?” olmayacak. “En iyi modeli, en düşük token maliyetiyle, en geniş ölçekte kim çalıştırabiliyor?” olacak.
Kaynak: Google Cloud GKE inference concepts | OpenAI latency optimization guide | NVIDIA FY2026 Q1 results | NVIDIA Dynamo announcement | NVIDIA AI factories overview | AWS speculative decoding | AWS inference recommendations | Google Cloud Next 2026 wrap-up | Google Flex and Priority inference | OpenAI Priority Processing | Google TPU 8th generation | Meta custom silicon roadmap | Microsoft AI infrastructure post.
