Yapay zeka dünyasında en çok parlayan kelime uzun süre training oldu. Herkes modellerin nasıl eğitildiğini, kaç GPU kullanıldığını, hangi şirketin daha büyük veriyle daha güçlü model kurduğunu konuştu. Fakat bugün sessizce başka bir merkez doğuyor. Asıl para giderek training tarafında değil, inference tarafında birikiyor.
Bu kelimeyi açık anlatalım. Inference, eğitilmiş bir yapay zeka modelinin gerçek kullanım anında cevap üretmesi demektir. Yani model artık ders çalışmıyordur; sınava çıkmıştır. Bir kullanıcı soru sorar, model cevap verir. Bir şirket belge özetletir, model özet çıkarır. Bir uygulama ses kaydını yazıya çevirir, model bunu o anda yapar. İşte bu çalışma anı inference’tir.
Training ise bunun önceki aşamasıdır. Modelin büyük veri yığınları üzerinden örüntü öğrenmesi, parametrelerini ayarlaması ve neye nasıl cevap vereceğini iç yapısında kurması demektir. Daha sade bir benzetmeyle: training, aşçılık okuludur; inference ise restoranda sipariş servis etmektir. Okul pahalı olabilir, uzun sürebilir ve prestijlidir. Ama para, restoran gün boyu sipariş aldıkça döner.
Google Cloud dokümanları inference’i, bir modelin girdiden yola çıkarak metin, embedding ya da başka çıktılar ürettiği çalışma aşaması diye tarif ediyor. Bu tanım teknik olarak doğru ama eksik. Çünkü bugün mesele sadece modelin cevap verebilmesi değil. Milyonlarca insana, düşük gecikmeyle, kabul edilebilir maliyetle ve sürekli cevap verebilmesi. Asıl ekonomi burada başlıyor.
Inference neden training'den farklı bir savaş alanı?
Training büyük bir harcamadır ama genellikle aralıklı olur. Şirket bir modeli aylarca eğitir, sonra o modeli kullanıma açar. Inference ise tekrar eden masraftır. Her soru, her tık, her ajan adımı, her özet, her arama, her kod tamamlama yeni bir inference talebi doğurur. Bu yüzden training bir kere pahalı olabilir; ama inference her gün para yer ya da para kazandırır.
Bir modeli eğitmek fabrikayı kurmaya benzer. Inference ise o fabrikanın her gün ürün çıkarıp çıkaramamasına. Fabrika etkileyici olabilir. Ama bant dönmüyorsa şirketin büyümesi hikâyede kalır. NVIDIA’nin resmî açıklamaları da artık bu yöne kaymış durumda. Şirket 2025 mali yıl ilk çeyrek sonuç açıklamasında AI inference token üretiminin bir yıl içinde on kat arttığını söyledi. 2026 Mart’ındaki Dynamo duyurusunda ise daha ileri gidip “Inference is the engine of intelligence” dedi.
Token ne, neden bu kadar önemli?
Burada bir kelimeyi daha açalım: token. Token, modelin işlediği en küçük metin parçacıklarından biridir. Bazen bir kelime, bazen bir kelimenin parçası, bazen noktalama işareti olabilir. Siz modele bir soru sorduğunuzda model sadece anlam işlemez; aslında token dizileriyle çalışır. Siz cevap aldığınızda da sistem size tekrar token token çıktı üretir.
Bu neden önemli? Çünkü inference’in zamanı ve maliyeti büyük ölçüde bu token akışı üzerinden ölçülür. OpenAI’nin resmî latency rehberi çok net bir şey söylüyor: Bir LLM kullanırken gecikmenin en büyük parçası çoğu zaman token üretimidir. Hatta çıktı tokenlarını yarıya indirirseniz, gecikme de kabaca yarıya inebilir. Demek ki inference ekonomisinde mesele yalnızca modelin varlığı değil; kaç token, ne hızda ve hangi maliyetle üretildiğidir.
Asıl darboğaz neden cevap anında çıkıyor?
LLM’ler, özellikle metin üreten modeller, cevabı genellikle sıra sıra verir. Yani bir sonraki tokeni üretir, sonra bir sonrakine geçer. AWS’nin resmî teknik yazısında anlatıldığı gibi bu decode-heavy yapı, yani cevap tarafının ağır bastığı işler, donanımı zaman zaman bellek bant genişliği tarafında tıkayabiliyor. Sırf bu nedenle token başına maliyet yükseliyor.
Bunu sade anlatalım. Modelin cevabı tek seferde fırlatmak yerine satır satır yazdığı bir dünya düşünün. Ne kadar uzun konuşursa, o kadar çok zaman ve kaynak kullanır. Cevap aşamasındaki her yeni parça, sistem için yeni bir iş demektir. Bu da inference’in neden çok hızlı büyüyen bir operasyon maliyeti olduğunu açıklar. AWS’nin aynı yazısı, spekülatif decoding gibi tekniklerle maliyeti ve gecikmeyi düşürmeye çalışmalarının sebebinin de bu olduğunu gösteriyor.
Bulut şirketleri neden artık training ve inference'i ayrı satmaya başladı?
Bu değişimin en güçlü işaretlerinden biri ürün yapılarında görünüyor. Google, Nisan 2026’da Gemini API için Flex ve Priority inference katmanlarını duyurdu. Bu aslında çok şey anlatan bir hamle. Çünkü şirket artık tek tip model çağrısı satmıyor; gecikmeye hassas iş ile arkada bekleyebilecek işi ayırıyor. Daha düşük önemli işleri daha ucuz katmana, kullanıcının gözünün içine bakan anlık deneyimleri ise daha güvenilir ve daha pahalı katmana koyuyor.
OpenAI tarafında da benzer bir mantık var. Priority Processing sayfası doğrudan predictable low latency vaadiyle konuşuyor. Yani burada satılan şey yalnızca model cevabı değil; daha hızlı ve daha tutarlı token akışı. Bu da bize şunu gösteriyor: Yapay zeka pazarı, model kalitesi kadar inference kalitesi üzerinden de katmanlaşıyor.
Çip savaşı bile inference'a göre şekilleniyor
Belki en çarpıcı işaret donanım tarafından geliyor. Google yeni TPU neslini ikiye ayırıyor: TPU 8t training için, TPU 8i ise düşük gecikmeli inference için. Meta, kendi MTIA yol haritasını inference-first bir odakla kurduğunu açıkça yazıyor. Microsoft ise inference ağırlıklı işlerin maliyet, performans ve sistem tasarımı gereksinimlerini yeniden şekillendirdiğini anlatıyor.
Bu üç resmi yan yana koyunca mesaj net: Sektör artık çipi önce training için tasarlayıp sonra inference’a uydurmaya çalışmıyor. Tersine, giderek daha fazla donanım ve yazılım katmanı doğrudan inference’in ihtiyaçlarına göre biçimleniyor. NVIDIA’nin Dynamo duyurusu da bu yüzden önemli. Orada mesele yalnızca hız değil; token cost, yani token başına maliyet. Daha ucuz token, daha çok kullanıcı, daha çok ajan ve daha büyük talep demek.
Peki neden asıl para makinesi ifadesi abartılı değil?
Çünkü training, etkileyici olsa da genellikle hazırlıktır. Inference ise tekrarlanan nakit akışının kendisine daha yakındır. Bir model günde bir kere eğitilmez; ama bir ürün günde milyonlarca kez çağrılabilir. Bir modelin training hikâyesi manşete çıkar; ama şirketin bilançosunu uzun vadede inference yoğunluğu, token verimliliği, gecikme disiplini ve kapasite planlaması şekillendirir.
Bugün bir yapay zeka ürünü başarılı olduğunda, bunun anlamı sadece iyi cevap veriyor değildir. Şu dört soruya da iyi cevap veriyor demektir: kaç kullanıcıya aynı anda hizmet verebiliyor, cevabı ne kadar hızlı veriyor, bunu token başına ne kadar maliyetle yapıyor ve trafik patladığında sistem dağılıyor mu? Bu dört soru, inference ekonomisinin özüdür.
Ve bence gelecek burada daha da sertleşecek. Çünkü ajanlar büyüdükçe tek bir soru-tek bir cevap düzeni zayıflayacak. Yerine daha uzun muhakeme zincirleri, araç kullanan sistemler, arama yapan copilot’lar, şirket içi belge gezen asistanlar ve cihazın içinde sürekli çalışan zeka katmanları gelecek. Bu da daha fazla inference demek. Yani daha fazla token, daha fazla gecikme baskısı, daha fazla maliyet savaşı.
Sonuç olarak inference, yapay zekanın görünmeyen arka ofisi değil. Tam tersine, onun gişesi, mutfağı ve elektrik saati aynı anda. Model ne kadar parlak olursa olsun, eğer inference zayıfsa ürün pahalı, yavaş ya da kırılgan hâle gelir. Belki de önümüzdeki dönemde teknoloji dünyasının en ciddi sorusu “en zeki modeli kim eğitti?” olmayacak. “En iyi modeli, en düşük token maliyetiyle, en geniş ölçekte kim çalıştırabiliyor?” olacak. Ozan Karaca’nın diğer teknoloji yazıları geldikçe Yakın Gelecek Notları arşivinde birikecek; geniş çizgi için ise Teknoloji akışına da bakılabilir.
Kaynak: Google Cloud GKE inference concepts | OpenAI latency optimization guide | NVIDIA FY2026 Q1 results | NVIDIA Dynamo announcement | NVIDIA AI factories overview | AWS speculative decoding | AWS inference recommendations | Google Cloud Next 2026 wrap-up | Google Flex and Priority inference | OpenAI Priority Processing | Google TPU 8th generation | Meta custom silicon roadmap | Microsoft AI infrastructure post.
