Yapay zeka dunyasinda en cok parlayan kelime uzun sure training oldu. Herkes modellerin nasil egitildigini, kac GPU kullanildigini, hangi sirketin daha buyuk veriyle daha guclu model kurdugunu konustu. Fakat bugun sessizce baska bir merkez doguyor. Asil para giderek training tarafinda degil, inference tarafinda birikiyor.
Bu kelimeyi acik anlatalim. Inference, egitilmis bir yapay zeka modelinin gercek kullanim aninda cevap uretmesi demektir. Yani model artik ders calismiyordur; sinava cikmistir. Bir kullanici soru sorar, model cevap verir. Bir sirket belge ozetletir, model ozet cikarir. Bir uygulama ses kaydini yaziya cevirir, model bunu o anda yapar. Iste bu calisma ani inference’tir.
Training ise bunun onceki asamasidir. Modelin buyuk veri yiginlari uzerinden oruntu ogrenmesi, parametrelerini ayarlamasi ve neye nasil cevap verecegini ic yapisinda kurmasi demektir. Daha sade bir benzetmeyle: training, ascilik okuludur; inference ise restoranda siparis servis etmektir. Okul pahali olabilir, uzun surebilir ve prestijlidir. Ama para, restoran gun boyu siparis aldikca doner.
Google Cloud dokumanlari inference’i, bir modelin girdiden yola cikarak metin, embedding ya da baska ciktilar urettigi calisma asamasi diye tarif ediyor. Bu tanim teknik olarak dogru ama eksik. Cunku bugun mesele sadece modelin cevap verebilmesi degil. Milyonlarca insana, dusuk gecikmeyle, kabul edilebilir maliyetle ve surekli cevap verebilmesi. Asil ekonomi burada basliyor.
Inference neden training'den farkli bir savas alani?
Training buyuk bir harcamadir ama genellikle aralikli olur. Sirket bir modeli aylarca egitir, sonra o modeli kullanima acar. Inference ise tekrar eden masraftir. Her soru, her tik, her ajan adimi, her ozet, her arama, her kod tamamlama yeni bir inference talebi dogurur. Bu yuzden training bir kere pahali olabilir; ama inference her gun para yer ya da para kazandirir.
Bir modeli egitmek fabrikayi kurmaya benzer. Inference ise o fabrikanin her gun urun cikarip cikaramamasina. Fabrika etkileyici olabilir. Ama bant donmuyorsa sirketin buyumesi hikayede kalir. NVIDIA’nin resmi aciklamalari da artik bu yone kaymis durumda. Sirket 2025 mali yil ilk ceyrek sonuc aciklamasinda AI inference token uretiminin bir yil icinde on kat arttigini soyledi. 2026 Mart’indaki Dynamo duyurusunda ise daha ileri gidip “Inference is the engine of intelligence” dedi.
Token ne, neden bu kadar onemli?
Burada bir kelimeyi daha acalim: token. Token, modelin isledigi en kucuk metin parcaciklarindan biridir. Bazen bir kelime, bazen bir kelimenin parcasi, bazen noktalama isareti olabilir. Siz modele bir soru sordugunuzda model sadece anlam islemez; aslinda token dizileriyle calisir. Siz cevap aldiginizda da sistem size tekrar token token cikti uretir.
Bu neden onemli? Cunku inference’in zamani ve maliyeti buyuk olcude bu token akisi uzerinden olculur. OpenAI’nin resmi latency rehberi cok net bir sey soyluyor: Bir LLM kullanirken gecikmenin en buyuk parcasi cogu zaman token uretimidir. Hatta cikti tokenlarini yariya indirirseniz, gecikme de kabaca yariya inebilir. Demek ki inference ekonomisinde mesele yalnizca modelin varligi degil; kac token, ne hizda ve hangi maliyetle uretildigidir.
Asil darboagaz neden cevap aninda cikiyor?
LLM’ler, ozellikle metin ureten modeller, cevabi genellikle sira sira verir. Yani bir sonraki tokeni uretir, sonra bir sonrakine gecer. AWS’nin resmi teknik yazisinda anlatildigi gibi bu decode-heavy yapi, yani cevap tarafinin agir bastigi isler, donanimi zaman zaman bellek bant genisligi tarafinda tikayabiliyor. Sirf bu nedenle token basina maliyet yukseliyor.
Bunu sade anlatalim. Modelin cevabi tek seferde firlatmak yerine satir satir yazdigi bir dunya dusunun. Ne kadar uzun konusursa, o kadar cok zaman ve kaynak kullanir. Cevap asamasindaki her yeni parca, sistem icin yeni bir is demektir. Bu da inference’in neden cok hizli buyuyen bir operasyon maliyeti oldugunu aciklar. AWS’nin ayni yazisi, spekulatif decoding gibi tekniklerle maliyeti ve gecikmeyi dusurmeye calismalarinin sebebinin de bu oldugunu gosteriyor.
Bulut sirketleri neden artik training ve inference'i ayri satmaya basladi?
Bu degisimin en guclu isaretlerinden biri urun yapilarinda gorunuyor. Google, Nisan 2026’da Gemini API icin Flex ve Priority inference katmanlarini duyurdu. Bu aslinda cok sey anlatan bir hamle. Cunku sirket artik tek tip model cagrisi satmiyor; gecikmeye hassas is ile arkada bekleyebilecek isi ayiriyor. Daha dusuk onemli isleri daha ucuz katmana, kullanicinin gozunun icine bakan anlik deneyimleri ise daha guvenilir ve daha pahali katmana koyuyor.
OpenAI tarafinda da benzer bir mantik var. Priority Processing sayfasi dogrudan predictable low latency vaadiyle konusuyor. Yani burada satilan sey yalnizca model cevabi degil; daha hizli ve daha tutarli token akisi. Bu da bize sunu gosteriyor: Yapay zeka pazari, model kalitesi kadar inference kalitesi uzerinden de katmanlasiyor.
Cip savasi bile inference'a gore sekilleniyor
Belki en carpici isaret donanim tarafindan geliyor. Google yeni TPU neslini ikiye ayiriyor: TPU 8t training icin, TPU 8i ise dusuk gecikmeli inference icin. Meta, kendi MTIA yol haritasini inference-first bir odakla kurdugunu acikca yaziyor. Microsoft ise inference agirlikli islerin maliyet, performans ve sistem tasarimi gereksinimlerini yeniden sekillendirdigini anlatiyor.
Bu uc resmi yan yana koyunca mesaj net: Sektor artik cipi once training icin tasarlayip sonra inference’a uydurmaya calismiyor. Tersine, giderek daha fazla donanim ve yazilim katmani dogrudan inference’in ihtiyaclarina gore bicimleniyor. NVIDIA’nin Dynamo duyurusu da bu yuzden onemli. Orada mesele yalnizca hiz degil; token cost, yani token basina maliyet. Daha ucuz token, daha cok kullanici, daha cok ajan ve daha buyuk talep demek.
Peki neden asil para makinesi ifadesi abartili degil?
Cunku training, etkileyici olsa da genellikle hazirliktir. Inference ise tekrarlanan nakit akisinin kendisine daha yakindir. Bir model gunde bir kere egitilmez; ama bir urun gunde milyonlarca kez cagrilabilir. Bir modelin training hikayesi mansete cikar; ama sirketin bilancosunu uzun vadede inference yogunlugu, token verimliligi, gecikme disiplini ve kapasite planlamasi sekillendirir.
Bugun bir yapay zeka urunu basarili oldugunda, bunun anlami sadece iyi cevap veriyor degildir. Su dort soruya da iyi cevap veriyor demektir: kac kullaniciya ayni anda hizmet verebiliyor, cevabi ne kadar hizli veriyor, bunu token basina ne kadar maliyetle yapiyor ve trafik patladiginda sistem dagiliyor mu? Bu dort soru, inference ekonomisinin ozudur.
Ve bence gelecek burada daha da sertlesecek. Cunku ajanlar buyudukce tek bir soru-tek bir cevap duzeni zayiflayacak. Yerine daha uzun muhakeme zincirleri, arac kullanan sistemler, arama yapan copilot’lar, sirket ici belge gezen asistanlar ve cihazin icinde surekli calisan zeka katmanlari gelecek. Bu da daha fazla inference demek. Yani daha fazla token, daha fazla gecikme baskisi, daha fazla maliyet savasi.
Sonuc olarak inference, yapay zekanin gorunmeyen arka ofisi degil. Tam tersine, onun gisesi, mutfagi ve elektrik saati ayni anda. Model ne kadar parlak olursa olsun, eger inference zayifsa urun pahali, yavas ya da kirilgan hale gelir. Belki de onumuzdeki donemde teknoloji dunyasinin en ciddi sorusu “en zeki modeli kim egitti?” olmayacak. “En iyi modeli, en dusuk token maliyetiyle, en genis olcekte kim calistirabiliyor?” olacak. Ozan Karaca’nin diger teknoloji yazilari geldikce Yakin Gelecek Notlari arsivinde birikecek; genis cizgi icin ise Teknoloji akisina da bakilabilir.
Kaynak: Google Cloud GKE inference concepts | OpenAI latency optimization guide | NVIDIA FY2026 Q1 results | NVIDIA Dynamo announcement | NVIDIA AI factories overview | AWS speculative decoding | AWS inference recommendations | Google Cloud Next 2026 wrap-up | Google Flex and Priority inference | OpenAI Priority Processing | Google TPU 8th generation | Meta custom silicon roadmap | Microsoft AI infrastructure post.
