Yapay Zeka Haritası — Bölüm 3: Yapay Zekayı Sahiplen: Offline Çalışan Modeller

-

 

Bu yazı Yapay Zeka Haritası serisinin üçüncü ve son bölümü. Birinci bölümde kapalı kaynak modelleri, ikinci bölümde API üzerinden erişilen açık kaynak modelleri ele aldık. Bu bölümde ise bir adım daha ileri gidiyoruz: yapay zekanın dosyalarını doğrudan kendi cihazına indirip internet bağlantısı olmadan çalıştırmak.
 

Neden Lokal Yapay Zeka?


Birinci ve ikinci bölümdeki modellerin hepsinin ortak bir özelliği var: internet bağlantısı olmadan çalışmıyorlar. Ağ kesildiğinde model durur, sunucu çöktüğünde erişim kapanır, şirket politikası değiştiğinde verilerine ne olduğunu bilemezsin.
Lokal yapay zeka bu üç sorunu aynı anda çözüyor. Konuşmaların, verileriniz ve tüm bilgilerin asla bilgisayarından çıkmıyor. Uçakta, dağ başında, internet olmayan bir ortamda  model çalışmaya devam ediyor. Ve bir kez indirdikten sonra aylık abonelik yok, kullanım başına ücret yok.
Tabii bir bedeli var: modeller büyük dosyalar. Küçük modeller 1-2 GB, büyük modeller 40 GB'ı aşabiliyor. Cihazının kapasitesine göre model seçmek gerekiyor ama bunu nasıl yapacağını da bu yazıda anlatıyoruz.
 

Modeller


İkinci bölümde tanıttığımız açık kaynak modellerin tamamı aynı zamanda lokal olarak da indirilebilir. Kısaca hatırlatalım:
 

LLaMA 4 — Meta
Genel amaçlı, güçlü muhakeme. Küçük versiyonları ortalama bir bilgisayarda sorunsuz çalışıyor.
 

Mistral / Mixtral / Devstral — Mistral AI
Hız odaklı, düşük kaynak tüketimi. Sınırlı donanımda bile iyi performans veriyor.
 

Gemma 3 — Google
Telefon ve dizüstü bilgisayar gibi tüketici cihazları için optimize edilmiş. Düşük bellekte bile çalışabilen versiyonları mevcut.
 

Phi-4 — Microsoft
Küçük boyutuna rağmen muhakeme gücüyle öne çıkıyor. Ortalama bir dizüstü bilgisayarda rahatlıkla çalışıyor.
 

Qwen 3 — Alibaba
Çok dilli destek konusunda rakipsiz. Türkçe dahil 29 dili destekliyor.
 

DeepSeek-R1 / V3 — DeepSeekR

1 derin muhakeme, V3 genel amaçlı. Her ikisinin de küçük versiyonları lokal kullanıma uygun.

 GPT-OSS — OpenAI

20B ve 120B versiyonlarıyla yayınlandı. 120B versiyonu güçlü donanım gerektiriyor.

Cihazın Bu Modeli Kaldırır mı?

Lokal yapay zekanın en önemli ama en az konuşulan sorusu bu. Modeli indirdin, çalıştırmaya çalıştın uygulama dondu, hata verdi ya da bir cümle üretmesi beş dakika sürdü. Neden? Çünkü her model her cihazda çalışmıyor.
Bunu şöyle düşün: yapay zeka modeli aslında devasa bir dosya. Küçük modeller 1-2 GB, büyük modeller 40 GB'ı geçiyor. Bu dosya çalışırken bilgisayarının ya da telefonunun belleğine yükleniyor. Bellek yetmezse model ya hiç açılmıyor ya da açılıyor ama kaplumbağa hızında çalışıyor.
Telefonda kullanacaksan Telefona yönelik özel olarak küçültülmüş modeller var. Orta seviye bir Android veya iPhone bu modelleri sorunsuz çalıştırıyor.
Bilgisayarda kullanacaksan: Burada biraz dikkat gerekiyor. 8 GB RAM'li bir bilgisayar küçük modelleri kaldırır, ama büyük ve güçlü modeller için en az 16 GB RAM işini görüyor. Oyun bilgisayarın ya da ekran kartı olan bir makineniz varsa çok daha güçlü modelleri bile rahatlıkla çalıştırabilirsin.
Peki nasıl anlarsın hangi model cihazına uygun? LM Studio ve Ollama gibi istemciler bunu senin için hallediyor  modeli seçtiğinde yeşil, sarı veya kırmızı renkte uyarı gösteriyor. Yeşil: sorunsuz çalışır. Sarı: yavaş çalışabilir. Kırmızı: bu cihazda çalışmaz.
 

Modelleri Nasıl İndirirsin?
 

Modeli indirmenin birden fazla yolu var:
 

Hugging Face — Açık kaynak yapay zeka dünyasının en büyük model deposu. Arama çubuğuna model adını yazıyorsun, indirme bağlantısına ulaşıyorsun. Binlerce model tek çatı altında.
 

Ollama Model Kütüphanesi — Ollama'yı kurduktan sonra tek bir komutla model indirip çalıştırabiliyorsun. Teknik bilgi gerektirmiyor.
 

GitHub Repoları — Bazı modeller doğrudan geliştiricinin sayfasında yayınlanıyor. Daha teknik bir yol ama en güncel versiyonlara buradan ulaşılıyor.
 

MLC Chat İçi İndirme — Uygulamayı açıyorsun, listeden modeli seçiyorsun, indiriyorsun. Uygulama gerisini hallediyor.
 

Yapay Zeka İstemcileri
 

Modeli indirdin, şimdi ne yapacaksın? Yapay zeka istemcisi, indirdiğin modeli çalıştırıp sana tanıdık bir sohbet arayüzü sunan uygulama.
 

Android
 

MLC Chat — Model listesinden seçip doğrudan uygulama içinde indirip çalıştırabiliyorsun. Hafif ve hızlı.
 

PocketPal — Hugging Face entegrasyonuyla modelleri doğrudan uygulama içinden indirip internet bağlantısı olmadan çalıştırabiliyor. Phi, Gemma, Qwen destekli.
 

iOS
 

PocketPal — Android versiyonuyla aynı özellikler, iOS'ta da sorunsuz çalışıyor.
 

Private LLM — Tamamen offline çalışıyor, tek seferlik satın alma, abonelik yok.
 

Local LLM — LLaMA, Mistral, Phi, Qwen, DeepSeek ve Gemma modellerini destekliyor. Tamamen offline, tek seferlik satın alma.
 

macOS
 

LM Studio — Grafiksel arayüzüyle model indirip çalıştırmayı son derece kolay hale getiriyor. Teknik bilgi gerektirmiyor, başlangıç dostu.
 

Ollama — Terminal tabanlı, geliştirici odaklı. Tek komutla model indirip çalıştırıyorsun.

 Windows

 LM Studio — macOS versiyonuyla aynı özellikler, Windows'ta da sorunsuz çalışıyor.
Ollama — Windows desteğiyle birlikte en yaygın kullanılan lokal yapay zeka aracı.
 

GPT4All — Kolay kurulum, GPU olmadan da çalışabiliyor. İnternet bağlantısı olmadan çalışabilen en erişilebilir seçeneklerden biri. 

Linux

 Ollama — Linux'ta en olgun ve en yaygın kullanılan lokal yapay zeka aracı

LM Studio — Linux desteğiyle birlikte grafiksel arayüz arayanlar için ideal seçenek.

 Sonuç: Haritanın Tamamı

Üç bölümlük bu serinin sonuna geldik. Başladığımızda "yapay zeka" tek tip bir şeymiş gibi görünüyordu. Şimdi tablonun tamamı ortada:
Kapalı kaynak modeller hız ve kolaylık sunuyor ama verilerinin kontrolü sende değil. Açık kaynak sunucu tabanlı modeller özgürlük ve esneklik sunuyor ama yine de bir platforma bağımlısın. Lokal modeller ise tam bağımsızlık internet yok, abonelik yok, veri sızıntısı yok.
Hangisi doğru seçim? Kullanım amacına bağlı. Günlük hızlı sorular için kapalı kaynak yeterli. Gizlilik önemliyse ve biraz teknik merakın varsa lokal modeller tam sana göre. İkisi arasında bir yerdeysen API tabanlı açık kaynak modeller iyi bir orta yol.
Yapay zeka artık yalnızca büyük şirketlerin elinde değil. Telefonda, bilgisayarında, internetsiz çalışıyor. Harita elinde.

 Bu yazıyı beğendiyseniz, diğer çalışmalarımı da beğenebilirsiniz:

Yorumlar

Yorum Gönder