Kurumsal şirketlerde yapay zekâ ve Büyük Dil Modellerinin (LLM) yerel olarak çalıştırılması; veri gizliliği, güvenlik, performans ve kurumsal ihtiyaçlara özel çözümler geliştirme açısından önemli avantajlar sunmaktadır. Bu eğitim, geliştiricilerin yerel yapay zekâ ekosistemini tanımalarını ve LLM tabanlı uygulamaları kurumsal ortamlarda geliştirme, test etme ve dağıtma süreçlerine yönelik temel ve ileri seviye yetkinlik kazanmalarını amaçlamaktadır.
Eğitim kapsamında; yerel yapay zekâ ekosistemi ve temel kavramlar, LM Studio kullanılarak model yönetimi ve prototipleme süreçleri ele alınmaktadır. Bunun yanı sıra, Ollama ile gelişmiş model entegrasyonu, uygulama geliştirme ve dağıtım süreçleri incelenerek yerel LLM çözümlerinin kurumsal sistemlere nasıl entegre edilebileceği üzerinde durulmaktadır.
Eğitim sonunda katılımcıların yerel LLM teknolojilerinin çalışma prensiplerini kavraması, farklı araçlarla modelleri yönetip prototipleyebilmesi ve Ollama gibi çözümler üzerinden yapay zekâ modellerini uygulamalarına entegre ederek kurumsal kullanım senaryolarına uygun çözümler geliştirebilmesi hedeflenmektedir.
Kurumsal Yapay Zeka Stratejileri
- •Cloud (Bulut) vs. Local (Yerel) modellerin karşılaştırılması
- •Veri gizliliği, güvenlik ve regülasyon uyumluluğu (KVKK/GDPR)
- •Maliyet analizi: Token ücretleri vs. donanım yatırımı
Donanım ve Altyapı Gereksinimleri
- •CPU, GPU (VRAM) ve RAM optimizasyonu
- •İşletim sistemi hazırlıkları (Windows, macOS, Linux)
- •NVIDIA CUDA ve Apple Metal hızlandırma teknolojileri
Açık Kaynak Model Dünyası
- •Hugging Face ekosistemi ve model kartlarını okuma
- •Model formatları: GGUF, AWQ, EXL2 farkları
- •Quantization (Niceleme) teknikleri ve performans etkileri
LM Studio Kurulumu ve Arayüz Hakimiyeti
- •Kullanıcı arayüzü bileşenleri ve model arama motoru
- •Donanım kaynaklarının (GPU Offloading) manuel yapılandırılması
Gelişmiş Model Parametreleri
- •Context Window (Bağlam Penceresi) yönetimi
- •Sıcaklık (Temperature), Top-P ve Penalty ayarlarının etkisi
- •Sistem istemleri (System Prompts) ile model karakterizasyonu
Yerel Sunucu (Local Server) Modu
- •OpenAI uyumlu API uç noktası (endpoint) oluşturma
- •LM Studio üzerinden çoklu model testleri ve benchmark (kıyaslama)
- •Uygulamalar için sahte (mock) API ortamı hazırlama
Ollama Mimarisi ve CLI Kullanımı
- •Terminal üzerinden model yönetimi (pull, run, rm, list)
- •Arka plan servis yönetimi ve kaynak tüketimi takibi
Modelfile ile Özelleştirilmiş Modeller
- •Kendi model tanım dosyanızı oluşturma
- •Modellere kalıcı talimatlar ve parametreler ekleme
- •Kurumsal kimliğe uygun "Assistant" yapılandırmaları
Kurumsal Uygulama Entegrasyonları ve UI Çözümleri
- •Ollama API'sini Python ve JavaScript projelerine bağlama
- •Open WebUI (eski adıyla Ollama WebUI) kurulumu ve Docker kullanımı
- •RAG (Retrieval-Augmented Generation) sistemlerine giriş: Şirket içi belgelerle konuşma