Kurumsal Ortamlar için Yerel Büyük Dil Modeli (Local LLM) Geliştirme Eğitimi
Kurumsal Ortamlar için Yerel Büyük Dil Modeli (Local LLM) Geliştirme Eğitimi
Eğitim Hakkında
Kurumsal Ortamlar için Yerel Büyük Dil Modeli (Local LLM) Geliştirme eğitimi, büyük dil modellerini kurum altyapısında barındırarak gizlilik, güvenlik ve performans gereksinimlerini karşılayan uygulamalar geliştirmek isteyen teknik ekipler için tasarlanmıştır. Eğitimde yerel yapay zeka ekosistemi, donanım planlaması ve açık kaynak model seçimi ile başlanır; LM Studio üzerinde prototipleme ve model karşılaştırma yapılır, ardından Ollama ile özelleştirilmiş modeller oluşturulup Python ve JavaScript projelerine entegre edilir. Eğitimin sonunda katılımcılar, kurum içinde çalışan, API üzerinden erişilebilen ve şirket dokümanlarıyla beslenen bir yerel yapay zeka çözümünü uçtan uca kurgulayabilir hale gelir.
Ön Koşul
Temel seviye Python veya JavaScript bilgisi ve komut satırı bilgisi gerekmektedir. Temel seviye Docker bilgisi önerilir.
Eğitim İçeriği
- Kurumsal Strateji ve Karar Kriterleri
- Bulut ve yerel model mimarilerinin karşılaştırmalı değerlendirmesi
- KVKK ve GDPR kapsamında veri gizliliği ve uyum gereksinimleri
- Token bazlı maliyet ile donanım yatırımının geri dönüş analizi
- Donanım ve İşletim Sistemi Gereksinimleri
- İşlemci, VRAM ve RAM kapasite planlaması
- Windows, macOS ve Linux sunucularda ortam hazırlığı
- CUDA ve Metal hızlandırma katmanlarının yapılandırılması
- Açık Kaynak Model Ekosistemi
- Hugging Face model kartlarından lisans, boyut ve yetenek bilgisini okuma
- GGUF, AWQ ve EXL2 formatlarının kullanım alanları
- Niceleme (quantization) tekniklerinin doğruluk ve hıza etkisi
- Kurulum ve Kaynak Yönetimi
- LM Studio arayüzü ve model keşif motoru
- GPU offloading katman sayısının manuel ayarlanması
- Çıktı Davranışının İnce Ayarı
- Bağlam penceresi boyutunun bellek kullanımına etkisi
- Temperature, Top-P ve penalty değerleriyle çıktı kontrolü
- Modelin rolünü ve üslubunu sistem talimatıyla sabitleme
- Yerel Sunucu ve Test Ortamı
- OpenAI uyumlu yerel API uç noktası yayınlama
- Birden fazla modelin kıyaslama (benchmark) testleri
- Geliştirme sürecinde kullanılacak deneme (mock) API'si hazırlama
- Ollama Mimarisi ve Komut Satırı
- Ollama servis mimarisi ve temel CLI komutları
- Servisin sürekli çalışır halde tutulması ve bellek kullanımının takibi
- Modelfile ile Kuruma Özel Modeller
- Model tanım dosyası yazma ve sürümleme
- Kalıcı talimat, şablon ve parametrelerin modele gömülmesi
- Kurum diline ve kurallarına göre şekillendirilmiş asistanlar
- Uygulama Entegrasyonu ve Arayüz
- Python ve JavaScript uygulamalarından Ollama'ya API ile erişim
- Docker ile Open WebUI kurulumu ve kullanıcı yönetimi
- Şirket içi dokümanlarla RAG tabanlı soru-cevap uygulamasına giriş
Kazanımlar
- Yerel ve bulut tabanlı model seçeneklerini maliyet, güvenlik ve performans açısından karşılaştırabileceksiniz.
- KVKK ve GDPR gereksinimlerini yerel yapay zeka mimarisine yansıtabileceksiniz.
- Kurumsal ihtiyaca uygun donanım kapasitesini planlayabileceksiniz.
- Lisans, boyut ve yetenek bilgilerine göre uygun açık kaynak modeli seçebileceksiniz.
- Niceleme tekniklerinin doğruluk ve hız üzerindeki etkisini değerlendirebileceksiniz.
- LM Studio ile modelleri test edip kıyaslama yapabileceksiniz.
- OpenAI uyumlu bir yerel API uç noktası yayınlayabileceksiniz.
- Ollama ve Modelfile ile kuruma özel modeller oluşturup sürümleyebileceksiniz.
- Yerel modelleri Python ve JavaScript uygulamalarına entegre edebileceksiniz.
- Docker ile Open WebUI kurulumu yapıp kullanıcı erişimini yönetebileceksiniz.
- Şirket içi dokümanlarla çalışan RAG tabanlı bir asistan kurgulayabileceksiniz.
Hedef Kitle
- Yapay zeka çözümleri geliştirmek isteyen yazılım geliştiriciler
- Veri bilimciler ve makine öğrenmesi mühendisleri
- DevOps ve sistem altyapı mühendisleri
- Yazılım ve çözüm mimarları
- Yapay zeka projelerini yöneten teknik liderler
Sertifika
Eğitimlerimize %80 oranında katılım gösterilmesi ve eğitim müfredatına göre uygulanacak sınav/projelerin başarıyla tamamlanması durumunda, eğitimin sonunda dijital ve QR kod destekli “BT Akademi Başarı Sertifikası” verilmektedir.
İlgili Kurslar
SEKTÖRÜN GÜVENDİĞİ ÇÖZÜM ORTAĞI
BT Akademi'yi tercih eden 4.000'den fazla kurum yanılmıyor.
