Eğitim Hakkında
Retrieval-Augmented Generation (RAG), büyük dil modellerinin (LLM) dış bilgi kaynaklarına “sorgu-getir-yanıtla” yöntemiyle erişmesini sağlar. Böylece model parametrelerine gömülmemiş bilgileri gerçek-zamanlı çekerek daha güncel, doğru ve izlenebilir çıktılar sunar. Bu eğitim, RAG mimarisinin temel kavramlarını, bileşenlerini ve end-to-end üretim süreçlerini tanıtarak katılımcıların doğru-kaynaklı, ölçeklenebilir ve bakımı kolay RAG sistemleri kurabilmesini hedefler.
RAG;
- Bilgi Erişim (Retrieval) katmanı → Sembolik veya vektör tabanlı arama ile bağlam toplar.
- Üretim (Generation) katmanı → LLM’nin toplanan bağlamı kullanarak nihai yanıt üretmesini sağlar.
Bu iki aşamanın pipeline hâlinde otomatik orkestrasyonu, “hallucination” riskini azaltır, veri soy kütüğünü (data lineage) korur ve çıktıları denetlenebilir kılar.
Kimler İçindir?
- Veri Bilimcileri & ML Mühendisleri – LLM tabanlı çözümlerini kurumsal veriyle beslemek isteyenler
- NLP Araştırmacıları – Bilgi erişim + üretim sinerjisini deneyimlemek isteyenler
- Backend / Platform Mühendisleri – RAG servislerini ölçekli ortamda dağıtacak ekipler
- Ürün & Proje Yöneticileri – LLM tabanlı ürün yol haritalarını şekillendiren karar vericiler
- Teknoloji Meraklıları – Doğru kaynak gösteren sohbetbotları, arama motorları, belge asistanları vb. geliştirmek isteyenler
Sertifika
Eğitimlerimize %80 oranında katılım gösterilmesi ve eğitim müfredatına göre uygulanacak sınav/projelerin başarıyla tamamlanması durumunda, eğitimin sonunda dijital ve QR kod destekli “BT Akademi Başarı Sertifikası” verilmektedir.
Eğitim İçeriği
- Hoş Geldiniz ve Eğitimin Hedefleri
○ Program formatı (teori + laboratuvar + mini-proje) ve zaman çizelgesi
○ Katılımcı profili: veri bilimci, platform mühendisi, ürün sahibi, danışman
○ Başarı göstergeleri:- Kendi doküman havuzunda çalışan bir RAG servisi yayınlama
- Retrieval + generation metriklerini ölçüp iyileştirme
- Hallucination oranını %40 → %5’e düşürme vaka ödevi
- RAG Tanımı, Motivasyonu ve Tarihçesi
○ LLM’lerin sınırlılıkları: parametre-içi bilgi sınırı, “staleness”
○ 2020 Facebook RAG → FiD (2021) → HyDE (2022) → ReACT/Self-RAG (2023-24)
○ Arama (IR) mirası: BM25, TF-IDF → Dense Retrieval; retrieval-tabanlı diyalog - Temel Bileşenler ve Yaşam Döngüsü
○ Doküman katmanı: veri kaynakları, ETL, chunking, meta-tag enrichment
○ Embedding katmanı: sentence-transformer, çok-dilli modeller, domain adaptasyonu
○ Vektör DB: FAISS / Qdrant / Weaviate / pgvector; HNSW, IVF-PQ, Disk-ANN
○ LLM katmanı: GPT-4o, Llama-3-70B-Instruct, Mistral-8B, Phi-3-mini, PaLM-2-RAG
○ Fusion & Prompting: Stuff, Map-Reduce, Refine, Tree-of-Thoughts, Graph-of-Thoughts
○ İzleme-Değerlendirme: recall@k, MRR, nDCG, faithfulness, latency, token/s
○ Sürekli gelişim: feedback-loop, self-evaluation, RLHF/RLAIF
- Veri Toplama ve Parçalama
○ Kaynak tipleri:
▪ Yapısal (SQL, CSV, Parquet)
▪ Yarı-yapısal (HTML, JSON, API)
▪ Yapısal olmayan (PDF, DOCX, PPTX, resim-OCR)
○ ETL boru hattı: Apache Tika, Unstructured, trafilatura, GROBID, Tesseract-OCR
○ Chunking stratejileri: sabit token • semantik bölümleme • kaymalı pencere • heading-aware splitting
○ Metadata zenginleştirme: belge ID, sürüm, yazar, güvenlik etiketi, tarih - Embedding Tasarımı ve Optimizasyonu
○ Dil/model uyumu:
▪ Genel: all-MiniLM-L6-v2, bge-base-en, text-embedding-3-small
▪ Çok-dilli: LaBSE, bge-base-tr, E5-mistral-large
▪ Alan-özel: Law-MiniLM, FinBERT-RR, Bio-Clinical-BERT
○ Boyut-kalite ticareti: 384 vs 768 vs 1 536; PCA/OPQ sıkıştırma
○ Eksik dil desteği için öğretici sentez (synthetic QA pair generation)
○ Fine-tune pipeline: LoRA-PEFT, contrastive loss, multi-negatives - Veri & Embedding Versiyonlama Stratejileri
○ Depo hiyerarşisi: /data, /chunks, /embeddings, /index, /models
○ DVC-remote + Git-LFS snapshot, MLflow artefact store
○ Semantic versioning: v1.3-finance-tr-chunks → v1.3.1 bugfix rollback
○ Disaster-recovery: delta-sync, cold-storage, co-location replication
○ Veri soy kütüğü: Airflow/Marquez + OpenMetadata
- CI/CD Tasarım İlkeleri
○ Build-Index-Test-Deploy-Monitor adımları için çok aşamalı Docker build
○ Trigger matrix: veri, embedding modeli, LLM sürümü değişimleri
○ Çift inceleme: kod PR + eval-score PR (RAGAS ≥ 0.72) - CI/CD Araç Kümesi
○ Jenkins Declarative Pipeline • GitLab-CI parent-child • GitHub Actions reusable workflows
○ Artefact deposu: Harbor/Artifactory (Docker) + S3 (Embedding) + MLflow (Model)
○ Gizli değişken yönetimi: HashiCorp Vault, Azure Key Vault, Doppler - Dağıtım Stratejileri ve Ortamları
○ Tek-düğüm demo: Docker-Compose (LLM-Server, Retriever-API, UI)
○ Prod: Kubernetes (Helm/Kustomize), Argo Rollouts (%5 canary, auto-abort)
○ Serverless: AWS Bedrock + Lambda + Pinecone; Azure Cognitive Search + Function App
○ GPU-CPU ayrışması: LLM svc → GPU node-pool, Retrieval svc → CPU spot-pool - Otomatik Test & Validasyon
○ Retrieval: recall@3 > 0.8, latency < 120 ms p95
○ Generation: JSON schema, profanity filter, SAFE-completion
○ Sürüm geçişi: blue-green, feature-flag, shadow traffic (%10 prod query)
○ Rollback: Helm history → rollback; index snapshot restore; version-pin header
- Gerçek-Zamanlı Gözlemlenebilirlik
○ Metrikler:
▪ Retrieval: qps, hit_rate, recall@k, avg_vector_dim
▪ LLM: tokens_in/s, tokens_out/s, streaming_latency, cache-hit%
▪ Sistem: CPU/GPU util, VRAM, fd-count, thread-count
○ Prometheus Exporters: qdrant-exporter, vllm-exporter, langchain-tracing exporter
○ Grafana panelleri: “RAG Overview”, “Retrieval Heatmap”, “LLM Throughput” - Loglama ve Olay Yönetimi
○ OpenTelemetry trace ID propagation (frontend → retriever → LLM)
○ Central log: Loki/Elastic; JSON structured logging (query, doc_ids, citation_score)
○ Alert politikası: latency p99 > 1 s (Warning) • faithfulness < 0.6 (Critical)
○ Olay RCA: mis-ranking, stale index, prompt-drift, GPU OOM
- Sürekli İyileştirme Döngüsü
○ Feedback store: kullanıcı beğeni/şikâyet, ground-truth QA
○ Otomatik etiketleme: GPT-tabanlı self-grading (RAGAS)
○ Embedding refresh koşulları: yeni doküman > N veya recall düşüşü > %10
○ AB/online-learning: Lexicographic Diverse Retriever, Progressive Rerank
- Veri ve Model Güvenliği
○ Uçtan uca TLS 1.3, mTLS gRPC; JWT-bound access token
○ PII/PHI maskeleme: regex + NER-tabanlı redaction
○ Embedding sızıntısı önleme: reversible hashing, k-anonim chunk store
○ Prompt injection savunması: allow-list function-calling, param-guard, regex sandbox
○ Adversarial test paketi: “Rome jailbreak”, “Doc-rank overflow”, “Similarity poison” - Etik ve Regülasyon
○ Kaynak gösterme: citation-id → URL → timestamp; log izlenebilirliği
○ Bias audit: fairness toolkit, counterfactual evaluation
○ KVKK/GDPR: veri minimizasyonu, silme talebi akışı, veri yerelliği
○ EU AI Act: “Limited Risk – Generative Search Assistant”
○ Denetim & rapor: model card, data sheet, algorithmic impact assessment
Neden Bu Eğitimi Almalısınız ?
- Gerçeğe Yakın Yanıtlar – Dış bilgi kaynağı ekleyerek hallucination’ı azaltın.
- Güncel & Dinamik Bilgi – Modeli yeniden eğitmeden içerik güncellenir.
- Kaynak İzlenebilirliği – Referans URL, doküman parçası ve skorlar aracılığıyla güven oluşturun.
- Maliyet Verimliliği – Küçük/orta LLM’lerle yüksek doğruluk; parametre güncellemesine ihtiyaç yok.
- Regülasyon Uyumu – Kaynak gösterme, verinin lokalde kalması ve erişim kontrollü mimari.
Önemli Notlar
Program ücretlerine KDV dahil değildir.
Paylaş: