Retrieval-Augmented Generation Eğitimi
Retrieval-Augmented Generation Eğitimi
Eğitim Hakkında
Retrieval-Augmented Generation (RAG), büyük dil modellerinin (LLM) dış bilgi kaynaklarına “sorgu-getir-yanıtla” yöntemiyle erişmesini sağlar. Böylece model parametrelerine gömülmemiş bilgileri gerçek-zamanlı çekerek daha güncel, doğru ve izlenebilir çıktılar sunar. Bu eğitim, RAG mimarisinin temel kavramlarını, bileşenlerini ve end-to-end üretim süreçlerini tanıtarak katılımcıların doğru-kaynaklı, ölçeklenebilir ve bakımı kolay RAG sistemleri kurabilmesini hedefler. RAG; Bilgi Erişim (Retrieval) katmanı → Sembolik veya vektör tabanlı arama ile bağlam toplar. Üretim (Generation) katmanı → LLM’nin toplanan bağlamı kullanarak nihai yanıt üretmesini sağlar. Bu iki aşamanın pipeline hâlinde otomatik orkestrasyonu, “hallucination” riskini azaltır, veri soy kütüğünü (data lineage) korur ve çıktıları denetlenebilir kılar.
Ön Koşul
Bu eğitimin herhangi bir ön koşulu yoktur.
Eğitim İçeriği
- Hoş Geldiniz ve Eğitimin Hedefleri
- Program formatı (teori + laboratuvar + mini-proje) ve zaman çizelgesi
- Katılımcı profili: veri bilimci, platform mühendisi, ürün sahibi, danışman
- Başarı göstergeleri:
- Kendi doküman havuzunda çalışan bir RAG servisi yayınlama
- Retrieval + generation metriklerini ölçüp iyileştirme
- Hallucination oranını %40 → %5’e düşürme vaka ödevi
- RAG Tanımı, Motivasyonu ve Tarihçesi
- LLM’lerin sınırlılıkları: parametre-içi bilgi sınırı, “staleness”
- 2020 Facebook RAG → FiD (2021) → HyDE (2022) → ReACT/Self-RAG (2023-24)
- Arama (IR) mirası: BM25, TF-IDF → Dense Retrieval; retrieval-tabanlı diyalog
- Temel Bileşenler ve Yaşam Döngüsü
-
- Doküman katmanı: veri kaynakları, ETL, chunking, meta-tag enrichment
- Embedding katmanı: sentence-transformer, çok-dilli modeller, domain adaptasyonu
- Vektör DB: FAISS / Qdrant / Weaviate / pgvector; HNSW, IVF-PQ, Disk-ANN
- LLM katmanı: GPT-4o, Llama-3-70B-Instruct, Mistral-8B, Phi-3-mini, PaLM-2-RAG
- Fusion & Prompting: Stuff, Map-Reduce, Refine, Tree-of-Thoughts, Graph-of-Thoughts
- İzleme-Değerlendirme: recall@k, MRR, nDCG, faithfulness, latency, token/s
- Sürekli gelişim: feedback-loop, self-evaluation, RLHF/RLAIF
- Veri Toplama ve Parçalama
- Kaynak tipleri:
- Yapısal (SQL, CSV, Parquet)
- Yarı-yapısal (HTML, JSON, AP)
- Yapısal olmayan (PDF, DOCX, PPTX, resim-OCR)
- Kaynak tipleri:
- ETL boru hattı: Apache Tika, Unstructured, trafilatura, GROBID, Tesseract-OCR
- Chunking stratejileri: sabit token semantik bölümleme, kaymalı pencere, heading-aware splitting
- Metadata zenginleştirme: belge ID, sürüm, yazar, güvenlik etiketi, tarih
- Embedding Tasarımı ve Optimizasyonu
- Dil/model uyumu:
- Genel: all-MiniLM-L6-v2, bge-base-en, text-embedding-3-small
- Çok-dilli: LaBSE, bge-base-tr, E5-mistral-large
- Alan-özel: Law-MiniLM, FinBERT-RR, Bio-Clinical-BERT
- Boyut-kalite ticareti: 384 vs 768 vs 1 536; PCA/OPQ sıkıştırma
- Eksik dil desteği için öğretici sentez (synthetic QA pair generation)
- Fine-tune pipeline: LoRA-PEFT, contrastive loss, multi-negatives
- Dil/model uyumu:
- Veri & Embedding Versiyonlama Stratejileri
- Depo hiyerarşisi: /data, /chunks, /embeddings, /index, /models
- DVC-remote + Git-LFS snapshot, MLflow artefact store
- Semantic versioning: v1.3-finance-tr-chunks → v1.3.1 bugfix rollback
- Disaster-recovery: delta-sync, cold-storage, co-location replication
- Veri soy kütüğü: Airflow/Marquez + OpenMetadata
- CI/CD Tasarım İlkeleri
- Build-Index-Test-Deploy-Monitor adımları için çok aşamalı Docker build
- Trigger matrix: veri, embedding modeli, LLM sürümü değişimleri
- Çift inceleme: kod PR + eval-score PR (RAGAS ≥ 0.72)
- CI/CD Araç Kümesi
- Jenkins Declarative Pipeline: GitLab-CI parent-child, GitHub Actions reusable workflows
- Artefact deposu: Harbor/Artifactory (Docker) + S3 (Embedding) + MLflow (Model)
- Gizli değişken yönetimi: HashiCorp Vault, Azure Key Vault, Doppler
- Jenkins Declarative Pipeline: GitLab-CI parent-child, GitHub Actions reusable workflows
- Dağıtım Stratejileri ve Ortamları
- Tek-düğüm demo: Docker-Compose (LLM-Server, Retriever-API, UI)
- Prod: Kubernetes (Helm/Kustomize), Argo Rollouts (%5 canary, auto-abort)
- Serverless: AWS Bedrock + Lambda + Pinecone; Azure Cognitive Search + Function App
- GPU-CPU ayrışması: LLM svc → GPU node-pool, Retrieval svc → CPU spot-pool
- Otomatik Test & Validasyon
- Retrieval: recall@3 > 0.8, latency < 120 ms p95
- Generation: JSON schema, profanity filter, SAFE-completion
- Sürüm geçişi: blue-green, feature-flag, shadow traffic (%10 prod query)
- Rollback: Helm history → rollback; index snapshot restore; version-pin header
- Gerçek-Zamanlı Gözlemlenebilirlik
- Metrikler:
- Retrieval: qps, hit_rate, recall@k, avg_vector_dim
- LLM: tokens_in/s, tokens_out/s, streaming_latency, cache-hit%
- Sistem: CPU/GPU util, VRAM, fd-count, thread-count
- Prometheus Exporters: qdrant-exporter, vllm-exporter, langchain-tracing exporter
- Grafana panelleri: “RAG Overview”, “Retrieval Heatmap”, “LLM Throughput”
- Metrikler:
- Loglama ve Olay Yönetimi
- OpenTelemetry trace ID propagation (frontend → retriever → LLM)
- Central log: Loki/Elastic; JSON structured logging (query, doc_ids, citation_score)
- Alert politikası: latency p99 > 1 s (Warning) - faithfulness < 0.6 (Critical)
- Olay RCA: mis-ranking, stale index, prompt-drift, GPU OOM
- Sürekli İyileştirme Döngüsü
- Feedback store: kullanıcı beğeni/şikâyet, ground-truth QA
- Otomatik etiketleme: GPT-tabanlı self-grading (RAGAS)
- Embedding refresh koşulları: yeni doküman > N veya recall düşüşü > %10
- AB/online-learning: Lexicographic Diverse Retriever, Progressive Rerank
- Veri ve Model Güvenliği
- Uçtan uca TLS 1.3, mTLS gRPC; JWT-bound access token
- PII/PHI maskeleme: regex + NER-tabanlı redaction
- Embedding sızıntısı önleme: reversible hashing, k-anonim chunk store
- Prompt injection savunması: allow-list function-calling, param-guard, regex sandbox
- Adversarial test paketi: “Rome jailbreak”, “Doc-rank overflow”, “Similarity poison”
- Etik ve Regülasyon
- Kaynak gösterme: citation-id → URL → timestamp; log izlenebilirliği
- Bias audit: fairness toolkit, counterfactual evaluation
- KVKK/GDPR: veri minimizasyonu, silme talebi akışı, veri yerelliği
- EU AI Act: “Limited Risk – Generative Search Assistant”
- Denetim & rapor: model card, data sheet, algorithmic impact assessment
Kazanımlar
- RAG mimarisinin bileşenlerini ve uçtan uca yaşam döngüsünü kavrayabileceksiniz.
- Kurumsal ve çok kaynaklı veri havuzları üzerinde etkili chunking, embedding ve vektör arama stratejileri tasarlayabileceksiniz.
- Hallucination oranı düşük, kaynak gösterilebilir ve denetlenebilir RAG tabanlı LLM uygulamaları geliştirebileceksiniz.
- RAG pipeline’larını CI/CD, versiyonlama, izleme ve rollback mekanizmalarıyla üretim ortamına alabileceksiniz.
- Recall@k, nDCG, faithfulness ve latency gibi metriklerle sistem performansını ölçerek sürekli iyileştirebileceksiniz.
- KVKK, GDPR ve EU AI Act uyumunu gözeten güvenli kurumsal RAG mimarileri tasarlayabileceksiniz.
Hedef Kitle
- Veri bilimcileri ve makine öğrenmesi mühendisleri, kurumsal veri kaynaklarıyla entegre çalışan RAG tabanlı LLM sistemleri geliştirmek isteyenler,
- NLP ve bilgi erişim (Information Retrieval) alanında çalışan araştırmacılar ve mühendisler,
- Backend, platform ve MLOps mühendisleri, üretim ortamında ölçeklenebilir ve izlenebilir RAG servisleri kurmak isteyenler,
- Kurum içi doküman, mevzuat, bilgi tabanı veya arşiv verileri üzerinde akıllı arama ve soru-cevap sistemleri geliştirmek isteyen ekipler,
- Hallucination riski düşük, kaynak gösterilebilir ve regülasyon uyumlu yapay zeka uygulamaları tasarlamayı hedefleyen profesyoneller.
- LLM tabanlı ürünler geliştiren ürün yöneticileri, teknik liderler ve çözüm mimarları,
Sertifika
Eğitimlerimize %80 oranında katılım gösterilmesi ve eğitim müfredatına göre uygulanacak sınav/projelerin başarıyla tamamlanması durumunda, eğitimin sonunda dijital ve QR kod destekli “BT Akademi Başarı Sertifikası” verilmektedir.
İlgili Kurslar
SEKTÖRÜN GÜVENDİĞİ ÇÖZÜM ORTAĞI
BT Akademi'yi tercih eden 4.000'den fazla kurum yanılmıyor.
