Big Data & Hadoop
Big Data & Hadoop
Eğitim Hakkında
Big Data & Hadoop eğitimi, Hadoop ekosistemindeki araçların önemli bölümünün pratik örneklerle öğrenilmesini sağlayan bir eğitimdir. Big Data Developer olarak ya da Big Data Administrator olarak görev yapmak isteyenlere yöneliktir. Hadoop yönetim aracının kullanılması (Cloudera, Hortonworks), HDFS, MapReduce, Piq, Sqoop, Hive, Spark, Kafka, Storm, Flume, Hbase, Phoenix, Hadoop Security gibi konular öğrenilecektir. Eğitim, canlı bir web sitesinden gerçek zamanlı (Kafka, Spark Streaming) alınan verilerin Hadoop ortamına yazılması, film öneri sistemi geliştirilmesi, Twitter’dan Flume ile tweetlerin okunması gibi gerçek hayat uygulamalarıyla desteklenmektedir.
Ön Koşul
Temel Düzeyde Java, SQL ve Linux Bilgisi Gereklidir.
Eğitim İçeriği
- Büyük Veri Nedir
- Veri Bilimi Nedir
- Hadoop Nedir
- Hadoop Dağıtımları (Hortonworks, Cloudera)
- Proje Çalışması: Hortonworks Sandbox Kurulumu
- Ambari ile Hadoop Ekosistemini Yönetmek
- Lab Çalışması: Hadoop Servislerinin Eklenmesi, Başlatılıp, Durdurulması
- Yarn’a Giriş
- Lab Çalışması: Yarn ve Resource Manager Arayüzünü İncelemek
- HDFS'e Giriş
- HDFS Komutları
- HDFS Komutları (Ambari ile)
- MapReduce’a Giriş
- MapReduce Bileşenlerini İnceleme
- Lab Çalışması: MapReduce ile Çeşitli Datasetler Üzerinde Programlar Yazılması
- Pig’e Giriş
- Pig Komutları
- Genel ETL Fonksiyonlarının Pig ile Gerçekleştirilmesi
- Lab Çalışması: Pig ile çeşitli Datasetler Üzerinde Çalışılması
- Sqoop ile İlişkisel veritabanından Hadoop'a Veri yükleme (Sqoop Import)
- Lab Çalışması: Sqoop ile MySQL’den Hadoop’a veri yükleme
- Sqoop ile Hadoop'dan ilişkisel veritabanına Veri Yükleme (Sqoop Export)
- Lab Çalışması: Sqoop ile Hadoop’dan MySQL’e Veri Yükleme
- Sqoop İşleri (Sqoop jobs) Oluşturma
- Hive'a Giriş
- Hive Tabloları Oluşturma
- Hive Tablolarında Ekleme/Silme/Güncelleme Yapmak
- Tablo Çeşitlerini İnceleme (Managed, External)
- Hive'da Performans İyileştirme
- Apache Spark’a Giriş
- Spark Kelime Sayıcı Program Tasarımı
- Lab Çalışması: Spark Kurulumu ve Kelime Sayıcı Programının Yazılması
- RDD
- Lab Çalışması: RDD Transformasyon ve Aksiyonlar
- Spark MLLib
- Lab Çalışması: MLLib ile Film Öneri Sistemi Geliştirilmesi
- Kafka Nedir
- Kafka Mimarisi
- Kafka Topic
- Kafka Producer ve Consomer Oluşturma
- Lab Çalışması: Kafka Kurulumu ve Kullanımı
- Lab Çalışması: Online bir siteden verilerin Kafka ile anlık olarak alınıp, Hadoop’a yazılacağı bir örnek yapılacaktır.
- Storm’a Giriş
- Storm Topolojisi
- Lab Çalışması: Storm Kurulumu ve Örnek Storm Topolojisi
- Storm ile Mesaj İşleme ve Güvenilirlik
- Trident
- Flume’a Giriş
- Replikasyon
- Konsolidasyon ve Multiplexing
- Lab Çalışması: Twitter Verilerini Flume ile Anlık Olarak Okuma
- HBase’e Giriş
- HBase Tabloları
- HBase Tablolarına Okuma ve Yazma
- Lab Çalışması: HBase Shell ile Çalışmak
- Phoenix’e Giriş
- Phoenix ile Salt Bucket, Compression ve Indeksler
- Phoenix’de Join ve View Kullanımı
- Lab Çalışması: Phoenix Kurulumu, Tablo Oluşturma, Veri Güncelleme
- Ranger’a Giriş
- Lab Çalışması: Ranger’ı Aktif Hale Getirme
- Kerberos’a Giriş
- Lab Çalışması: Kerberos’u Aktif Hale Getirme
- HDFS Encryption’a Giriş
- Lab Çalışması: Ranger KMS ile HDFS Encryption Aktif Hale Getirme
Kazanımlar
Katılımcılara büyük veri kavramlarını ve Hadoop ekosisteminin temel bileşenlerini öğretmek
Hadoop dağıtımları (Hortonworks, Cloudera) kurma ve yönetme becerisi kazandırmak
HDFS, MapReduce ve Hadoop yönetim araçlarını kullanmayı öğretmek
Pig, Sqoop, Hive ve Spark ile veri işleme ve ETL süreçlerini uygulamalı olarak göstermek
Kafka ve Storm ile gerçek zamanlı veri akışlarını yönetme yetkinlikleri sağlamak
Hadoop güvenliği konusunda Ranger ve Kerberos’u kullanarak veri güvenliğini öğretmek
Hedef Kitle
Veri Mühendisleri
Sistem Mühendisleri
Veri Bilimcileri
Büyük Veri Analistleri
Yazılım Geliştiriciler
Üst Düzey Yöneticiler
Proje Yöneticileri
IT Direktörleri
Sertifika
Eğitimlerimize %80 oranında katılım gösterilmesi ve eğitim müfredatına göre uygulanacak sınav/projelerin başarıyla tamamlanması durumunda, eğitimin sonunda dijital ve QR kod destekli “BT Akademi Başarı Sertifikası” verilmektedir.
SEKTÖRÜN GÜVENDİĞİ ÇÖZÜM ORTAĞI
BT Akademi'yi tercih eden 4.000'den fazla kurum yanılmıyor.
