Deskripsi Pelatihan : Apache Kafka in Action: Membangun Pipeline Data Real-Time
Pelatihan Apache Kafka in Action: Membangun Pipeline Data Real-Time dirancang untuk membekali peserta dengan pengetahuan dan keterampilan praktis dalam membangun sistem pemrosesan serta distribusi data secara real-time menggunakan Apache Kafka. Peserta akan mempelajari arsitektur Kafka, mekanisme producer dan consumer, pengelolaan topic dan partition, serta teknik pengiriman pesan yang andal dalam lingkungan sistem terdistribusi. Pelatihan ini juga mencakup perancangan pipeline data streaming, integrasi dengan database dan aplikasi, penerapan event-driven architecture, serta pemrosesan data menggunakan Kafka Streams. Selain itu, peserta akan mempelajari strategi monitoring, troubleshooting, dan optimalisasi performa untuk memastikan sistem berjalan secara efisien dan skalabel. Melalui kombinasi teori, demonstrasi, praktik langsung, dan studi kasus, peserta diharapkan mampu merancang dan mengimplementasikan pipeline data real-time yang mendukung kebutuhan analitik, integrasi sistem, dan transformasi digital perusahaan.
Tujuan Pelatihan :
Setelah mengikuti pelatihan, peserta diharapkan mampu:
- Memahami konsep dasar data streaming dan arsitektur Apache Kafka.
- Mengimplementasikan Kafka Producer dan Consumer untuk pertukaran data secara real-time.
- Mengelola topic, partition, offset, consumer group, dan mekanisme replikasi data.
- Membangun pipeline data streaming yang terintegrasi dengan aplikasi dan database.
Rincian Materi Pelatihan :
HARI 1
Sesi 1 08.30–10.00
Topik: Introduction to Apache Kafka & Real-Time Data Streaming
- Konsep data streaming dan real-time data processing.
- Arsitektur dan komponen utama Apache Kafka.
- Kafka broker, topic, partition, offset, dan replication.
- Instalasi serta konfigurasi dasar Apache Kafka.
Sesi 2 10.15–12.00
Topik: Kafka Producer, Consumer & Message Processing
- Implementasi producer dan consumer.
- Pengelolaan consumer group dan distribusi pesan.
- Message delivery semantics: at-most-once, at-least-once, dan exactly-once.
- Penanganan error, retry, dan pemrosesan pesan.
Sesi 3 13.00–15.00
Topik: Building Real-Time Data Pipelines
- Konsep dan desain pipeline data streaming.
- Integrasi Kafka dengan aplikasi dan database.
- Penggunaan Kafka Connect untuk integrasi sumber dan tujuan data.
- Serialisasi data menggunakan JSON dan Avro serta pengenalan Schema Registry.
HARI 2
Sesi 4 08.00–10.00
Topik: Event-Driven Architecture & Microservices Integration
- Konsep event-driven architecture.
- Komunikasi antarlayanan menggunakan Kafka.
- Desain event dan pengelolaan aliran pesan.
- Studi kasus integrasi microservices berbasis event.
Sesi 5 10.15–12.00
Topik: Stream Processing with Kafka Streams
- Pengenalan Kafka Streams.
- Transformasi, filtering, dan agregasi data streaming.
- Pemrosesan data berdasarkan waktu dan windowing.
- Implementasi analitik data secara real-time.
Sesi 6 15.15–15.45
Topik: Monitoring, Performance Optimization & Implementation
- Monitoring dan troubleshooting cluster Kafka.
- Optimalisasi throughput, latency, dan partition.
- Praktik membangun pipeline data real-time secara end-to-end.
- Evaluasi hasil implementasi melalui studi kasus
Metode Pelatihan :
- Presentasi dan penjelasan konsep.
- Demonstrasi teknis oleh instruktur.
- Praktik langsung (hands-on lab).
- Studi kasus dan simulasi proyek.
- Diskusi interaktif serta evaluasi hasil praktik.
Target Pelatihan :
- Data Engineer yang ingin membangun dan mengelola pipeline data real-time.
- Software Developer dan Backend Engineer yang ingin mengintegrasikan Kafka ke dalam aplikasi.
- System Architect dan Solution Architect yang merancang sistem terdistribusi dan event-driven.
- DevOps Engineer dan IT Infrastructure Engineer yang menangani deployment, monitoring, dan keandalan sistem.
- Data Analyst dan Data Scientist yang ingin memahami infrastruktur pemrosesan data streaming.
- IT Professional dan praktisi teknologi yang ingin meningkatkan kompetensi dalam teknologi big data dan distributed system
Hasil Pelatihan :
Setelah mengikuti pelatihan, peserta diharapkan menghasilkan:
- Memahami konsep dasar data streaming dan arsitektur Apache Kafka.
- Mengimplementasikan Kafka Producer dan Consumer untuk pertukaran data secara real-time.
- Mengelola topic, partition, offset, consumer group, dan mekanisme replikasi data.
- Membangun pipeline data streaming yang terintegrasi dengan aplikasi dan database.
| Investasi dan fasilitas Metode Pelaksanaan | Harga & Fasilitas |
| Opsi 1 – Pelatihan Online | Training Online Rp. 5.500.000 per peserta.
Minimal kuota 2 peserta dan bisa request tanggal. • Pelaksanaan training selama 2 hari half day (08.00 – 12.00 WIB atau 13.15 – 16.00 WIB) Menggunakan aplikasi Zoom/Google Meet. • Sudah Termasuk : Sertifikat Training Softfile & Hardfile, Pengiriman Sertifikat ke A alamat Peserta, Soft File Materi. • Belum termasuk : PPN 11%.
|
| Opsi 2 –
Pelatihan Offline di Yogyakarta |
Training Offline Rp.7.900.000 per peserta.
• Minimal kuota 3 peserta dan bisa request tanggal. • Pelaksanaan training selama 2 hari full day (08.00 – 16.00 WIB). • Tempat pelaksanaan : • ✓ Hotel El Royale, Yogyakarta ATAU • ✓Hotel Malyabhara, Malioboro,Yogyakarta • Sudah termasuk : Meeting Room, Modul Training, Sertifikat Training, Training Kits, Lunch, Coffee Break, dan Souvenir. • Belum termasuk : Penginapan & Transportasi Peserta Pelatihan, dan PPN 11%.
|
Instruktur
Tim Oemah Training