Deskripsi Pelatihan: End-to-End Kafka Engineering: Membangun Solusi Data Real-Time
Pelatihan End-to-End Kafka Engineering: Membangun Solusi Data Real-Time dirancang untuk membekali peserta dengan pengetahuan dan keterampilan teknis dalam membangun, mengintegrasikan, serta mengelola sistem pengolahan data real-time menggunakan Apache Kafka. Seiring meningkatnya kebutuhan perusahaan terhadap pemrosesan data yang cepat dan akurat, teknologi streaming menjadi komponen penting dalam mendukung transformasi digital, analisis data, dan pengembangan aplikasi modern. Dalam pelatihan ini, peserta akan mempelajari tahapan pengembangan sistem data streaming secara menyeluruh, mulai dari pemahaman arsitektur Kafka, pengelolaan cluster, pengembangan producer dan consumer, hingga integrasi data menggunakan Kafka Connect dan pemrosesan data menggunakan Kafka Streams. Selain itu, peserta akan mempraktikkan pembangunan pipeline data real-time, melakukan konfigurasi sistem, monitoring, performance tuning, serta troubleshooting. Melalui pendekatan teori dan praktik langsung, peserta diharapkan mampu membangun solusi data streaming yang terintegrasi, skalabel, andal, dan sesuai dengan kebutuhan operasional maupun bisnis perusahaan.
Tujuan Pelatihan : End-to-End Kafka Engineering: Membangun Solusi Data Real-Time
Setelah mengikuti pelatihan, peserta diharapkan mampu:
- Memahami konsep dan prinsip kerja data engineering, real-time data processing, serta distributed event streaming menggunakan Apache Kafka.
- Menguasai arsitektur dan komponen Apache Kafka serta mampu melakukan instalasi, konfigurasi, dan pengelolaan Kafka Cluster.
- Mengembangkan aplikasi berbasis Kafka Producer dan Consumer untuk mendukung pertukaran data secara real-time.
- Mengimplementasikan integrasi, transformasi, dan pemrosesan data menggunakan Kafka Connect, Schema Registry, dan Kafka Streams.
Rincian Materi Pelatihan :
HARI 1
Sesi 1 08.30–10.00
Topik: Fundamentals of Data Engineering & Apache Kafka
- Pengenalan Data Engineering dan Konsep Real-Time Data Processing.
- Fundamental Apache Kafka dan Distributed Event Streaming Platform.
- Perbedaan Batch Processing, Stream Processing, dan Event-Driven Architecture.
- Penerapan Apache Kafka dalam Ekosistem Big Data dan Kebutuhan Industri.
Sesi 2 10.15–12.00
Topik: Kafka Architecture, Installation & Cluster Management
- Memahami Arsitektur Kafka: Broker, Cluster, Controller, dan Metadata.
- Pengelolaan Topic, Partition, Replication, dan Consumer Group.
- Instalasi, Konfigurasi, dan Deployment Apache Kafka Cluster.
- Manajemen Offset, Retention Policy, dan Data Replication.
Sesi 3 13.00–15.00
Topik: Kafka Producer, Consumer & Application Development
- Pengembangan Kafka Producer untuk Pengiriman Data Real-Time.
- Pengembangan Kafka Consumer untuk Pengambilan dan Pemrosesan Data.
- Pengelolaan Message Key, Partitioning, Offset, dan Consumer Group.
- Implementasi Message Delivery Semantics, Retry, dan Error Handling.
HARI 2
Sesi 4 08.00–10.00
Topik: Data Integration & Pipeline Development with Kafka Connect
- Pengenalan Kafka Connect dan Arsitektur Integrasi Data.
- Implementasi Source Connector dan Sink Connector.
- Pengelolaan Data Serialization Menggunakan JSON, Avro, dan Schema Registry.
- Membangun Pipeline Integrasi Data antara Database, Aplikasi, dan Sistem Eksternal.
Sesi 5 10.15–12.00
Topik: Real-Time Data Processing with Kafka Streams
- Pengenalan Kafka Streams API dan Arsitektur Stream Processing.
- Implementasi Data Transformation, Filtering, dan Mapping.
- Pengolahan Data Menggunakan Aggregation, Joins, dan Windowing.
- Implementasi Stateful Processing dan Event-Time Processing.
Sesi 6 15.15–15.45
Topik: End-to-End Kafka Implementation, Optimization & Monitoring
- Membangun Arsitektur Data Streaming Terintegrasi secara End-to-End.
- Implementasi Monitoring, Logging, dan Performance Tuning Kafka.
- Penerapan Fault Tolerance, Security, dan Reliability pada Kafka Cluster.
- Final Project: Membangun Solusi Data Real-Time melalui Integrasi Producer, Consumer, Kafka Connect, dan Kafka Streams.
Metode Pelatihan :
- Presentation & Knowledge Sharing: Penyampaian konsep dan teori mengenai Apache Kafka, data engineering, serta arsitektur real-time data streaming.
- Interactive Discussion: Diskusi interaktif mengenai penerapan Kafka dan tantangan pengelolaan data dalam lingkungan perusahaan.
- Technical Demonstration: Demonstrasi langsung instalasi, konfigurasi, integrasi, dan implementasi komponen Apache Kafka.
- Hands-On Lab: Praktik langsung membangun Producer, Consumer, Kafka Connect, serta Kafka Streams.
- Case Study & Project-Based Learning: Penyelesaian studi kasus melalui proyek pembangunan sistem data streaming terintegrasi dari awal hingga tahap monitoring.
Target Pelatihan :
- Data Engineer yang ingin meningkatkan kompetensi dalam pengembangan sistem data streaming.
- Backend Developer dan Software Engineer yang ingin mengintegrasikan Apache Kafka ke dalam aplikasi.
- Data Architect dan System Architect yang terlibat dalam perancangan infrastruktur data terdistribusi.
- Database Administrator dan IT Infrastructure Engineer yang ingin memahami pengelolaan sistem streaming.
- IT Professional, Technical Lead, dan praktisi teknologi informasi yang ingin mengembangkan solusi pemrosesan data real-time.
Hasil Pelatihan :
Setelah mengikuti pelatihan, peserta diharapkan menghasilkan:
- Memahami konsep dan prinsip kerja data engineering, real-time data processing, serta distributed event streaming menggunakan Apache Kafka.
- Menguasai arsitektur dan komponen Apache Kafka serta mampu melakukan instalasi, konfigurasi, dan pengelolaan Kafka Cluster.
- Mengembangkan aplikasi berbasis Kafka Producer dan Consumer untuk mendukung pertukaran data secara real-time.
- Mengimplementasikan integrasi, transformasi, dan pemrosesan data menggunakan Kafka Connect, Schema Registry, dan Kafka Streams.
| Investasi dan fasilitas Metode Pelaksanaan | Harga & Fasilitas |
| Opsi 1 – Pelatihan Online | Training Online Rp. 5.500.000 per peserta.
Minimal kuota 2 peserta dan bisa request tanggal. • Pelaksanaan training selama 2 hari half day (08.00 – 12.00 WIB atau 13.15 – 16.00 WIB) Menggunakan aplikasi Zoom/Google Meet. • Sudah Termasuk : Sertifikat Training Softfile & Hardfile, Pengiriman Sertifikat ke A alamat Peserta, Soft File Materi. • Belum termasuk : PPN 11%.
|
| Opsi 2 –
Pelatihan Offline di Yogyakarta |
Training Offline Rp.7.900.000 per peserta.
• Minimal kuota 3 peserta dan bisa request tanggal. • Pelaksanaan training selama 2 hari full day (08.00 – 16.00 WIB). • Tempat pelaksanaan : • ✓ Hotel El Royale, Yogyakarta ATAU • ✓Hotel Malyabhara, Malioboro,Yogyakarta • Sudah termasuk : Meeting Room, Modul Training, Sertifikat Training, Training Kits, Lunch, Coffee Break, dan Souvenir. • Belum termasuk : Penginapan & Transportasi Peserta Pelatihan, dan PPN 11%.
|
Instruktur
Tim Oemah Training