Data lake sering dimulai dengan berkas Parquet yang ditambahkan ke penyimpanan objek. Pola itu cukup untuk data yang selalu baru, tetapi m...

Data lake sering dimulai dengan berkas Parquet yang ditambahkan ke penyimpanan objek. Pola itu cukup untuk data yang selalu baru, tetapi menjadi lebih rumit ketika transaksi lama dikoreksi, status pesanan berubah, atau analis perlu melihat keadaan tabel pada waktu sebelumnya. Menulis ulang seluruh dataset untuk setiap koreksi tidak selalu praktis. Apache Hudi menambahkan pengelolaan tabel dan timeline transaksi di atas penyimpanan tersebut.
Artikel ini merancang lab kecil menggunakan Spark, Hudi Copy-on-Write (COW), dan MinIO yang berjalan di Docker. Fokusnya adalah upsert incremental, pembersihan versi lama, dan pembacaan historis, bukan pengukuran performa. Contoh lab ini belum dieksekusi atau diverifikasi pada lingkungan penulisan ini: PySpark dan dependensi analitiknya tidak tersedia. Sesuaikan versi, jaringan, kredensial, dan konfigurasi sebelum menjalankannya di mesin uji.
1. Arsitektur tabel: siapa mengerjakan apa?
Spark menjalankan transformasi dan operasi baca-tulis; Hudi mengatur format tabel, indeks, serta timeline commit; MinIO menyediakan API kompatibel S3 untuk menyimpan objek. Pada lab Docker, ketiganya berkomunikasi melalui jaringan yang sama: alamat layanan MinIO yang digunakan Spark harus dapat di-resolve dari container Spark, bukan sekadar dari browser di host. Bucket perlu dibuat terlebih dahulu melalui konsol atau klien MinIO.
Copy-on-Write dan file group
Pada COW, perubahan terhadap record menghasilkan versi baru berkas data dasar yang terdampak saat commit. Hudi mengelompokkan file ke dalam file group; setiap versi file group merupakan file slice yang terkait dengan suatu titik pada timeline. Ini memungkinkan pembaca snapshot mengakses versi terbaru yang telah selesai, sementara versi sebelumnya dapat dipakai untuk pembacaan historis selama belum dibersihkan. Direktori metadata .hoodie menyimpan informasi tabel dan timeline; jangan menghapus atau mengeditnya secara manual.
COW berbeda dari Merge-on-Read (MOR). MOR dapat menulis perubahan ke log dan kemudian menggabungkannya melalui compaction. Dengan COW, pembaruan ditulis ke file dasar baru sehingga tidak ada log MOR yang perlu di-compact dengan cara tersebut. Penulisan yang sering dapat memperbesar biaya rewrite, terutama jika perubahan tersebar ke banyak file. Lihat dokumentasi jenis tabel Hudi untuk karakteristik masing-masing.
Identitas dan urutan pembaruan
Contoh ini memakai id sebagai record key, tanggal sebagai partition path, dan updated_at sebagai field pengurutan untuk menyelesaikan duplikasi menurut konfigurasi write yang digunakan. Nilai tanggal harus stabil bagi sebuah record dalam contoh ini; memindahkan record antarpartisi memerlukan pilihan indeks dan strategi yang sesuai. Key yang kosong, jam sumber yang tidak konsisten, serta event terlambat dapat mengubah hasil penggabungan. Jangan menyamakan urutan kedatangan dengan urutan bisnis tanpa memeriksa kebijakan merge versi Hudi yang dipakai.
2. Menyiapkan lab Docker secara bertanggung jawab
Siapkan container MinIO dan lingkungan Spark yang memiliki dukungan Hudi serta Hadoop S3A. Gunakan versi Spark, Scala, Java, paket Hudi, Hadoop, dan AWS SDK yang kompatibel satu sama lain; periksa dokumentasi distribusi dan versi yang benar-benar dipasang. Contoh berikut menetapkan target Spark 3.5 dan Scala 2.12 dengan Hudi 1.0.2 sebagai titik awal, bukan jaminan kompatibilitas untuk semua image. Artefak Hadoop AWS dan AWS SDK harus cocok dengan versi Hadoop pada image Spark; konflik JAR bisa menyebabkan error sebelum kode Hudi dijalankan.
Misalkan layanan MinIO bernama minio pada jaringan Docker dan bucket bernama lake sudah tersedia. Jalankan Spark dari container yang memiliki Python dan konektivitas ke layanan tersebut. Perintah berikut adalah kerangka interaktif; masukkan kredensial melalui lingkungan container secara aman, bukan menuliskannya pada command line atau source control.
export AWS_ACCESS_KEY_ID='ISI_DARI_SECRET_LAB'
export AWS_SECRET_ACCESS_KEY='ISI_DARI_SECRET_LAB'
pyspark --packages org.apache.hudi:hudi-spark3.5-bundle_2.12:1.0.2 \
--conf spark.serializer=org.apache.spark.serializer.KryoSerializer \
--conf spark.sql.extensions=org.apache.spark.sql.hudi.HoodieSparkSessionExtension \
--conf spark.sql.catalog.spark_catalog=org.apache.spark.sql.hudi.catalog.HoodieCatalog
Pastikan image juga menyediakan implementasi org.apache.hadoop.fs.s3a.S3AFileSystem beserta dependensinya. Resolusi paket memerlukan akses ke repository artefak, kecuali paket sudah disediakan secara lokal. Variabel akses di atas hanyalah placeholder dan harus diganti melalui mekanisme secret lab; endpoint internal minio:9000 adalah contoh, bukan alamat universal. Penyimpanan pada volume Docker membantu mempertahankan data ketika container dibuat ulang, tetapi bukan pengganti backup.
3. Menulis batch awal dan upsert incremental
Konfigurasi S3A dan tabel
Di sesi PySpark, konfigurasi berikut mengarahkan S3A ke MinIO menggunakan path-style access. Kredensial dibaca dari environment oleh provider S3A yang sesuai dengan versi Hadoop; apabila image memakai rantai provider berbeda, konfigurasikan provider tersebut sesuai dokumentasi image. Kode ini memakai waktu berupa string ISO yang urutan leksikografisnya konsisten dalam contoh; data nyata sebaiknya memiliki tipe dan zona waktu yang jelas.
hconf = spark.sparkContext._jsc.hadoopConfiguration()
hconf.set("fs.s3a.endpoint", "http://minio:9000")
hconf.set("fs.s3a.path.style.access", "true")
hconf.set("fs.s3a.connection.ssl.enabled", "false")
hconf.set("fs.s3a.aws.credentials.provider",
"com.amazonaws.auth.EnvironmentVariableCredentialsProvider")
path = "s3a://lake/hudi/pesanan"
opts = {
"hoodie.table.name": "pesanan",
"hoodie.datasource.write.table.type": "COPY_ON_WRITE",
"hoodie.datasource.write.recordkey.field": "id",
"hoodie.datasource.write.partitionpath.field": "tanggal",
"hoodie.datasource.write.precombine.field": "updated_at",
"hoodie.datasource.write.operation": "upsert"
}
Pada distribusi Hadoop yang menggunakan AWS SDK generasi berbeda, nama kelas provider tersebut mungkin tidak tersedia. Periksa versi Hadoop dan AWS SDK aktual, lalu gunakan provider yang didukung. Ini bukan alasan untuk menempelkan access key ke dalam file HTML. Simpan schema, tipe kolom, nama tabel, key, dan strategi partisi secara konsisten pada setiap penulisan.
Dua batch, satu identitas record
Batch pertama membuat tabel; batch kedua mengubah satu record dan menambahkan satu record baru. Gunakan append untuk upsert berikutnya, bukan overwrite yang dapat mengganti tabel. Nilai updated_at pada koreksi dibuat lebih baru agar kebijakan pengurutan contoh dapat membedakannya dari nilai awal.
kolom = ["id", "tanggal", "status", "updated_at"]
awal = spark.createDataFrame([
("p001", "2026-11-14", "baru", "2026-11-14T08:00:00Z"),
("p002", "2026-11-14", "baru", "2026-11-14T08:05:00Z")
], kolom)
awal.write.format("hudi").options(**opts).mode("append").save(path)
koreksi = spark.createDataFrame([
("p001", "2026-11-14", "dibayar", "2026-11-14T09:00:00Z"),
("p003", "2026-11-14", "baru", "2026-11-14T09:05:00Z")
], kolom)
koreksi.write.format("hudi").options(**opts).mode("append").save(path)
spark.read.format("hudi").load(path).select(
"id", "tanggal", "status", "updated_at", "_hoodie_commit_time"
).orderBy("id").show(truncate=False)
Secara konseptual, snapshot setelah kedua commit selesai seharusnya menunjukkan status terbaru untuk p001, mempertahankan p002, dan menyertakan p003. Itu adalah hasil yang perlu Anda verifikasi, bukan output yang telah diamati di sini. Jika terjadi kegagalan, periksa log Spark, akses bucket, dependensi S3A, timeline, dan konsistensi schema sebelum mencoba menulis ulang. Rincian opsi tersedia di panduan penulisan Hudi.
4. Snapshot, incremental, dan time travel
Snapshot adalah keadaan tabel terbaru yang telah berhasil di-commit. Pembacaan incremental berbeda: ia memilih perubahan berdasarkan rentang commit, sehingga cocok sebagai dasar pemrosesan lanjutan yang menyimpan checkpoint. Ia bukan pengganti otomatis untuk seluruh tabel, dan konsumen tetap perlu merancang idempotensi, penanganan retry, penghapusan, serta semantik perubahan sesuai versi Hudi. Commit time adalah identitas timeline Hudi; jangan mengasumsikannya sama dengan waktu bisnis pada kolom updated_at.
Membaca keadaan sebelum koreksi
Untuk time travel, catat instant commit pertama yang benar-benar tercipta pada timeline, sebelum menjalankan batch koreksi. Salah satu cara di lab adalah membaca nilai metadata _hoodie_commit_time pada snapshot setelah batch pertama; untuk audit operasional, periksa juga timeline melalui alat Hudi yang sesuai. Ganti placeholder berikut dengan instant tersebut, tanpa mengarang nilainya. Contoh incremental juga membutuhkan dua instant yang diperoleh dari commit aktual.
# Isi dari timeline lab sendiri; contoh bukan instant yang valid.
commit_awal = "ISI_INSTANT_COMMIT_PERTAMA"
commit_akhir = "ISI_INSTANT_COMMIT_KEDUA"
historis = (spark.read.format("hudi")
.option("as.of.instant", commit_awal)
.load(path))
historis.select("id", "status", "_hoodie_commit_time").show(truncate=False)
perubahan = (spark.read.format("hudi")
.option("hoodie.datasource.query.type", "incremental")
.option("hoodie.datasource.read.begin.instanttime", commit_awal)
.option("hoodie.datasource.read.end.instanttime", commit_akhir)
.load(path))
perubahan.select("id", "status", "_hoodie_commit_time").show(truncate=False)
Rentang incremental tersebut dimaksudkan untuk commit setelah batas awal hingga batas akhir; periksa semantik rentang dan dukungan versi saat memvalidasi implementasi. Cobalah bandingkan historis dengan snapshot terbaru, termasuk record yang belum ada pada commit awal. Pembacaan historis hanya dapat berhasil selama file yang diperlukan masih tersedia. Retensi cleaner, penghapusan objek di luar Hudi, dan kebijakan lifecycle bucket dapat membuat instant lama tidak lagi dapat dibaca.
5. Compaction, cleaning, dan retensi
Jangan menjadwalkan compaction MOR untuk COW
Pada desain COW ini tidak ada siklus compaction log MOR yang harus dijalankan: upsert sudah menghasilkan file dasar baru untuk bagian yang terdampak. Mengaktifkan atau menjadwalkan compaction MOR seolah-olah dibutuhkan untuk tabel ini bukan langkah operasional yang tepat. Jika kebutuhan berubah ke MOR, evaluasi ulang strategi baca, penjadwalan compaction, resource, dan latensi pembacaan; perubahan jenis tabel bukan sekadar mengganti satu opsi pada tabel produksi yang sudah ada.
Cleaning berbeda dari compaction. Cleaner menghapus versi file lama sesuai kebijakan retensi agar penyimpanan tidak tumbuh tanpa batas. Hudi dapat menjalankan cleaning otomatis setelah commit sesuai konfigurasi dan versi; parameter seperti hoodie.clean.automatic dan hoodie.cleaner.commits.retained perlu ditinjau pada dokumentasi versi yang dipakai. Retensi berdasarkan jumlah commit bukan jaminan durasi waktu tertentu: batch yang lebih sering dapat memperpendek jendela historis.
Di lab, tentukan kebutuhan pembaca historis dan incremental terlebih dahulu, lalu uji kebijakan cleaning dengan data yang boleh hilang. Catat commit awal, jalankan beberapa perubahan, periksa file dan timeline, kemudian coba baca ulang instant lama setelah cleaner berjalan. Jangan melakukan penghapusan manual terhadap objek tabel untuk meniru cleaner. Backup independen tetap diperlukan karena time travel dan cleaning bukan mekanisme disaster recovery.
6. Batas lab kecil dan langkah validasi
Docker memudahkan eksperimen terisolasi, tetapi satu host, satu bucket MinIO, dan sedikit record tidak mewakili sistem terdistribusi produksi. Lab ini belum menguji throughput, konsumsi memori, pemulihan saat node atau storage gagal, konkurensi banyak writer, schema evolution, maupun perilaku saat data terlambat dan berpindah partisi. Tidak ada angka benchmark atau klaim kompresi yang dapat ditarik dari contoh ini. Ukuran file kecil juga dapat mendistorsi penilaian biaya rewrite COW.
Sebelum menerapkan pola ini, verifikasi kompatibilitas versi dan dependensi, akses S3A dari setiap executor, kebijakan key dan merge, isolasi jaringan, TLS, hak akses, serta backup dan pemulihannya. Uji ulang pembacaan snapshot, incremental, dan historis pada dataset representatif; amati log serta timeline ketika commit gagal. Untuk sistem dengan beberapa writer atau layanan tabel, pelajari mekanisme koordinasi dan penguncian yang sesuai dengan penyimpanan serta versi Hudi Anda.
Intinya, COW memberi model yang mudah dipahami untuk tabel yang perlu diperbarui dan dibaca sebagai snapshot, sedangkan timeline membuka kemungkinan pemrosesan incremental dan historis dengan batas retensi yang jelas. Gunakan gambaran umum resmi Apache Hudi sebagai titik awal, kemudian ukur dan validasi sendiri sebelum menjadikan lab ini fondasi produksi.
COMMENTS