Pipeline data tidak selalu membutuhkan klaster besar, layanan cloud, atau orkestrator yang kompleks. Untuk eksplorasi, pelaporan internal b...
Pipeline data tidak selalu membutuhkan klaster besar, layanan cloud, atau orkestrator yang kompleks. Untuk eksplorasi, pelaporan internal berskala wajar, dan prototipe, sebuah laptop dapat menjalankan alur yang jelas: membaca sumber lokal, memeriksa kualitasnya, mentransformasi data dengan SQL, lalu menyimpan hasil dalam format kolumnar. DuckDB dan Parquet merupakan kombinasi yang menarik untuk kebutuhan tersebut.
Namun, “lokal” tidak otomatis berarti aman atau reproducible. Berkas sumber dapat berubah tanpa pemberitahuan, versi perangkat lunak dapat berbeda, dan keluaran lama dapat tertukar dengan hasil yang baru. Artikel ini menunjukkan rancangan lab lokal sederhana, lengkap dengan pemeriksaan dan batasannya. Contohnya bersifat edukatif: sesuaikan lokasi penyimpanan, kebijakan akses, dan aturan kualitas dengan kondisi organisasi Anda.
Mengapa DuckDB dan Parquet?
DuckDB adalah mesin analitik yang dapat berjalan di dalam proses aplikasi. Kita dapat menggunakannya melalui Python dan menjalankan SQL tanpa menyiapkan server database terpisah. Parquet adalah format penyimpanan kolumnar yang cocok untuk banyak pekerjaan analitik karena data diatur per kolom dan mendukung kompresi. DuckDB dapat membaca dan menulis Parquet, sehingga tahap transformasi dan penyimpanan dapat dihubungkan dengan relatif sederhana.
Keuntungan utamanya dalam lab ini adalah sedikitnya komponen operasional, bukan jaminan bahwa setiap beban kerja akan lebih cepat. Performa bergantung pada bentuk data, media penyimpanan, memori, jenis kueri, dan pengaturan. Jangan menggeneralisasi hasil uji mesin lain untuk sistem produksi Anda. Dokumentasi resmi DuckDB dan Apache Parquet menyediakan penjelasan fitur dan detail format yang perlu diperiksa ketika versi berubah.
Menentukan batas contoh
Kita akan mengolah berkas transaksi sintetis yang berada di komputer lokal. Hasilnya adalah ringkasan penjualan per tanggal dan wilayah, bukan sistem pembayaran atau laporan keuangan resmi. Setiap baris sumber memiliki tanggal, wilayah, dan nilai penjualan. Contoh ini sengaja tidak memuat nama pelanggan, alamat, token, maupun data pribadi. Input nyata membutuhkan penilaian risiko tambahan sebelum dipindahkan ke laptop.
Menyiapkan ruang kerja yang terisolasi
Buat direktori khusus dan lingkungan Python terpisah. Perintah berikut mengasumsikan Python dan pip sudah tersedia. Nomor versi DuckDB dipasang secara eksplisit sebagai contoh; periksa kesesuaian versi dengan lingkungan Anda sebelum menjadikannya standar tim. Berkas sumber disimpan terpisah dari keluaran agar proses dapat diulang tanpa menimpa input.
mkdir -p lab-duckdb/{input,output}
cd lab-duckdb
python3 -m venv .venv
. .venv/bin/activate
python -m pip install 'duckdb==1.1.3'
python -m pip freeze > requirements-lock.txt
cat > input/transaksi.csv <<'CSV'
tanggal,wilayah,nilai
2026-11-01,Timur,120000
2026-11-01,Barat,80000
2026-11-02,Timur,50000
CSVBerkas requirements-lock.txt merekam paket yang terpasang di lingkungan ini. Untuk percobaan ulang, gunakan versi Python yang sama dan pasang dependensi dari berkas tersebut pada lingkungan baru. Catatan versi saja belum menjamin identitas byte paket atau kesetaraan seluruh sistem operasi; lingkungan yang lebih ketat dapat menggunakan penguncian dengan hash dan repositori paket tepercaya.
Menata akses dan sumber
Batasi izin direktori sesuai pengguna sistem dan kebijakan organisasi. Jangan menyimpan file kredensial di dalam direktori input atau memasukkannya ke repositori. Jika menggunakan data sensitif, pertimbangkan enkripsi penyimpanan, pengendalian akses, retensi, serta prosedur penghapusan. Memindahkan data produksi ke perangkat pribadi tanpa izin bukan bagian dari lab ini.
Menyusun pipeline dari CSV ke Parquet
Simpan skrip berikut sebagai pipeline.py di direktori lab. Skrip membaca CSV dengan tipe eksplisit, menolak baris yang melanggar aturan contoh, lalu menulis agregat ke berkas sementara sebelum mengganti keluaran akhir. Konversi tanggal dan angka yang gagal juga menghentikan proses, bukan diam-diam mengubah hasil. Jalankan dari direktori lab karena jalur relatif merujuk ke direktori kerja saat ini.
from pathlib import Path
import duckdb
source = Path('input/transaksi.csv')
target = Path('output/ringkasan.parquet')
tmp = target.with_suffix('.parquet.tmp')
target.parent.mkdir(parents=True, exist_ok=True)
if not source.is_file():
raise FileNotFoundError(source)
con = duckdb.connect()
try:
con.execute("""
CREATE TEMP TABLE transaksi AS
SELECT CAST(tanggal AS DATE) AS tanggal,
trim(wilayah) AS wilayah,
CAST(nilai AS BIGINT) AS nilai
FROM read_csv('input/transaksi.csv',
columns={'tanggal': 'VARCHAR',
'wilayah': 'VARCHAR', 'nilai': 'VARCHAR'},
header=true)
""")
invalid = con.execute("""
SELECT count(*) FROM transaksi
WHERE tanggal IS NULL OR wilayah IS NULL
OR wilayah = '' OR nilai IS NULL OR nilai < 0
""").fetchone()[0]
if invalid:
raise ValueError(f'{invalid} baris tidak valid')
con.execute("""
COPY (
SELECT tanggal, wilayah, sum(nilai) AS total_nilai,
count(*) AS jumlah_transaksi
FROM transaksi GROUP BY tanggal, wilayah
ORDER BY tanggal, wilayah
) TO 'output/ringkasan.parquet.tmp' (FORMAT PARQUET)
""")
tmp.replace(target)
finally:
con.close()
tmp.unlink(missing_ok=True)Mengapa validasi dilakukan sebelum menulis?
Tipe eksplisit mengurangi ketergantungan pada inferensi skema, yang dapat berubah ketika isi contoh berbeda. Aturan nilai nonnegatif dan wilayah tidak kosong hanya ilustrasi: transaksi pengembalian atau wilayah yang memang tidak diketahui mungkin membutuhkan aturan lain. Input kosong juga dapat menghasilkan keluaran kosong; tambahkan ambang jumlah baris atau aturan rekonsiliasi bila bisnis membutuhkannya.
Penggantian berkas sementara menjaga keluaran sebelumnya ketika validasi atau penulisan gagal sebelum tahap penggantian. Tetapi ini bukan mekanisme transaksi lengkap untuk banyak berkas, bukan perlindungan dari dua proses yang berjalan bersamaan, dan bukan jaminan ketahanan terhadap semua kegagalan perangkat. Gunakan direktori output per eksekusi atau penguncian yang sesuai jika ada kemungkinan pekerjaan paralel.
Menjalankan dan memeriksa hasil
Jalankan skrip, kemudian baca kembali keluaran menggunakan proses Python terpisah. Pemeriksaan ini memastikan berkas dapat dibaca dan menampilkan isi agregat; dengan input contoh, total nilai seluruh transaksi adalah 250000. Nilai itu berasal dari tiga baris sintetis di atas, bukan hasil benchmark.
python pipeline.py
python - <<'PY'
import duckdb
con = duckdb.connect()
rows = con.execute("""
SELECT tanggal, wilayah, total_nilai, jumlah_transaksi
FROM read_parquet('output/ringkasan.parquet')
ORDER BY tanggal, wilayah
""").fetchall()
for row in rows:
print(row)
print('Total nilai:', sum(row[2] for row in rows))
print('Total transaksi:', sum(row[3] for row in rows))
con.close()
PYBedakan pemeriksaan contoh dan jaminan kualitas
Melihat baris dan menjumlahkannya adalah pemeriksaan awal, bukan pengujian menyeluruh. Untuk pemakaian rutin, tambahkan pengujian otomatis untuk input kosong, nilai negatif, tanggal tidak valid, kolom hilang, duplikasi, dan volume besar. Putuskan juga apakah duplikasi benar-benar kesalahan: dua transaksi sah dapat memiliki tanggal, wilayah, dan nilai yang sama. Identitas transaksi atau aturan sumber diperlukan sebelum melakukan deduplikasi.
Periksa jumlah baris dan total dari sumber terhadap hasil menurut aturan yang disepakati. Jika ada baris yang ditolak, simpan hanya informasi diagnostik yang diperlukan dan hindari mencetak isi sensitif ke log. Kegagalan validasi sebaiknya menghentikan alur dengan pesan jelas agar hasil lama tidak disalahartikan sebagai keluaran terbaru.
Membuat eksekusi dapat ditelusuri dan diulang
Reproducibility memerlukan lebih dari menyimpan skrip. Catat versi Python dan DuckDB, isi konfigurasi nonrahasia, versi kode, waktu eksekusi, serta identitas berkas input dan output. Hash membantu mendeteksi perubahan byte, meskipun tidak membuktikan asal data atau menjamin bahwa isinya benar. Simpan catatan ini bersama hasil di lokasi yang memiliki kontrol akses setara.
python --version
python -c "import duckdb; print('DuckDB', duckdb.__version__)"
sha256sum input/transaksi.csv output/ringkasan.parquet
python -m pip freezeUntuk mengulang eksperimen, buat lingkungan bersih dengan versi Python yang dicatat, pasang dependensi yang sama, kembalikan input yang hash-nya sesuai, lalu jalankan skrip yang sama. Bandingkan isi dan skema keluaran selain hash. Identitas byte Parquet dapat berbeda akibat versi penulis atau metadata meskipun nilai logisnya setara, sehingga definisikan kriteria kesetaraan sebelum membandingkan.
Jika input dapat berubah selama pembacaan, hash sebelum atau sesudah eksekusi saja tidak memastikan apa yang dibaca mesin. Gunakan salinan input yang tidak berubah selama proses, misalnya snapshot yang dikelola sesuai kebijakan penyimpanan. Untuk audit lebih kuat, gunakan manifest input, versi kode, dan identitas eksekusi; jangan mengandalkan nama berkas seperti final.csv sebagai bukti versi.
Jangan lupa mencatat konteks perubahan aturan. Jika definisi wilayah berubah atau nilai transaksi mulai menyertakan pajak, dua keluaran dari tanggal berbeda mungkin tidak dapat dibandingkan begitu saja. Beri versi pada definisi transformasi dan simpan penjelasan singkat mengenai perubahan yang memengaruhi interpretasi angka. Bila diperlukan, buat ulang keluaran historis dengan input yang sama dan aturan baru sebagai pekerjaan terpisah, bukan menimpa bukti lama tanpa catatan.
Saat berbagi hasil, sertakan metadata yang membantu pembaca memahami cakupan: periode data, sumber yang diizinkan untuk disebut, waktu pemrosesan, satuan, dan pemeriksaan kualitas yang telah dijalankan. Hindari mencantumkan informasi pribadi pada nama berkas, pesan kesalahan, atau manifest. Apabila laporan akan dipakai untuk keputusan penting, tinjau pula kesesuaian definisi dengan pemilik data dan lakukan rekonsiliasi yang relevan. Langkah sederhana ini membantu membedakan hasil eksperimen dari laporan yang sudah disetujui untuk penggunaan operasional.
Dari lab ke penggunaan tim
Untuk kolaborasi, dokumentasikan kontrak skema: nama dan tipe kolom, satuan nilai, zona waktu bila ada timestamp, aturan null, dan definisi agregasi. Pisahkan kode, input, output, serta konfigurasi. Data mentah biasanya tidak perlu dikomit ke repositori kode; gunakan lokasi yang disetujui dan mekanisme akses yang sesuai. Contoh sintetis kecil dapat disimpan bersama tes bila kebijakan mengizinkan.
Ketika data bertambah, pertimbangkan partisi Parquet berdasarkan pola kueri yang nyata, bukan berdasarkan asumsi. Terlalu banyak partisi kecil dapat menambah beban pengelolaan berkas. Ukur waktu, penggunaan memori, dan ukuran penyimpanan pada data perwakilan dengan prosedur yang terdokumentasi. Batas memori, kapasitas disk, serta kegagalan saat ruang habis juga perlu diuji sebelum pipeline digunakan secara terjadwal.
Hal yang belum diuji dalam contoh
Contoh ini merupakan rancangan lab dan tidak menyatakan telah diuji pada sistem Anda. Belum ada pengukuran performa, pengujian data produksi, kompatibilitas lintas platform, pemulihan setelah listrik mati, akses bersamaan, maupun audit keamanan. Tidak ada mekanisme penjadwalan, retry, pemantauan, atau pengelolaan rahasia yang disediakan. Sebelum operasional, uji kebutuhan tersebut secara terpisah dan tetapkan siapa yang bertanggung jawab ketika pekerjaan gagal.
DuckDB dan Parquet dapat menjadi fondasi yang praktis untuk pipeline lokal: sumber dipisahkan dari keluaran, transformasi ditulis sebagai SQL, kualitas diperiksa sebelum penulisan, dan identitas data dicatat. Nilai utamanya bukan sekadar menjalankan kueri di laptop, melainkan membuat proses yang dapat dijelaskan, diperiksa, dan diulang dengan batas keamanan yang jelas.
COMMENTS