$type=ticker$cols=4

$type=slider$meta=0$snip=0$rm=0

pandas 3.1 untuk Pipeline Data: inplace, select, dan read_csv Paralel

Pembaruan mayor pandas bukan sekadar menambah fungsi baru. Sejak rilis 3.0 pada Januari 2026 dan dilanjutkan 3.1 pada Oktober 2026, beberap...

Meja kerja data engineer dengan laptop menampilkan terminal Python dan lembar data cetak, diterangi cahaya jendela alami

Pembaruan mayor pandas bukan sekadar menambah fungsi baru. Sejak rilis 3.0 pada Januari 2026 dan dilanjutkan 3.1 pada Oktober 2026, beberapa perilaku dasar berubah: string punya dtype sendiri, penyalinan data mengikuti aturan copy-on-write, dan argumen inplace mulai ditinggalkan. Pipeline yang selama ini berjalan tanpa peringatan bisa menghasilkan hasil berbeda, atau justru diam-diam tidak mengubah apa pun.

Artikel ini membahas perubahan yang paling sering mematahkan skrip data engineering, lalu menunjukkan cara memeriksanya dengan pengujian kecil. Contoh dijalankan pada pandas 3.1.1 (rilis 4 November 2026) di lingkungan virtual terisolasi; keluaran nyata dicantumkan agar Anda bisa membandingkan dengan hasil di mesin sendiri. Artikel tidak menjanjikan percepatan tertentu, karena performa bergantung pada ukuran data, penyimpanan, dan jumlah core.

Perubahan yang paling sering mematahkan pipeline

Tiga perubahan di pandas 3.0 adalah akar sebagian besar masalah migrasi. Pertama, dtype string khusus kini dipakai secara default untuk data teks. Kedua, copy-on-write (CoW) menjadi perilaku standar, sehingga hasil indexing selalu berperilaku seperti salinan. Ketiga, resolusi datetime numerik tidak lagi selalu nanodetik. Perubahan ini terdokumentasi pada release notes pandas 3.0.0.

Dtype string default mengubah pemeriksaan tipe

Dulu kolom teks tersimpan sebagai object. Mulai 3.0, pandas menyimpulkan dtype str, yang hanya boleh berisi string atau nilai hilang. Konsekuensinya, kode yang memeriksa df[kolom].dtype == "object" untuk mendeteksi kolom teks tidak lagi cocok. Penyimpanan nilai non-string ke kolom tersebut juga langsung gagal, bukan disimpan sebagai objek bebas.

import pandas as pd

seri = pd.Series(["Baubau", "Kendari", None])
print(seri.dtype)              # str
print(seri.dtype == "object")  # False

# Backend penyimpanan bergantung paket terpasang
print(type(seri.array).__name__)  # StringArray bila pyarrow tidak ada

try:
    seri.iloc[0] = 42
except TypeError as galat:
    print("ditolak:", str(galat)[:60])

Pada uji kami tanpa pyarrow, dtype tampil str, pemeriksaan == "object" menghasilkan False, dan penugasan angka ditolak dengan TypeError. Bila pyarrow terpasang, backend string memakai Arrow; perilaku API tetap sama, tetapi detail penyimpanan dan kinerja dapat berbeda. Karena itu, perbaiki pemeriksaan tipe dengan pd.api.types.is_string_dtype() atau bandingkan dengan "str", bukan dengan object.

Copy-on-write menghentikan assignment berantai

Dengan CoW, setiap subset dianggap salinan: memodifikasi hasil filter tidak mengubah DataFrame asal. Pola df[df.nilai > 10]["status"] = "tinggi" tidak lagi berfungsi, dan SettingWithCopyWarning sudah dihapus karena ambiguitas view dan copy tidak lagi ada. Perbaikan yang benar adalah menulis ke objek secara eksplisit, misalnya df.loc[mask, "status"] = ... atau menyalin lebih dulu bila memang ingin bekerja pada subset terpisah.

import pandas as pd

df = pd.DataFrame({"nilai": [5, 15, 25], "status": ["rendah"] * 3})
subset = df[df["nilai"] > 10]
subset["status"] = "tinggi"      # hanya mengubah subset

mask = df["nilai"] > 10
df.loc[mask, "status"] = "tinggi"  # mengubah df asal

print(df["status"].tolist())     # ['rendah', 'tinggi', 'tinggi']

Uji kami menunjukkan tidak ada peringatan sama sekali saat subset dimodifikasi, dan DataFrame asal tetap ['rendah', 'rendah', 'rendah'] sampai .loc dipakai. Inilah jenis perubahan yang paling berbahaya: kode lama tetap berjalan tanpa error, tetapi hasilnya tidak lagi seperti yang diharapkan. Cari pola assignment berantai di pipeline Anda sebelum menaikkan versi.

Menyiapkan lingkungan uji yang dapat diulang

Jangan menguji migrasi langsung di lingkungan produksi. Buat virtual environment terpisah, lalu pasang versi yang spesifik. pandas 3.0 mensyaratkan Python 3.11 atau lebih baru dan NumPy 1.26 atau lebih baru; pandas 3.1 menaikkan batas NumPy menjadi 2.0.2, atau 2.3.3 bila memakai Python 3.14. Batas ini dapat diperiksa dari metadata paket yang terpasang.

python3 -m venv ~/venv-pandas31
. ~/venv-pandas31/bin/activate
python -m pip install --upgrade pip
python -m pip install "pandas==3.1.1" "numpy>=2.3.3"
# opsional, untuk backend string berbasis Arrow:
# python -m pip install pyarrow

python -c "import pandas, numpy; print(pandas.__version__, numpy.__version__)"

Perintah di atas dijalankan di direktori baru tanpa menyentuh sistem produksi. Catat versi Python, pandas, NumPy, dan pyarrow di lingkungan tersebut, karena perbedaan backend string dapat mengubah hasil pengukuran memori. Untuk pipeline bersama, kunci versi di berkas dependensi agar pembaruan tidak masuk tanpa persetujuan.

Mengganti pola inplace yang kini memicu peringatan

pandas 3.1 menandai argumen inplace sebagai deprecated pada metode yang sebenarnya tidak bekerja di tempat, mengikuti PDEP-8. Setiap pemanggilan menghasilkan Pandas4Warning dan API ini akan dihapus pada pandas 4.0. Selama masa transisi, nilainya masih diterima, sehingga peringatan mudah terlewat di log yang ramai.

import warnings
import pandas as pd

tabel = pd.DataFrame({"a": [1, 2], "b": [3, 4]})

with warnings.catch_warnings(record=True) as catatan:
    warnings.simplefilter("always")
    tabel.drop(columns="b", inplace=True)
    print([type(w.message).__name__ for w in catatan])  # ['Pandas4Warning']

# Bentuk yang disarankan, pada DataFrame baru:
bersih = pd.DataFrame({"a": [1, 2], "b": [3, 4]})
bersih = bersih.drop(columns="b")
print(bersih.columns.tolist())  # ['a']

Pada uji kami, drop(..., inplace=True) tetap menghapus kolom tetapi memunculkan Pandas4Warning yang menyebut PDEP-8. Pola penggantinya sederhana: hapus argumen inplace dan tugaskan ulang hasilnya (df = df.drop(...), df = df.sort_values(...)). Karena CoW sudah membuat operasi ini murah, penugasan ulang tidak menambah salinan besar seperti pada pandas 2.x.

Perhatian: peringatan ini juga bisa berasal dari pustaka pihak ketiga, bukan kode Anda. Setelah menaikkan versi pandas, periksa log dengan filter Pandas4Warning dan laporkan ke pengelola pustaka terkait sebelum menganggap migrasi selesai.

API baru untuk transformasi kolom

pandas 3.1 menambahkan DataFrame.select() yang memilih sekaligus menghitung kolom dalam satu panggilan, memakai ekspresi pd.col() yang diperkenalkan pada 3.0. Argumen berikutnya boleh merujuk kolom yang baru dihitung pada panggilan yang sama, sehingga rantai assign() panjang bisa dipersingkat tanpa lambda.

import pandas as pd

orang = pd.DataFrame({"nama_depan": ["Ani", "Budi"], "usia": [30, 41]})
hasil = orang.select(
    "nama_depan",
    usia_bulan=pd.col("usia") * 12,
    usia_hari=pd.col("usia_bulan") * 30,
)
print(hasil)

Keluaran uji kami: Ani memperoleh 360 bulan dan 10.800 hari, Budi 492 bulan dan 14.760 hari. Perhatikan bahwa usia_bulan dapat langsung dipakai untuk menghitung usia_hari; ini perilaku yang sama dengan assign().

Filter dengan kondisi, bukan hanya label

Sebelumnya filter() hanya memilih baris atau kolom berdasarkan label. Sejak 3.1, parameter cond menerima boolean mask, callable, atau ekspresi pd.col(). Nilai hilang pada mask diperlakukan sebagai False kecuali Anda meminta sebaliknya dengan na=True.

import pandas as pd

t = pd.DataFrame({"kota": ["Baubau", "Kendari", "Bau-Bau"], "omzet": [120, 80, 95]})
print(t.filter(cond=pd.col("omzet") > 90))

mask = pd.array([True, None, False], dtype="boolean")
t2 = pd.DataFrame({"x": [1, 2, 3]})
print(len(t2.filter(cond=mask)))            # 1
print(len(t2.filter(cond=mask, na=True)))   # 2

Hasil uji sesuai dokumentasi: filter berbasis ekspresi mengembalikan dua baris dengan omzet di atas 90, sedangkan mask dengan satu nilai hilang menghasilkan satu baris secara default dan dua baris ketika na=True. Perhatikan juga perubahan kecil: daftar boolean yang dikirim secara posisional kini memunculkan peringatan karena dianggap ambigu; gunakan cond= untuk mask dan items= untuk label.

Membaca CSV besar secara paralel

Mesin pembaca CSV bawaan (engine C) ditulis ulang pada 3.1. Untuk berkas lokal tidak terkompresi berukuran minimal 5 MB, pandas membaca secara paralel memakai beberapa core. Jumlah thread diatur opsi mode.max_threads, default sejumlah CPU yang tersedia dengan batas 6. Opsi usecols, nrows, atau file handle membuat pembacaan kembali serial karena memerlukan pemrosesan utuh.

import time
import pandas as pd

def ukur(**opsi):
    mulai = time.perf_counter()
    data = pd.read_csv("transaksi.csv", **opsi)
    return time.perf_counter() - mulai, len(data)

with pd.option_context("mode.max_threads", 1):
    serial, n = ukur()

paralel, _ = ukur()
print(f"serial {serial:.3f} s | paralel {paralel:.3f} s | {n} baris")

Pada mesin uji kami (6 vCPU virtual, berkas 7,63 MB berisi 200.000 baris, penyimpanan lokal), tiga percobaan berurutan memberi waktu serial 0,042 sampai 0,057 detik dan pembacaan default 0,035 sampai 0,037 detik, atau sekitar 1,2 sampai 1,6 kali lebih cepat. Angka itu lebih kecil daripada klaim dua sampai tiga kali pada dokumentasi, dan itu wajar: berkas uji kecil serta sudah hangat di cache sistem operasi. Jangan memakai hasil ini sebagai patokan; ukur dengan berkas dan penyimpanan Anda sendiri. Untuk berkas puluhan hingga ratusan MB di disk sungguhan, selisih biasanya lebih terasa, tetapi tetap perlu dibuktikan di lingkungan target.

Perubahan kecil yang dapat mengubah hasil

Beberapa perubahan di 3.1 tidak memunculkan error, hanya hasil yang sedikit berbeda. Nilai numerik yang dikonversi menjadi datetime atau timedelta kini memakai resolusi mikrodetik, bukan nanodetik. Index.values juga bersifat read-only untuk semua dtype, sehingga kode yang menulis langsung ke array tersebut akan gagal. Selain itu, Timedelta.total_seconds() sekarang menyertakan komponen nanodetik yang sebelumnya hilang.

import pandas as pd

print(pd.to_timedelta([1, 2], unit="s").dtype)  # timedelta64[us]

indeks = pd.Index([1, 2, 3])
try:
    indeks.values[0] = 99
except ValueError as galat:
    print("read-only:", str(galat)[:50])

Uji kami mengonfirmasi dtype timedelta64[us] dan penolakan penulisan ke Index.values. Jika pipeline menyimpan hasil konversi waktu ke bilangan bulat, periksa satuan yang diasumsikan. Gunakan .as_unit() bila resolusi tertentu dibutuhkan, dan tuliskan satuan itu secara eksplisit di skema keluaran.

Prinsip praktis: migrasi versi bukan pekerjaan sekali jalan. Perlakukan seperti perubahan kontrak data: jalankan pipeline lama dan baru pada input yang sama, bandingkan jumlah baris, dtype, dan nilai agregat, lalu simpan hasil perbandingan sebagai bukti.

Checklist migrasi dan pengujian

Sebelum menaikkan pandas di lingkungan bersama, lakukan langkah berikut secara berurutan. Pertama, naikkan ke pandas 2.3 lebih dulu agar peringatan deprecasi muncul. Kedua, ganti pemeriksaan dtype == "object" dengan pemeriksaan yang tepat. Ketiga, hapus assignment berantai dan argumen inplace. Keempat, kunci versi NumPy dan Python di image atau berkas dependensi.

# Contoh uji kontrak minimal dengan pytest
import warnings

import pandas as pd

def contoh():
    return pd.DataFrame({"kota": ["Baubau", "Kendari"], "omzet": [120, 80]})

def test_dtype_dan_nilai():
    df = contoh()
    assert pd.api.types.is_string_dtype(df["kota"])
    assert df["omzet"].dtype == "int64"
    assert df["kota"].isna().sum() == 0

def test_tanpa_peringatan_inplace():
    with warnings.catch_warnings():
        warnings.simplefilter("error", pd.errors.Pandas4Warning)
        df = pd.DataFrame({"a": [1]}).drop(columns=[])
    assert "a" in df.columns

Uji kontrak semacam ini masuk akal bila digabung dengan validasi skema yang lebih lengkap, misalnya pendekatan pada artikel kontrak data dengan Pandera. Untuk pemeriksaan kolom teks yang lebih rinci, termasuk dampak dtype baru pada operasi string, lihat juga deteksi duplikasi data dengan Python dan Pandas.

Batas pengujian dan langkah berikutnya

Semua blok kode di atas dijalankan pada pandas 3.1.1, NumPy 2.5.5, dan Python 3.14.9 di mesin virtual 6 vCPU tanpa pyarrow. Lingkungan itu bukan representasi server produksi: tidak ada data sebenarnya, tidak ada beban bersamaan, dan pengukuran CSV memakai berkas kecil di penyimpanan lokal. Klaim tentang percepatan Arrow, penggunaan memori, atau perilaku pada Python 3.11 tidak kami uji dan tidak boleh dianggap terverifikasi dari artikel ini.

Langkah berikutnya: jalankan ulang contoh dengan berkas dan data Anda, bandingkan hasil sebelum dan sesudah migrasi, lalu putuskan apakah pipeline siap dinaikkan. Bila ada pustaka pihak ketiga yang belum mendukung pandas 3.x, tahan pembaruan di lingkungan tersebut dan catat sebagai risiko, bukan sebagai kegagalan yang bisa diabaikan. Rujukan resmi: What's new in 3.0.0, What's new in 3.1.0, dan panduan Copy-on-Write.

COMMENTS

Name

1clickInstall,1,404,1,Access Management,1,Analytics Engineering,1,android,1,Ansible,1,Apache Airflow,1,Apache Flink,1,Apache Hudi,1,Apache Iceberg,1,Apache Kafka,1,Apache Parquet,1,Apache Spark,1,Apache2,1,API Telegram,1,Apple,3,Automation,1,AWS,1,Backup,2,bapak internet indonesia,1,Big Data,9,blkid,1,booting,1,BorgBackup,1,brainware,1,calc,1,can't mount,3,can't read superblock,1,cara mengatasi disk failure,1,cara mengatasi disk penuh,1,cara mengatasi error disk,1,cara mengatasi error proxmox,1,cara mengatasi log full,1,centOS,1,Ceph,1,certificate,1,Chrome,1,Cilium,1,cinta sang penguasa,1,CLI,1,ClickHouse,1,Cloud,4,Cloud Computing,10,Cloud Native,1,Cloud Storage,6,Clustering,2,Codec,1,CodeIgniter,2,computare,4,computer,4,Container,1,Cybersecurity,13,dakwah,16,Data Engineering,14,Data Lineage,1,Data Mining,6,Data Quality,4,dbt,1,dd,1,Debezium,1,Debian,2,Deepin Linux,1,DevOps,8,DevSecOps,1,digital,1,Docker,14,dosa,1,dosa besar,1,DuckDB,3,eBPF,1,Enkripsi,1,era digital,1,error certificate,1,error path,1,error subscription,1,excel,1,failed subscription,1,Fedora,1,fedora26,1,Feeder,1,Firewall,2,FP-Growth,1,fstab,1,ftp server,1,fujitsu,1,gambar,1,ghibah,1,Git,2,GitHub,2,gitignore,1,gitignore not work,1,Google,2,Google Chrome,1,Google Cloud,1,Google Drive,2,google-drive-ocamlfuse,1,Harbor,1,Harddisk,1,Hardware,1,Hashing,1,HCI,1,HDD,2,history,1,Homelab,1,host,1,Hostname,1,how to,2,IaC,1,IAM,1,igmp proxy,1,Ilmu Komputer,1,impress,1,indihome,1,INDUKSI MATEMATIKA,1,instalasi,3,install,10,install GIT,1,install linux,6,internet,2,iptables,1,islam,17,javascript,1,K-Means,2,K3s,1,Kafka,1,KDE Plasma,1,keamanan,1,Keamanan Cloud,2,keamanan data,1,Keamanan Jaringan,1,keynote,1,kodi,1,komputer,5,Kubernetes,3,kuliah,1,Lakehouse,1,Latte-dock,1,leap,7,leap 42.3,1,LibreOffice,1,Linux,66,linux ringan,3,Linux Server,2,Machine Learning,3,machintos,4,macOS,5,mageia,1,mandriva,1,Market Basket Analysis,1,mate,1,microsoft office,2,microsoft windows,4,microsoft word,1,Migrasi,1,Mikrotik,3,MinIO,1,mint,1,mlxtend,1,Monitoring,1,mount,4,mounting,1,Multimedia Codec,1,Netwatch,1,network,1,network security,1,Networking,12,Nextcloud,1,nftables,1,Nginx,1,node js,1,NTFS,3,ntfsfix,2,numbers,1,Observability,1,office,5,OLAP,1,Online Account,1,onno,1,onnowpurbo,1,Open Source,3,OpenLineage,1,OpenMandriva,1,OpenOffice,2,openoffice calc,1,openoffice writer,1,openSUSE,11,operating system,1,OPNsense,1,ownCloud,1,ownCloud Client,1,PAGES,1,Pandas,3,Pandera,1,Parquet,1,PDDikti,1,pemikir islam,1,pengguna,1,perangkat keras,1,Perangkat Lunak,2,Performance,1,PHP,1,PHP 5,1,PKI,1,Polars,1,port 80,1,port 8082,1,postel sevice award,1,PostgreSQL,1,Powerpoint,1,presentasi,1,presentation,1,Privacy,1,Proxmox,16,PVE,1,PySpark,1,Python,8,q4os,1,Redpanda,1,remaja islam,2,review,7,rezeki,1,s1300i,1,scanner,1,scansnap,1,Scikit-learn,1,Security,12,sejarah,1,Server,24,setting,1,Sistem Operasi,2,Software,2,Spark,1,spreadsheet,1,SQL,1,SSH,2,SSO,1,stb,1,Storage,8,Stream Processing,1,sukses dunia akhirat,1,Sysadmin,18,systemd,1,Tailscale,1,Telegram,1,Teleport,1,telkom,1,tesseract,1,text,1,Trino,1,Tutorial,31,tv box,1,Ubuntu,3,Unsupervised Learning,1,usb drive,1,useetv,1,user,1,VBA,1,version control,1,virtual machine,2,Virtualization,4,Visual basic,1,Visual Basic for Applications,1,VLC,2,VLC Media Player,1,VPN,1,vsftpd,1,Wazuh,1,whatsapp api,1,winbox,1,Windows,7,Windows 7,1,word,1,WORD PROCESSOR,2,workstation,1,WPS Office,1,Zero Trust,1,zypper,1,
ltr
item
zhato TECH: pandas 3.1 untuk Pipeline Data: inplace, select, dan read_csv Paralel
pandas 3.1 untuk Pipeline Data: inplace, select, dan read_csv Paralel
https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEhrgsxVXQ5893Lv04cGKd5nrAGRwtaXgRSTcR4s0CpG3Rad3TJUAEnY3b88_YaqlAJfSWotyEZDN1M8ZW08qIhvte2TX3LnkJo5uD2v8Vav0WARUo4CUrS7PEQYvqJ_XbUipnTZMdqNj2oOgpEwOz-kgtNHCZG-HcxDGAH3E6bpT-vrcMvfY6XJRv5y2ig/s1600/image.webp
https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEhrgsxVXQ5893Lv04cGKd5nrAGRwtaXgRSTcR4s0CpG3Rad3TJUAEnY3b88_YaqlAJfSWotyEZDN1M8ZW08qIhvte2TX3LnkJo5uD2v8Vav0WARUo4CUrS7PEQYvqJ_XbUipnTZMdqNj2oOgpEwOz-kgtNHCZG-HcxDGAH3E6bpT-vrcMvfY6XJRv5y2ig/s72-c/image.webp
zhato TECH
http://www.zhato-tech.id/2026/11/pandas-31-untuk-pipeline-data-inplace.html
http://www.zhato-tech.id/
http://www.zhato-tech.id/
http://www.zhato-tech.id/2026/11/pandas-31-untuk-pipeline-data-inplace.html
true
740282316614930842
UTF-8
Loaded All Posts Not found any posts VIEW ALL Readmore Reply Cancel reply Delete By Home PAGES POSTS View All RECOMMENDED FOR YOU LABEL ARCHIVE SEARCH ALL POSTS Not found any post match with your request Back Home Sunday Monday Tuesday Wednesday Thursday Friday Saturday Sun Mon Tue Wed Thu Fri Sat January February March April May June July August September October November December Jan Feb Mar Apr May Jun Jul Aug Sep Oct Nov Dec just now 1 minute ago $$1$$ minutes ago 1 hour ago $$1$$ hours ago Yesterday $$1$$ days ago $$1$$ weeks ago more than 5 weeks ago Followers Follow THIS PREMIUM CONTENT IS LOCKED STEP 1: Share to a social network STEP 2: Click the link on your social network Copy All Code Select All Code All codes were copied to your clipboard Can not copy the codes / texts, please press [CTRL]+[C] (or CMD+C with Mac) to copy Table of Content