Pembaruan mayor pandas bukan sekadar menambah fungsi baru. Sejak rilis 3.0 pada Januari 2026 dan dilanjutkan 3.1 pada Oktober 2026, beberap...

Pembaruan mayor pandas bukan sekadar menambah fungsi baru. Sejak rilis 3.0 pada Januari 2026 dan dilanjutkan 3.1 pada Oktober 2026, beberapa perilaku dasar berubah: string punya dtype sendiri, penyalinan data mengikuti aturan copy-on-write, dan argumen inplace mulai ditinggalkan. Pipeline yang selama ini berjalan tanpa peringatan bisa menghasilkan hasil berbeda, atau justru diam-diam tidak mengubah apa pun.
Artikel ini membahas perubahan yang paling sering mematahkan skrip data engineering, lalu menunjukkan cara memeriksanya dengan pengujian kecil. Contoh dijalankan pada pandas 3.1.1 (rilis 4 November 2026) di lingkungan virtual terisolasi; keluaran nyata dicantumkan agar Anda bisa membandingkan dengan hasil di mesin sendiri. Artikel tidak menjanjikan percepatan tertentu, karena performa bergantung pada ukuran data, penyimpanan, dan jumlah core.
Perubahan yang paling sering mematahkan pipeline
Tiga perubahan di pandas 3.0 adalah akar sebagian besar masalah migrasi. Pertama, dtype string khusus kini dipakai secara default untuk data teks. Kedua, copy-on-write (CoW) menjadi perilaku standar, sehingga hasil indexing selalu berperilaku seperti salinan. Ketiga, resolusi datetime numerik tidak lagi selalu nanodetik. Perubahan ini terdokumentasi pada release notes pandas 3.0.0.
Dtype string default mengubah pemeriksaan tipe
Dulu kolom teks tersimpan sebagai object. Mulai 3.0, pandas menyimpulkan dtype str, yang hanya boleh berisi string atau nilai hilang. Konsekuensinya, kode yang memeriksa df[kolom].dtype == "object" untuk mendeteksi kolom teks tidak lagi cocok. Penyimpanan nilai non-string ke kolom tersebut juga langsung gagal, bukan disimpan sebagai objek bebas.
import pandas as pd
seri = pd.Series(["Baubau", "Kendari", None])
print(seri.dtype) # str
print(seri.dtype == "object") # False
# Backend penyimpanan bergantung paket terpasang
print(type(seri.array).__name__) # StringArray bila pyarrow tidak ada
try:
seri.iloc[0] = 42
except TypeError as galat:
print("ditolak:", str(galat)[:60])
Pada uji kami tanpa pyarrow, dtype tampil str, pemeriksaan == "object" menghasilkan False, dan penugasan angka ditolak dengan TypeError. Bila pyarrow terpasang, backend string memakai Arrow; perilaku API tetap sama, tetapi detail penyimpanan dan kinerja dapat berbeda. Karena itu, perbaiki pemeriksaan tipe dengan pd.api.types.is_string_dtype() atau bandingkan dengan "str", bukan dengan object.
Copy-on-write menghentikan assignment berantai
Dengan CoW, setiap subset dianggap salinan: memodifikasi hasil filter tidak mengubah DataFrame asal. Pola df[df.nilai > 10]["status"] = "tinggi" tidak lagi berfungsi, dan SettingWithCopyWarning sudah dihapus karena ambiguitas view dan copy tidak lagi ada. Perbaikan yang benar adalah menulis ke objek secara eksplisit, misalnya df.loc[mask, "status"] = ... atau menyalin lebih dulu bila memang ingin bekerja pada subset terpisah.
import pandas as pd
df = pd.DataFrame({"nilai": [5, 15, 25], "status": ["rendah"] * 3})
subset = df[df["nilai"] > 10]
subset["status"] = "tinggi" # hanya mengubah subset
mask = df["nilai"] > 10
df.loc[mask, "status"] = "tinggi" # mengubah df asal
print(df["status"].tolist()) # ['rendah', 'tinggi', 'tinggi']
Uji kami menunjukkan tidak ada peringatan sama sekali saat subset dimodifikasi, dan DataFrame asal tetap ['rendah', 'rendah', 'rendah'] sampai .loc dipakai. Inilah jenis perubahan yang paling berbahaya: kode lama tetap berjalan tanpa error, tetapi hasilnya tidak lagi seperti yang diharapkan. Cari pola assignment berantai di pipeline Anda sebelum menaikkan versi.
Menyiapkan lingkungan uji yang dapat diulang
Jangan menguji migrasi langsung di lingkungan produksi. Buat virtual environment terpisah, lalu pasang versi yang spesifik. pandas 3.0 mensyaratkan Python 3.11 atau lebih baru dan NumPy 1.26 atau lebih baru; pandas 3.1 menaikkan batas NumPy menjadi 2.0.2, atau 2.3.3 bila memakai Python 3.14. Batas ini dapat diperiksa dari metadata paket yang terpasang.
python3 -m venv ~/venv-pandas31
. ~/venv-pandas31/bin/activate
python -m pip install --upgrade pip
python -m pip install "pandas==3.1.1" "numpy>=2.3.3"
# opsional, untuk backend string berbasis Arrow:
# python -m pip install pyarrow
python -c "import pandas, numpy; print(pandas.__version__, numpy.__version__)"
Perintah di atas dijalankan di direktori baru tanpa menyentuh sistem produksi. Catat versi Python, pandas, NumPy, dan pyarrow di lingkungan tersebut, karena perbedaan backend string dapat mengubah hasil pengukuran memori. Untuk pipeline bersama, kunci versi di berkas dependensi agar pembaruan tidak masuk tanpa persetujuan.
Mengganti pola inplace yang kini memicu peringatan
pandas 3.1 menandai argumen inplace sebagai deprecated pada metode yang sebenarnya tidak bekerja di tempat, mengikuti PDEP-8. Setiap pemanggilan menghasilkan Pandas4Warning dan API ini akan dihapus pada pandas 4.0. Selama masa transisi, nilainya masih diterima, sehingga peringatan mudah terlewat di log yang ramai.
import warnings
import pandas as pd
tabel = pd.DataFrame({"a": [1, 2], "b": [3, 4]})
with warnings.catch_warnings(record=True) as catatan:
warnings.simplefilter("always")
tabel.drop(columns="b", inplace=True)
print([type(w.message).__name__ for w in catatan]) # ['Pandas4Warning']
# Bentuk yang disarankan, pada DataFrame baru:
bersih = pd.DataFrame({"a": [1, 2], "b": [3, 4]})
bersih = bersih.drop(columns="b")
print(bersih.columns.tolist()) # ['a']
Pada uji kami, drop(..., inplace=True) tetap menghapus kolom tetapi memunculkan Pandas4Warning yang menyebut PDEP-8. Pola penggantinya sederhana: hapus argumen inplace dan tugaskan ulang hasilnya (df = df.drop(...), df = df.sort_values(...)). Karena CoW sudah membuat operasi ini murah, penugasan ulang tidak menambah salinan besar seperti pada pandas 2.x.
Pandas4Warning dan laporkan ke pengelola pustaka terkait sebelum menganggap migrasi selesai.API baru untuk transformasi kolom
pandas 3.1 menambahkan DataFrame.select() yang memilih sekaligus menghitung kolom dalam satu panggilan, memakai ekspresi pd.col() yang diperkenalkan pada 3.0. Argumen berikutnya boleh merujuk kolom yang baru dihitung pada panggilan yang sama, sehingga rantai assign() panjang bisa dipersingkat tanpa lambda.
import pandas as pd
orang = pd.DataFrame({"nama_depan": ["Ani", "Budi"], "usia": [30, 41]})
hasil = orang.select(
"nama_depan",
usia_bulan=pd.col("usia") * 12,
usia_hari=pd.col("usia_bulan") * 30,
)
print(hasil)
Keluaran uji kami: Ani memperoleh 360 bulan dan 10.800 hari, Budi 492 bulan dan 14.760 hari. Perhatikan bahwa usia_bulan dapat langsung dipakai untuk menghitung usia_hari; ini perilaku yang sama dengan assign().
Filter dengan kondisi, bukan hanya label
Sebelumnya filter() hanya memilih baris atau kolom berdasarkan label. Sejak 3.1, parameter cond menerima boolean mask, callable, atau ekspresi pd.col(). Nilai hilang pada mask diperlakukan sebagai False kecuali Anda meminta sebaliknya dengan na=True.
import pandas as pd
t = pd.DataFrame({"kota": ["Baubau", "Kendari", "Bau-Bau"], "omzet": [120, 80, 95]})
print(t.filter(cond=pd.col("omzet") > 90))
mask = pd.array([True, None, False], dtype="boolean")
t2 = pd.DataFrame({"x": [1, 2, 3]})
print(len(t2.filter(cond=mask))) # 1
print(len(t2.filter(cond=mask, na=True))) # 2
Hasil uji sesuai dokumentasi: filter berbasis ekspresi mengembalikan dua baris dengan omzet di atas 90, sedangkan mask dengan satu nilai hilang menghasilkan satu baris secara default dan dua baris ketika na=True. Perhatikan juga perubahan kecil: daftar boolean yang dikirim secara posisional kini memunculkan peringatan karena dianggap ambigu; gunakan cond= untuk mask dan items= untuk label.
Membaca CSV besar secara paralel
Mesin pembaca CSV bawaan (engine C) ditulis ulang pada 3.1. Untuk berkas lokal tidak terkompresi berukuran minimal 5 MB, pandas membaca secara paralel memakai beberapa core. Jumlah thread diatur opsi mode.max_threads, default sejumlah CPU yang tersedia dengan batas 6. Opsi usecols, nrows, atau file handle membuat pembacaan kembali serial karena memerlukan pemrosesan utuh.
import time
import pandas as pd
def ukur(**opsi):
mulai = time.perf_counter()
data = pd.read_csv("transaksi.csv", **opsi)
return time.perf_counter() - mulai, len(data)
with pd.option_context("mode.max_threads", 1):
serial, n = ukur()
paralel, _ = ukur()
print(f"serial {serial:.3f} s | paralel {paralel:.3f} s | {n} baris")
Pada mesin uji kami (6 vCPU virtual, berkas 7,63 MB berisi 200.000 baris, penyimpanan lokal), tiga percobaan berurutan memberi waktu serial 0,042 sampai 0,057 detik dan pembacaan default 0,035 sampai 0,037 detik, atau sekitar 1,2 sampai 1,6 kali lebih cepat. Angka itu lebih kecil daripada klaim dua sampai tiga kali pada dokumentasi, dan itu wajar: berkas uji kecil serta sudah hangat di cache sistem operasi. Jangan memakai hasil ini sebagai patokan; ukur dengan berkas dan penyimpanan Anda sendiri. Untuk berkas puluhan hingga ratusan MB di disk sungguhan, selisih biasanya lebih terasa, tetapi tetap perlu dibuktikan di lingkungan target.
Perubahan kecil yang dapat mengubah hasil
Beberapa perubahan di 3.1 tidak memunculkan error, hanya hasil yang sedikit berbeda. Nilai numerik yang dikonversi menjadi datetime atau timedelta kini memakai resolusi mikrodetik, bukan nanodetik. Index.values juga bersifat read-only untuk semua dtype, sehingga kode yang menulis langsung ke array tersebut akan gagal. Selain itu, Timedelta.total_seconds() sekarang menyertakan komponen nanodetik yang sebelumnya hilang.
import pandas as pd
print(pd.to_timedelta([1, 2], unit="s").dtype) # timedelta64[us]
indeks = pd.Index([1, 2, 3])
try:
indeks.values[0] = 99
except ValueError as galat:
print("read-only:", str(galat)[:50])
Uji kami mengonfirmasi dtype timedelta64[us] dan penolakan penulisan ke Index.values. Jika pipeline menyimpan hasil konversi waktu ke bilangan bulat, periksa satuan yang diasumsikan. Gunakan .as_unit() bila resolusi tertentu dibutuhkan, dan tuliskan satuan itu secara eksplisit di skema keluaran.
Checklist migrasi dan pengujian
Sebelum menaikkan pandas di lingkungan bersama, lakukan langkah berikut secara berurutan. Pertama, naikkan ke pandas 2.3 lebih dulu agar peringatan deprecasi muncul. Kedua, ganti pemeriksaan dtype == "object" dengan pemeriksaan yang tepat. Ketiga, hapus assignment berantai dan argumen inplace. Keempat, kunci versi NumPy dan Python di image atau berkas dependensi.
# Contoh uji kontrak minimal dengan pytest
import warnings
import pandas as pd
def contoh():
return pd.DataFrame({"kota": ["Baubau", "Kendari"], "omzet": [120, 80]})
def test_dtype_dan_nilai():
df = contoh()
assert pd.api.types.is_string_dtype(df["kota"])
assert df["omzet"].dtype == "int64"
assert df["kota"].isna().sum() == 0
def test_tanpa_peringatan_inplace():
with warnings.catch_warnings():
warnings.simplefilter("error", pd.errors.Pandas4Warning)
df = pd.DataFrame({"a": [1]}).drop(columns=[])
assert "a" in df.columns
Uji kontrak semacam ini masuk akal bila digabung dengan validasi skema yang lebih lengkap, misalnya pendekatan pada artikel kontrak data dengan Pandera. Untuk pemeriksaan kolom teks yang lebih rinci, termasuk dampak dtype baru pada operasi string, lihat juga deteksi duplikasi data dengan Python dan Pandas.
Batas pengujian dan langkah berikutnya
Semua blok kode di atas dijalankan pada pandas 3.1.1, NumPy 2.5.5, dan Python 3.14.9 di mesin virtual 6 vCPU tanpa pyarrow. Lingkungan itu bukan representasi server produksi: tidak ada data sebenarnya, tidak ada beban bersamaan, dan pengukuran CSV memakai berkas kecil di penyimpanan lokal. Klaim tentang percepatan Arrow, penggunaan memori, atau perilaku pada Python 3.11 tidak kami uji dan tidak boleh dianggap terverifikasi dari artikel ini.
Langkah berikutnya: jalankan ulang contoh dengan berkas dan data Anda, bandingkan hasil sebelum dan sesudah migrasi, lalu putuskan apakah pipeline siap dinaikkan. Bila ada pustaka pihak ketiga yang belum mendukung pandas 3.x, tahan pembaruan di lingkungan tersebut dan catat sebagai risiko, bukan sebagai kegagalan yang bisa diabaikan. Rujukan resmi: What's new in 3.0.0, What's new in 3.1.0, dan panduan Copy-on-Write.
COMMENTS