Keuntungan:
- Kemampuan untuk membedakan enam tahap alur kerja ilmu data (definisi masalah, pengumpulan, pembersihan, penemuan, pemodelan, komunikasi) dan wewenang di mana kecerdasan buatan bekerja pada setiap tahap, sesuai dengan tingkat risiko tugas
- Kemampuan untuk menerapkan disiplin yang memverifikasi setiap keluaran kecerdasan buatan dengan menghubungkannya ke sumbernya, menjalankan dan membandingkannya, dan meneruskannya melalui penyaringan ahli.
- Kemampuan untuk mengubah prinsip reproduktifitas dan privasi (menulis ke dalam kode, anonimisasi) menjadi kebiasaan analisis sejak hari pertama
Data mentah, berantakan, dan sering kali “berbohong” ada di meja data scientist setiap hari. Pada tabel penjualan, kolom tanggal ditulis dalam tiga format berbeda; nomor pelanggan kosong di beberapa baris; Nama kolomnya adalah "pendapatan", namun berisi nilai TL dan USD. Tugas ilmu data adalah membuat keputusan yang dapat diandalkan untuk mengatasi kekacauan ini: mengumpulkan data, membersihkannya, mengeksplorasinya, membuat model, memvalidasi hasilnya, dan mengubahnya menjadi sebuah cerita. Kecerdasan buatan (AI, atau disingkat AI—sistem komputer yang dapat menghasilkan teks dan kode, mengenali pola, merangkum, dan membuat prediksi) dapat menyentuh setiap tautan dalam rantai ini: menulis kode pembersihan dalam hitungan menit, merekomendasikan grafik untuk analisis eksplorasi, menafsirkan metrik model, mengoreksi kueri SQL. Namun AI yang sama juga dapat memberi Anda fabrikasi yang meyakinkan seperti "korelasi 0,72" untuk data yang belum pernah dilihatnya.
Unit pertama ini bukanlah pengenalan perpustakaan. Tujuannya adalah untuk memperjelas di mana AI harus ditempatkan dalam alur kerja ilmu data dan di mana tidak boleh ditempatkan. Mari kita jabarkan prinsip dasarnya dari awal: AI adalah asisten, bukan ilmuwan data. Keputusan mengenai data apa yang harus dikumpulkan, metrik apa yang harus diputuskan, apakah akan memasukkan model ke dalam produksi, dan di mana menarik batasan etika berada di tangan pakar yang kompeten. Keluaran AI yang tidak terverifikasi berisiko, begitu pula laporan analisis yang tidak ditandatangani.
Alur kerja ilmu data: peta ujung ke ujung
Untuk memahami proyek data, ada gunanya membaginya menjadi enam fase. Seluruh modul ini mengikuti peta ini.
1. Definisi masalah: Apa yang kita ukur, mengapa, untuk mendukung keputusan yang mana? Fase ini tidak didelegasikan kepada AI; Oranglah yang mendefinisikan pekerjaan itu.
2. Pengumpulan data: Mengidentifikasi sumber, penggalian data, pengambilan sampel. (Satuan 2)
3. Pembersihan dan prapemrosesan data: Nilai hilang, outlier, konversi jenis. (Satuan 3)
4. Analisis data eksplorasi (EDA - Exploratory Data Analysis, tahap mengenali sebaran dan hubungan data “secara mata”): (Unit 4)
5. Rekayasa dan pemodelan fitur: Pembuatan variabel, pemilihan algoritma, pelatihan, evaluasi. (Unit 5, 6, 7)
6. Komunikasi dan produksi: Visualisasi, cerita, MLOps (disiplin menayangkan model secara langsung dan memantaunya). (Unit 8, 11)
AI beroperasi dengan otoritas berbeda di masing-masing enam tahap ini. Tabel di bawah ini merangkum pembagian wewenang tersebut; Ini adalah tabel terpenting dari modul ini.
Panggung
Peran AI
Tingkat risiko
Siapa yang menyetujui
Definisi masalah
rekan bertukar pikiran
rendah
Ilmuwan data + pemangku kepentingan
Tulis kode pembersihan
Generator sketsa kode
sedang
Ilmuwan data (membaca kode)
komentar EDA
pemberi saran pola
sedang
ilmuwan data
Pembuatan fitur
Pembuat ide dan kode
sedang-tinggi
Pengendalian kebocoran adalah suatu keharusan
Pemilihan model/metrik
konsultan
tinggi
ilmuwan data
Keputusan untuk dimasukkan ke dalam produksi
masukan tambahan
sangat tinggi
Tim + pemilik bisnis
Persetujuan etika/privasi
stimulan
sangat tinggi
manusia, selalu
Ingatlah satu kalimat dari bagan ini: seiring dengan meningkatnya risiko, peran AI menyusut dan pengakuan manusia meningkat.
Mengapa verifikasi adalah inti dari bisnis ini
Model bahasa AI terlihat pasti, namun mungkin tidak pasti. Dalam bahasa teknis, ini disebut halusinasi: ini adalah pembuatan model informasi yang tidak ada dalam kalimat yang lancar seolah-olah itu benar. Dalam ilmu data, hal ini hadir dalam tiga bentuk. Yang pertama adalah nomor palsu: jika Anda bertanya kepada model "berapa jumlah pesanan rata-rata" tanpa memberikan data apa pun, model tersebut akan dengan yakin memberi tahu Anda nomor tersebut, meskipun model tersebut belum pernah melihat data Anda. Yang kedua adalah fungsi yang tidak ada: model mungkin menyarankan fungsi yang tidak ada sama sekali, seperti pandas.read_excel_fast(). Ketiga, interpretasi statistik yang salah: model dapat dengan lancar mengulangi kesalahan statistik klasik seperti “nilai p adalah 0,04, sehingga hipotesisnya 96% benar”.
Disiplin verifikasi terdiri dari tiga langkah:
- Tautan ke sumber: Setiap angka, laju, dan tren harus berasal dari data Anda, bukan memori AI. Gunakan AI untuk kode yang beroperasi pada data, bukan untuk mengingat data.
- Jalankan dan bandingkan: Jalankan sendiri setiap bagian kode yang diberikan oleh AI; Bandingkan setiap metrik yang dihasilkannya dengan garis dasar independen.
- Filter ahli: Uji sendiri apakah keluarannya bertentangan dengan statistik dan pengetahuan domain.
Perhatian: Memasukkan analisis yang ditulis oleh AI ke dalam presentasi tanpa menjalankan dan membacanya seperti menyajikan laporan yang tidak ditandatangani. Hanya karena kodenya berfungsi bukan berarti kode itu benar; Kode yang menjumlahkan kolom yang salah juga berfungsi tanpa kesalahan.
Reprodusibilitas: mampu menghasilkan hasil yang sama dua kali
Prinsip ilmu data yang diam namun penting adalah reproduktifitas: ketika Anda menjalankan analisis lagi enam bulan kemudian atau di komputer lain, Anda akan mendapatkan hasil yang sama. Risiko ini meningkat ketika bekerja dengan AI, karena ketika Anda memberi tahu AI untuk "membuat grafik ini" dan memutarnya secara manual, langkah-langkah tersebut akan hilang. Aturan: setiap langkah harus didaftarkan dalam kode dan kontrol versi (seperti Git); Dalam langkah-langkah yang melibatkan keacakan, benih acak (nilai awal dari penghasil angka acak; jika tetap, hasilnya akan dapat diulang) harus tetap. Kami akan memperdalam topik ini di Unit 10; Untuk saat ini, biasakanlah kebiasaan ini: "Jangan klik dengan tangan, tulis dalam kode."
tiga kasus mini
Kasus 1 — Akselerasi yang aman. Seorang analis e-niaga biasanya menghabiskan setengah hari untuk membersihkan tabel pesanan yang terdiri dari 240 ribu baris. Dia memberikan nama kolom dan 5 baris pertama (tanpa data pribadi) kepada AI dan meminta kode pembersihan panda. AI menghasilkan draft dalam 8 detik; Analis membaca kode baris demi baris, memperbaiki kesalahan dalam penguraian tanggal, dan menjalankannya. Durasi: 35 menit, bukan 4 jam. AI memberikan kode, verifikasi tetap pada manusia.
Kasus 2 - Perangkap metrik yang dibuat-buat. Seorang pekerja magang bertanya kepada AI, "Seberapa akurat hutan acak pada data ini?" tanpa melatih model sama sekali. “Sekitar 89%,” kata AI. Magang memasukkan ini ke dalam presentasi; Saat model sebenarnya dilatih, akurasinya adalah 71%. Kesalahan: Menunggu metrik tanpa memberikan data dan model ke AI.
Kasus 3 — Kebocoran senyap. Satu tim menerapkan gagasan yang disarankan AI untuk “menambahkan rata-rata variabel target sebagai fitur” tanpa mempertanyakannya. Model ini memiliki kinerja 98% pada set pengujian tetapi mengalami error dalam produksi karena fitur tersebut membocorkan informasi masa depan (kebocoran data, Unit 10). Kesalahan: Tidak memfilter rekomendasi AI secara statistik.
Perintah lemah / Perintah kuat
Perintah yang lemah:
Analisis data penjualan ini dan beri tahu saya pendapatan rata-ratanya.
Klaim ini salah: AI tidak diberikan data, sehingga “pendapatan rata-rata” hanya dapat dibuat-buat. Baik kolom, periode, maupun mata uangnya tidak jelas.
Perintah yang kuat:
Peran Anda: asisten yang membantu ilmuwan data. Saya memiliki DataFrame panda: df. Kolom:- tanggal_pesanan (teks, dalam format "01-03-2024")- jumlah_tl (desimal, NaN di beberapa baris)- id_pelanggan (bilangan bulat)Tugas: (1) menulis kode panda yang menghitung jumlah rata-rata,(2) menjelaskan cara menangani nilai NaN,(3) membuat daftar asumsi yang dibuat kode tersebut. Jangan mengarang konten data; cukup buat kode dan saya akan menjalankan dan memverifikasi hasilnya.
Dalam permohonan ini, skema, harapan, dan “larangan rekayasa” sudah jelas. Anda masih menjalankan dan memverifikasi sendiri hasilnya.
Awal dari etika dan privasi
Ilmu data sering kali bekerja dengan data pribadi: catatan pelanggan, pasien, karyawan. KVKK (Undang-undang Perlindungan Data Pribadi) di Türkiye dan GDPR di Eropa melindungi data ini. Menempelkan nama asli, ID, email, atau alamat Anda ke alat AI publik merupakan pelanggaran. Aturan: anonimkan data sebelum dibagikan, hanya berikan skema (nama kolom, jenis) dan baris contoh tiruan jika perlu. Topik etika akan kita perdalam pada Unit 11; Mari kita terapkan prinsipnya dari awal: Untuk memahami data, sering kali cukup membagikan strukturnya, bukan isinya.
Kesalahan umum
- Menunggu angka/metrik tanpa memberikan data ke AI. Model tidak dapat mengakses data; Nomor yang dia berikan palsu. Selalu perkirakan hasilnya dan jalankan.
- Berpikir bahwa kode kerja sudah benar. Kode yang memanipulasi kolom yang salah juga berjalan tanpa kesalahan; Jangan percaya tanpa membaca logikanya.
- Menempelkan data pribadi asli ke alat terbuka. Nama, nomor ID, email tidak pernah dibagikan; Diagramnya sudah cukup.
- Melakukan langkah-langkah secara manual dan tidak menuliskannya ke dalam kode. Analisis yang tidak dapat direproduksi tidak dapat diandalkan.
- Menerima interpretasi statistik AI tanpa pertanyaan. AI dapat mengulangi kesalahan klasik dalam konsep seperti nilai-p dan korelasi.
Tip: Sertakan "garis aturan" singkat di setiap sesi AI Anda: "Jangan mengarang konten data; cukup buat kode/analisis dan saya akan menjalankan dan memverifikasi hasilnya; tunjukkan 'tidak yakin' jika Anda tidak yakin." Kalimat tunggal ini secara signifikan mengurangi risiko halusinasi.
Singkatnya
AI adalah asisten yang hebat dalam ilmu data: AI mempercepat pembersihan kode, interpretasi EDA, rekomendasi model, dan visualisasi. Namun definisi masalah, pemilihan metrik, keputusan produksi, dan batasan etika adalah milik manusia. Alur kerjanya memiliki enam tahap, dan peran AI menjadi lebih kecil seiring dengan meningkatnya risiko. Tiga kebiasaan adalah dasar dari segalanya: penautan sumber (validasi), reproduktifitas (pengkodean), dan anonimisasi (kerahasiaan). Setelah Anda menginternalisasi ketiga hal ini, setiap alat di modul lainnya menjadi akselerator yang aman untuk Anda.
Tugas aplikasi
Buat saja skema tabel kecil yang Anda miliki (atau tabel hipotetis): nama kolom, tipe, dan 2-3 baris contoh tiruan (tanpa data pribadi sebenarnya). Mintalah kode statistik ringkasan kepada AI menggunakan templat "Permintaan yang kuat" di atas. Jalankan kode, bandingkan hasilnya dengan nilai manual, periksa asumsi palsu, dan catat temuan Anda dalam 5 poin penting.
daftar periksa
- [ ] Apakah saya baru saja memberikan skema dan sampel palsu kepada AI, bukan data pribadi asli?
- [ ] Apakah saya membaca dan menjalankan kode yang dihasilkannya baris demi baris?
- [ ] Sudahkah saya memverifikasi secara mandiri setiap angka dalam keluaran?
- [ ] Sudahkah saya menulis setiap langkah analisis ke dalam kode dan membuatnya dapat diulang?
- [ ] Sudahkah saya menentukan tingkat risiko misi dan menyerahkan keputusan akhir kepada manusia?