Satuan 4 / 11

Business Intelligence (BI), Pelaporan dan Desain Metrik

Keuntungan:

  • Kemampuan untuk menjelaskan lapisan intelijen bisnis (sumber, ETL, gudang data, laporan) dan definisi metrik bisnis utama (KPI) yang benar.
  • Kemampuan menggunakan kecerdasan buatan untuk menghasilkan definisi metrik, draf SQL, dan narasi laporan serta memberikan hasilnya dengan data nyata
  • Kemampuan untuk mengenali risiko kebingungan penyebab korelasi dan metrik yang menyesatkan dalam keluaran analisis yang didukung AI

Intelijen bisnis (BI) adalah disiplin ilmu yang mengumpulkan data organisasi yang tersebar, menyiapkannya untuk dianalisis, dan menghasilkan informasi pendukung keputusan dari data tersebut. Bagi seorang profesional MIS, BI adalah lapisan di mana “data diubah menjadi keputusan.” Catatan pesanan mentah saja tidak berarti; tapi “di wilayah mana omzetnya turun bulan ini, kenapa?” Ini menghasilkan nilai ketika menjadi laporan yang dapat menjawab pertanyaan. Pada unit ini, kita akan melihat lapisan BI, desain metrik yang tepat, dan dimana kecerdasan buatan merupakan akselerator dan jebakan dalam proses ini.

Arsitektur BI umumnya terdiri dari lapisan-lapisan berikut. Sistem sumber: Tempat asal data, seperti ERP, CRM, e-commerce. Proses ETL (Bahasa Inggris Extract-Transform-Load): Proses yang mengekstraksi data dari sumber (Ekstrak), membersihkannya dan mengubahnya menjadi struktur standar (Transform) dan memuatnya ke target (Load). Gudang data: Penyimpanan pusat tempat pengumpulan data historis dan konsisten yang dirancang untuk analisis. Lapisan pelaporan/visualisasi: dasbor, laporan, dan kueri ad-hoc. Dalam rantai ini, kualitas setiap lapisan menentukan lapisan berikutnya; Kalau sumbernya kotor, laporannya juga kotor.

Mendefinisikan Metrik dan KPI dengan Benar

Metrik adalah nilai numerik yang diukur: total omset, jumlah pesanan. KPI (Key Performance Indicator) adalah metrik penting yang mengukur kinerja terhadap target: "tingkat churn pelanggan bulanan di bawah 5%". Tidak semua metrik adalah KPI; KPI adalah metrik yang terkait dengan tujuan bisnis dan memicu keputusan.

Masalah yang paling berbahaya dalam proyek-proyek BI adalah definisi metrik yang tidak jelas. Apa yang dimaksud dengan "pelanggan aktif"? Dipesan dalam 30 hari terakhir atau 90 hari? Apakah mereka yang kembali dihitung? Jika dua tim memiliki arti berbeda berdasarkan “jumlah pelanggan aktif”, dasbor yang sama menunjukkan dua fakta berbeda. Itu sebabnya setiap KPI harus memiliki definisi satu kalimat yang dapat diterima secara luas. AI dengan cepat membuat draf definisi ini; namun terserah pada unit bisnis untuk memutuskan definisi mana yang "benar".

Tip: Saat merancang KPI, tuliskan tiga hal: (1) rumus (apa sebenarnya pembilang/penyebutnya), (2) rentang waktu, (3) kasus yang dikecualikan. Membuat AI mengatakan "ekstraksi ambiguitas dalam definisi KPI ini sebagai pertanyaan" mengungkapkan asumsi tersembunyi.

Langkah demi Langkah: Pembuatan Laporan yang Didukung AI

Langkah 1 — Perjelas pertanyaannya. Keputusan apa yang akan diambil dari laporan ini? Tujuan konkrit seperti “kami akan memutuskan ke wilayah mana kami akan mengalihkan anggarannya”, bukan “seharusnya terlihat bagus”.

Langkah 2 — Tentukan metrik. Tulis KPI yang diperlukan dengan rumus, jendela, dan pengecualian. Kecerdasan buatan dapat menghasilkan rancangan definisi.

Langkah 3 — Hasilkan draf SQL. Memberikan informasi skema kepada kecerdasan buatan dan menghasilkan draf kueri. Namun baca dan pahami kueri sebelum menjalankannya.

Langkah 4 — Verifikasi dengan data kecil. Jalankan kueri terlebih dahulu pada sampel kecil dengan hasil yang diketahui; Periksa total secara manual. SQL AI mungkin benar secara sintaksis tetapi salah secara logika.

Langkah 5 — Tambahkan narasi, uji klaim. AI dapat menghasilkan teks naratif untuk laporan tersebut; tapi buktikan setiap klaim sebab akibat (“itulah sebabnya penjualan turun”).

Jebakan Korelasi dan Sebab-Akibat

Kesalahan paling berbahaya dalam BI adalah menafsirkan dua metrik yang bertindak bersamaan sebagai “yang satu menciptakan yang lain”. Korelasi adalah ketika dua nilai berubah secara bersamaan; Sebab-akibat adalah ketika suatu hal menyebabkan hal lain. Ungkapan “Seiring dengan meningkatnya penjualan es krim, kasus tenggelam pun meningkat” memang benar adanya, namun es krim tidak menyebabkan tenggelam; Penyebab umumnya adalah musim panas (cuaca panas). Kecerdasan buatan dapat dengan mudah membuat kalimat sebab akibat ketika menghasilkan narasi laporan; Pakar MIS menanggapi klaim tersebut dengan bertanya “apakah ada penjelasan lain?” Dia harus mengujinya. Jika tidak, keputusan yang salah akan diambil berdasarkan alasan yang salah.

Tiga Kasus Mini: Berdasarkan Angka

Kasus 1 — Biaya metrik yang tidak ditentukan. Di sebuah perusahaan telekomunikasi, jumlah "pelanggan aktif" yang disampaikan kepada dewan direksi adalah 2,1 juta, dan laporan tim keuangan adalah 1,7 juta. Perbedaannya adalah yang satu menghitung 90 hari sebagai "aktif" sedangkan yang lain menghitung 30 hari. Tingkat pertumbuhan yang salah dibahas selama dua minggu sampai definisi umum diklarifikasi. Definisi KPI dalam satu kalimat akan menghindari kebingungan ini.

Kasus 2 - SQL AI salah. Di salah satu pengecer, AI menambahkan jalur pengembalian ke total saat menghasilkan kueri “keranjang rata-rata per pelanggan”; Hasilnya 12% di atas nilai sebenarnya. SQL secara sintaksis sempurna. Ketika ahli secara manual memverifikasi total hari yang diketahui, dia menangkap penyimpangan dan menambahkan filter pengembalian.

Kasus 3 — Kekeliruan kausalitas. Di sebuah perusahaan e-niaga, dasbornya menyatakan "penjualan 18% lebih tinggi pada hari kampanye email dikirim" dan tim akan meningkatkan anggaran kampanye. Analisis menunjukkan bahwa kampanye telah diatur waktunya bertepatan dengan hari kampanye dengan lalu lintas tinggi (periode diskon). Yang mendorong penjualan adalah periodenya, bukan emailnya. Jika anggaran ditingkatkan tanpa pengujian dengan kelompok kontrol, maka uang akan terbuang percuma.

Prompt Lemah / Prompt Kuat

Perintah yang lemah:

Tulis laporan penjualan SQL dari tabel ini.

Perintah yang kuat:

Peran Anda: Anda adalah seorang analis BI yang penuh perhatian. Tulis DRAFT kueri SQL sesuai dengan diagram di bawah ini. Aturan: - Gunakan hanya tabel/bidang yang diberikan; bidang yang tidak pas.- KECUALI pengembalian (status='Pengembalian') dari total.- Jendela waktu: 30 hari terakhir.- Beri komentar baris demi baris apa yang dilakukan kueri.- Sarankan 1 baris contoh yang dapat divalidasi secara manual untuk pengujian di akhir.Skema:Pesanan(id, id_pelanggan, tanggal, jumlah, status)Pelanggan(id, nama, segmen)Tujuan: omset bersih 30 hari terakhir menurut segmen.

Perintah yang kuat membatasi skema, menerapkan aturan bisnis (tidak termasuk pengembalian), menentukan jendela, dan meminta keluaran yang dapat diverifikasi.

Empat Templat yang Dapat Disalin

1) Klarifikasi definisi KPI:

Tuliskan penjelasan lengkap untuk KPI berikut: rumus (pembilang/penyebut), jangka waktu, kasus yang dikecualikan. Tambahkan ambiguitas dalam definisi sebagai pertanyaan.KPI: [nama, mis. "tingkat churn pelanggan"]

2) Pemeriksaan logika SQL:

Periksa kueri SQL berikut: apakah ada risiko kesalahan logika, GABUNG yang salah, filter hilang, atau penghitungan ganda? Tuliskan pembenaran untuk setiap temuan. Jangan ubah kuerinya, cukup centang saja. SQL: [permintaan]

3) Narasi laporan + pengendalian klaim:

Tulis ringkasan eksekutif singkat dari tabel hasil di bawah ini. Beri label [BUKTI YANG DIPERLUKAN] di samping setiap klaim sebab akibat dan berikan penjelasan alternatif. Hanya mengandalkan data pada tabel. Tabel: [data]

4) Pemeriksaan konsistensi metrik:

Pada dua laporan di bawah, metrik dengan nama yang sama memberikan nilai yang berbeda. Kemungkinan perbedaan definisi (jendela waktu, filter, penghitungan) dicantumkan. Laporan: [A] [B]

Bagan Perbandingan: KPI Baik dan Buruk

fitur

KPI buruk

KPI yang bagus

Deskripsi

"Pelanggan aktif"

"Pelanggan dengan ≥1 pesanan selesai dalam 30 hari terakhir"

ikatan dengan sasaran

Tidak ada

"Tetap di bawah tingkat kerugian 5%"

keterukuran

ambigu

rumusnya jelas

pengecualian

tidak pasti

Tidak termasuk pengembalian

Apakah hal itu memicu suatu keputusan?

tidak

Ya

Kesalahan umum

  • Membiarkan metrik tidak ditentukan. Jika kata-kata seperti "aktif", "sukses", "selesai" digunakan tanpa rumus, setiap tim menghitung secara berbeda.
  • Menjalankan SQL AI tanpa verifikasi. Kueri yang benar secara sintaksis mungkin salah secara logika; penghitungan ganda dan GABUNG yang salah sering terjadi.
  • Korelasi yang membingungkan dengan sebab akibat. Berpikir bahwa “itu meningkat dengan itu” berarti “ini menyebabkan itu” akan mengarah pada keputusan yang salah.
  • Pengejaran metrik kesombongan. Salah mengira metrik yang mewah namun tidak menentukan seperti "total klik" sebagai KPI.
  • Menyajikan angka tanpa konteks. "Omzet 4,2 juta" saja tidak ada artinya; Konteks diperlukan berdasarkan bulan lalu, sasaran, atau anggaran.
Perhatian: Narasi laporan yang dihasilkan oleh kecerdasan buatan bersifat meyakinkan dan lancar; Hal ini justru memperbesar risikonya. Kalimat yang lancar mungkin membawa klaim kausalitas yang salah. Ujilah setiap pernyataan “karena” dan “karena itu” dengan bukti.

Singkatnya

Intelijen bisnis adalah lapisan yang mengubah data yang tersebar menjadi keputusan dan terdiri dari sumber, ETL, gudang data, dan rantai pelaporan. KPI adalah metrik penting yang terkait dengan tujuan bisnis, dengan formula dan pengecualian yang jelas; metrik yang tidak ditentukan adalah kesalahan BI yang paling umum. Kecerdasan buatan memberikan kecepatan yang signifikan dalam menghasilkan definisi KPI, rancangan SQL, dan narasi laporan; tetapi setiap SQL harus dapat dibenarkan secara logis, setiap angka harus didukung oleh data yang diketahui, dan setiap klaim sebab akibat harus diuji dengan bukti. Korelasi bukanlah sebab-akibat; Narasi yang cair tidak menjamin keakuratan.

Tugas aplikasi

Rancang KPI “tingkat penyelesaian” untuk platform kursus online. (1) Tulis deskripsi satu kalimat dengan rumus, jangka waktu, dan pengecualian (misalnya, apakah pendaftaran yang dibatalkan dihitung?). (2) Buat skema sederhana (Pendaftaran, Kursus, Kemajuan) dan buat draf SQL untuk KPI ini dengan prompt yang kuat. (3) Temukan setidaknya satu kemungkinan risiko penghitungan ganda atau pemfilteran yang salah dalam kueri. (4) Cetak ringkasan eksekutif kesimpulan dan tandai setiap klaim sebab akibat di dalamnya. (5) Berikan contoh jebakan korelasi-sebab-akibat dan jelaskan bagaimana Anda akan mengujinya.

daftar periksa

  • [ ] Formula, rentang waktu dan pengecualian setiap KPI ditulis.
  • [ ] Saya membaca dan memahami SQL yang dihasilkan oleh AI baris demi baris.
  • [] Saya memvalidasi kueri secara manual dengan sedikit data yang diketahui.
  • [ ] Saya menguji setiap klaim sebab akibat dalam laporan dengan bukti.
  • [ ] Saya mengkontekstualisasikan setiap angka dengan patokan (target/periode terakhir).
  • [ ] Saya mencapai konsensus lintas tim mengenai definisi metrik.