Keuntungan:
- Pemahaman konkrit tentang konsep 'bobot' model dan perbedaan implisit/eksplisitnya
- Lihat perbedaan antara openweight dan open source serta kendala lisensinya
- Kemampuan untuk memilih pendekatan tertutup, terbuka atau campuran dengan pembenaran tergantung pada situasi bisnis
Untuk mengenal penyedia pada unit sebelumnya, terdapat kolom bernama "tipe bobot" pada tabel: tertutup, terbuka, campuran. Kolom tunggal ini sebenarnya menyembunyikan salah satu keputusan paling strategis dalam pemilihan model Anda. Apakah Anda akan bekerja dengan model bobot tertutup atau terbuka; Ini secara langsung menentukan di mana data Anda akan diproses, bagaimana biaya bulanan Anda akan dibentuk, kebutuhan tim teknis Anda, dan tanggung jawab hukum Anda. Pada saat unit ini selesai, Anda akan memiliki pemahaman konkrit tentang konsep "bobot", melihat perbedaan halus namun penting antara bobot terbuka dan open source, dan mampu memberikan alasan pendekatan yang tepat untuk situasi Anda sendiri.
Apa Sebenarnya "Berat" Itu?
Model AI dilatih dengan sejumlah besar teks sambil secara perlahan menyesuaikan miliaran nilai numerik (parameter) di dalamnya. Semua angka ini disebut bobot model. Bobot adalah tempat model menyimpan “segala sesuatu yang telah dipelajarinya”; Anda bisa membandingkannya dengan kekuatan sinapsis di otak seseorang. Tata bahasa model, pengetahuan dunia, dan pola penalaran semuanya dikodekan dalam angka-angka ini.
“Menjalankan” model berarti memuat bobot ini ke komputer dan menjalankan teks yang Anda masukkan di atasnya. Pertanyaan kritisnya adalah: Siapa yang mempunyai akses ke file bobot ini?
- Bobot tertutup: Bobot hanya berada di server penyedia. Anda tidak dapat mengaksesnya secara langsung; Anda menggunakannya melalui internet melalui antarmuka (API) dengan cara "kirim teks, dapatkan respons". Anthropic Claude, OpenAI GPT, Google Gemini seperti ini. (API adalah antarmuka yang memungkinkan perangkat lunak mengirim permintaan ke perangkat lunak lain melalui port standar dan menerima respons.)
- Open-weight: File bobot dapat diunduh. Jika mau, Anda dapat menginstal dan menjalankannya di server Anda sendiri. Beberapa model Meta Llama, DeepSeek, Mistral seperti ini.
Tip: Pikirkan bobot tertutup sebagai "apartemen sewaan" dan bobot terbuka sebagai "rumah yang dibeli". Sangat mudah untuk pindah ke apartemen sewaan, pemeliharaannya bukan tanggung jawab Anda, tetapi pemilik rumah yang menentukan aturannya. Segala sesuatu di rumah yang dibeli adalah milik Anda, tetapi renovasi, keamanan, dan tagihan juga menjadi tanggung jawab Anda.
Bobot Terbuka Tidak Sama dengan Open Source
Ada kesalahan konseptual yang sangat umum di sini. "Open-weight" dan "open-source" sering digunakan secara bergantian, namun keduanya bukanlah hal yang sama.
- Pembobotan terbuka berarti hanya membagikan parameter model yang dipelajari. Biasanya tidak dijelaskan bagaimana model dilatih dan data apa yang dimasukkan ke dalamnya.
- Idealnya, sumber terbuka sepenuhnya berarti bobot, data pelatihan, dan kode pelatihan dibagikan dan dapat digunakan secara bebas.
Ada juga masalah perizinan. Meskipun bobot model dapat diunduh, lisensinya mungkin membatasi penggunaan komersial, menerapkan persyaratan tambahan di luar jumlah pengguna tertentu, atau melarang pengembangan produk pesaing. Jadi "Saya bisa mendownloadnya" dan "Saya bisa menggunakannya sesuai keinginan" adalah hal yang berbeda.
Perhatian: Sebelum menerapkan model bobot terbuka ke dalam bisnis Anda, pastikan untuk membaca lisensinya. Jangan tertipu dengan kata "terbuka"; Beberapa lisensi memerlukan perjanjian terpisah atas sejumlah pengguna aktif bulanan tertentu, dan beberapa membatasi penggunaan keluaran untuk tujuan tertentu. Ini adalah sesuatu yang harus Anda tanyakan kepada tim hukum Anda.
Perbandingan Dua Pendekatan
Tabel di bawah ini menempatkan kedua pendekatan tersebut secara berdampingan pada dimensi-dimensi utama.
Ukuran
Berat Tertutup
Berat Terbuka
Instalasi
Tidak ada, antarmuka siap
Diperlukan server dan tim teknis
Di mana data diproses
Di server penyedia
Dalam lingkungan di bawah kendali Anda
Biaya awal
Rendah (bayar sesuai pemakaian)
Tinggi (perangkat keras, instalasi)
Biaya dalam skala besar
meningkat seiring volume
Dapat diprediksi dengan perangkat keras tetap
Pembaruan/pemeliharaan
di penyedia
kamu juga
kontrol privasi
terbatas
penuh
Akses ke model paling canggih
biasanya di sini
Variabel
Dalam tabel ini, tidak ada jawaban tunggal untuk “mana yang lebih baik”; Setiap baris plus atau minus tergantung pada prioritas Anda. Jika Anda ingin biaya awal rendah, bobot tertutup; Jika data tidak boleh meninggalkan perusahaan bahkan satu milimeter pun, bobot terbuka akan diutamakan.
Tiga Kasus Realistis
Kasus 1 — Startup e-commerce (penambahan bobot tertutup). Tim e-commerce yang beranggotakan lima orang ingin menghasilkan deskripsi produk. Mereka tidak memiliki tim teknis, mereka tidak ingin mengelola server, volume bulanan bervariasi. Mereka memulai dengan model berbobot tertutup, membayar sesuai dengan apa yang mereka gunakan. Pada bulan pertama, mereka memproses 1,2 juta token dan membayar sekitar $15; Seiring berkembangnya bisnis mereka, tagihan pun bertambah secara proporsional. Tidak ada masalah server, pemeliharaan atau pembaruan. Pilihan yang tepat untuk profil ini sudah jelas.
Kasus 2 — Rumah Sakit (defisit bertambah berat). Sebuah rumah sakit ingin merangkum dan mengkodekan catatan pasien. Data tersebut merupakan data kesehatan yang sangat sensitif; tidak boleh meninggalkan institusi dalam keadaan apapun. Mereka sedang membangun model bobot terbuka di pusat data mereka. Mereka melakukan investasi awal yang besar dalam hal penyiapan dan perangkat keras (misalnya, server senilai $40.000 dan pengerjaan penyiapan selama dua minggu), namun kemudian mereka tidak membayar biaya token tambahan per pasien dan data tidak pernah masuk ke server eksternal. Volume tinggi dan kerahasiaan mutlak membenarkan biaya awal.
Kasus 3 — Kantor akuntan skala menengah (pendekatan hybrid menang). Sebuah kantor akuntan menggunakan model bobot tertutup dari antarmuka yang sudah jadi untuk korespondensi umum harian dan draf teks; karena tidak sebanding dengan upaya pemasangan untuk pekerjaan ini. Namun, mereka melakukan outsourcing analisis sensitif yang melibatkan data keuangan pelanggan ke model bobot terbuka yang berjalan di server mereka sendiri. Dengan demikian, mereka mendapatkan keuntungan dari kenyamanan dan privasi pada saat yang bersamaan. Kita akan kembali ke pendekatan “portofolio campuran” ini di unit 9.
Prompt Lemah / Prompt Kuat: Saat Meminta Pendukung Keputusan
Perintah yang lemah:
Haruskah saya menggunakan beban terbuka atau beban tertutup?
Perintah yang kuat:
Peran Anda: arsitek AI perusahaan. Situasi saya: Kami adalah firma akuntansi yang beranggotakan 12 orang, kami tidak memiliki tim teknis tetapi kami memiliki konsultan TI eksternal. ~500.000 token per bulan bisnis. Data tersebut ada yang merupakan data keuangan nasabah (sensitif), ada pula yang bersifat korespondensi umum. Kita harus mematuhi KVKK. Tugas: Bandingkan pendekatan tertutup, terbuka dan campuran. Untuk masing-masing: kesesuaian (1-5), perkiraan kisaran biaya tahun pertama, catatan privasi, risiko utama. Terakhir, berikan satu saran dan rangkum alasannya dalam 3 poin.
Perintah kedua memungkinkan model menghasilkan rekomendasi yang benar-benar sesuai dengan bisnis Anda, karena memberikan semua batasan yang diperlukan untuk pengambilan keputusan (tim, volume, tipe data, kerangka hukum).
Templat yang Dapat Disalin
1. Keputusan jenis bobot:
Pekerjaan saya: [DESKRIPSI]. Tim teknis: [YA/TIDAK]. Volume token bulanan: [NUM].Sensitivitas data: [LOW/MEDIUM/HIGH].Preferensi struktur anggaran: [LOW START / PREDICTABLE FIXED].Bandingkan opsi tertutup, terbuka, dan campuran menurut profil ini dan berikan satu rekomendasi.
2. Pemeriksaan lisensi:
Sederhanakan lisensi untuk model bobot terbuka ini: [NAMA LISENSI/TEKS].Jawab pertanyaan berikut: Apakah penggunaan komersial diperbolehkan? Apakah ada batasan pengguna/pendapatan? Bisakah saya menjual kembali hasilnya? Apa saja kegunaan yang dilarang? Jika tidak jelas, tulis "tanyakan pada pengacara".
3. Rincian biaya:
Uraikan total biaya kepemilikan untuk model sederhana: perangkat keras, tenaga instalasi, listrik/hosting, pemeliharaan, pembaruan. Buatlah perbandingan kasar 3 tahun dengan alternatif bobot tertutup. Volume bulanan saya: [NUMBER].
4. Penyaringan risiko privasi:
Lacak kemana data pergi dari mana ke alur kerja berikut: [DESKRIPSI ALUR KERJA]. Jika saya menggunakan bobot tertutup, pada titik manakah data keluar? Bagaimana risiko ini berubah pada bobot terbuka? Menyarankan tindakan mitigasi untuk setiap risiko.
Kesalahan umum
- Salah mengartikan kata “terbuka” sebagai “gratis dan tidak terbatas”: Bobot terbuka tidak menjamin penggunaan komersial gratis atau tidak terbatas; lisensi sangat menentukan.
- Menganggap bobot terbuka itu "mudah": Menjalankan model bobot terbuka memerlukan server, staf teknis, dan pemeliharaan; Meremehkan instalasi adalah kesalahan umum.
- Tidak mempertimbangkan data bobot tertutup sama sekali: Dalam model tertutup, data masuk ke penyedia; Beresiko memulai tanpa memilah terlebih dahulu data mana yang bisa masuk.
- Hanya dengan melihat biaya awalnya: Meskipun bobot terbuka mungkin tampak mahal pada awalnya, namun dalam jangka panjang bisa menjadi lebih murah dengan volume yang sangat tinggi. Lihatlah total biaya selama tiga tahun.
- Motto 'pola terkuat selalu tertutup': Meskipun hal ini sering kali benar, hal ini tidak mutlak; model bobot terbuka mungkin lebih dari cukup untuk tugas-tugas tertentu.
Singkatnya
- Bobot model adalah miliaran parameter yang menyimpan informasi yang telah dipelajari model; Perbedaan "mati/hidup" adalah tentang mengakses parameter ini.
- Bobot tertutup: antarmuka siap pakai, start rendah, pada penyedia data. Bobot yang jelas: server Anda sendiri, kontrol penuh, overhead startup dan pemeliharaan yang tinggi.
- Bobot terbuka tidak sama dengan open source; Persyaratan lisensi mungkin membatasi penggunaan komersial.
- Pilihan yang tepat; Bervariasi tergantung pada tim, volume, sensitivitas data, dan struktur anggaran. Pendekatan hibrid masuk akal bagi sebagian besar bisnis menengah.
Tugas aplikasi
Ambil profil kebutuhan yang Anda buat di unit sebelumnya. Berikan ke model AI menggunakan template 1 (keputusan tipe bobot) di unit ini. Evaluasi sendiri rekomendasi yang dihasilkan dengan mencocokkannya satu per satu dengan tujuh dimensi dalam tabel (instalasi, lokasi data, biaya permulaan, biaya skala, pemeliharaan, privasi, akses ke model canggih). Jika evaluasi Anda berbeda dengan rekomendasi model, catat dalam satu kalimat di mana Anda berbeda.
daftar periksa
- [ ] Saya dapat menjelaskan konsep "berat" dengan kata-kata saya sendiri.
- [ ] Saya bisa membandingkan kelebihan/kekurangan beban tertutup dan terbuka dalam tujuh dimensi.
- [ ] Saya tahu perbedaan antara openweight dan open source serta risiko lisensi.
- [ ] Saya dapat membenarkan pilihan tertutup/terbuka/hibrida untuk bisnis saya sendiri.
- [ ] Saya dapat melacak arah data dalam alur kerja dan menunjukkan titik risikonya.