Keuntungan:
- Kemampuan menjelaskan konsep token, jendela konteks dan multimodalitas dalam bahasa sehari-hari
- Diagnosis apakah suatu tugas memerlukan konteks luas atau multimodalitas
- Kemampuan untuk memperhitungkan bagaimana konsep-konsep ini mempengaruhi biaya dan pemilihan model
Sejauh ini kita sudah familiar dengan penyedia dan tipe modelnya. Namun, untuk pemilihan model yang tepat, penting juga untuk memahami cara kerja model "di dalam"; karena keputusan harga, kapasitas, dan ketersediaan semuanya bergantung pada tiga konsep inti: token, jendela konteks, dan multimodalitas. Seseorang yang tidak mengetahui konsep-konsep ini tidak dapat membaca lembar harga dan bertanya-tanya "apakah dokumen ini sesuai dengan modelnya?" tidak dapat menjawab pertanyaan dan tidak dapat melihat kapan pemrosesan visual itu penting. Di akhir unit ini, Anda akan mampu menjelaskan ketiga konsep ini dalam bahasa sehari-hari, mendiagnosis apakah suatu pekerjaan memerlukan konteks luas atau multimodalitas, dan mempertimbangkan dampaknya terhadap biaya.
Token: Unit yang Digunakan oleh Model, Bukan Word
Model kecerdasan buatan memproses teks bukan kata demi kata, melainkan potongan-potongan kecil yang disebut token. Sebuah tanda; Bisa berupa kata, bagian kata, tanda baca, atau spasi. Untuk membuat perhitungan kasar: Dalam bahasa Inggris, rata-rata token adalah sekitar empat karakter, dan 100 kata adalah sekitar 130-150 token. Di Turki, angka ini mungkin sedikit lebih tinggi karena kata-kata yang bersufiks dan panjang; Dengan kata lain, teks Turki dengan arti yang sama menggunakan lebih banyak token daripada bahasa Inggris.
Mengapa hal ini penting untuk diketahui? Karena semuanya dibebankan dan diukur dalam token. Teks (input) yang Anda kirimkan ke model dan respons (output) yang dihasilkan oleh model dihitung sebagai token terpisah. Faktur Anda dan kapasitas model ada dalam bentuk token.
Tips: Untuk mendapatkan perkiraan kasar tentang jumlah token yang dimiliki sebuah teks, bagi jumlah karakter dengan empat. Email 4.000 karakter setara dengan 1.000 token. Di Turki, asumsikan sedikit lebih tinggi agar tetap aman.
Jendela Konteks: "Memori Jangka Pendek" Model
Jendela konteks adalah jumlah total token yang dapat diingat oleh model pada suatu waktu. Input dan output harus cocok di jendela ini. Anggap saja seperti jumlah kertas yang dapat Anda sebarkan di atas meja sekaligus: Kertas yang tidak muat di atas meja berada di luar jangkauan pandangan Anda pada saat itu.
Jika jendela konteks model adalah 200.000 token, ini setara dengan sekitar 150.000 kata, atau beberapa buku berukuran sedang. 1 juta token dapat memproses dokumen yang jauh lebih besar secara keseluruhan. Beberapa model canggih saat ini (misalnya Claude Opus 4.8 dan Sonnet 5) menawarkan 1 juta konteks token, sementara model ringan sering kali hadir dengan jendela yang lebih kecil (misalnya 200.000 token untuk Haiku 4.5).
Mengapa ini penting? Karena jika suatu dokumen tidak sesuai dengan jendela konteks, model tidak dapat melihat semuanya secara bersamaan. Anda tidak dapat memberikan kontrak 500 halaman secara keseluruhan ke model 200.000 token; Anda bisa membagi dokumen menjadi beberapa bagian (yang mungkin kehilangan hubungan antar bagian) atau memilih model dengan konteks yang lebih luas.
Perhatian: Tidaklah bijaksana untuk mengisi setiap dokumen karena hanya karena jendela konteksnya besar. Semakin banyak token yang Anda masukkan ke dalam jendela, semakin banyak Anda membayar, dan terkadang model dapat melewatkan detail tengah dalam teks yang sangat panjang. Seringkali lebih murah dan akurat jika hanya mengirimkan bagian yang berfungsi.
Jendela Konteks adalah Kriteria Keputusan
Pencarian
Perkiraan konteks yang diperlukan
Tingkat yang sesuai
Balasan email singkat
beberapa ratus token
ringan
Ringkasan satu halaman
beberapa ribu token
Ringan/seimbang
Analisis laporan 40 halaman
~30.000 token
Seimbang/kuat
Ulasan kontrak 300 halaman
~250.000 token
Kuat dengan konteks luas
Memproses ratusan dokumen sekaligus
500.000+ token
Konteks terluas
Tabel ini menjawab pertanyaan "model yang mana?" Hal ini menunjukkan bahwa sebagian pertanyaan dijawab langsung oleh ukuran dokumen. Sungguh sia-sia membeli model mahal dengan konteks luas untuk pekerjaan jangka pendek; Model dengan jendela kecil tidak memadai untuk dokumen berukuran besar.
Multimodalitas: Melampaui Teks
Multimodalitas adalah kemampuan model untuk menangani berbagai jenis data (gambar, audio, terkadang video), bukan hanya teks. "Modal" di sini berarti "tipe data"; multimodal artinya “banyak jenis”.
- Model hanya teks: Hanya membaca dan menulis teks tertulis.
- Model multimodal: Dapat membaca foto uang kertas, menafsirkan tren pada grafik, memecahkan kode catatan tulisan tangan, terkadang menyalin rekaman suara.
Mengapa ini penting? Karena sifat bisnis Anda mungkin memerlukan multimodalitas. Tim akuntansi yang mengekstraksi jumlah dari gambar faktur, tim e-commerce yang mengklasifikasikan foto produk, atau tim asuransi yang mengevaluasi foto kerusakan tidak dapat melakukan pekerjaan ini dengan model yang hanya membaca teks. Pemrosesan visual sangat penting untuk tugas-tugas ini.
Tiga Kasus Realistis
Kasus 1 — Kejutan biaya token. Tim konten juga mengirimkan dokumen “panduan merek” setebal 20 halaman kepada model saat mereka membuat setiap postingan blog. Panduan ini berisi sekitar 15.000 token. Mereka memproduksi 2.000 artikel sebulan; Jadi mengirimkan panduannya berulang kali berarti masukan 30 juta token. Dengan memperpendek panduan dan hanya mengirimkan bagian yang relevan (sekitar 2.000 token), mereka mengurangi masukan menjadi sepertujuh dan mengurangi tagihan secara signifikan.
Kasus 2 — Jendela konteks saja tidak cukup. Sebuah firma hukum ingin perjanjian merger setebal 280 halaman ditinjau. Model pertama yang mereka coba memiliki pengikatan 200,000 token dan dokumennya tidak sesuai; Ketika dokumen dirobek, model tidak dapat menyadari bahwa artikel di bagian pertama bertentangan dengan artikel di bagian terakhir. Saat beralih ke model dengan konteks 1 juta token, ia membaca dokumen secara keseluruhan dan menangkap kontradiksinya. Di sini jendela konteks secara langsung menentukan keakuratan.
Kasus 3 — Multimodalitas adalah suatu keharusan. Sebuah perusahaan asuransi ingin melakukan penilaian awal dari foto kerusakan kendaraan. Hal ini tidak mungkin dilakukan dengan model yang hanya membaca teks; Diperlukan model multimodal yang "melihat" foto. Ketika mereka beralih ke model multimoda, mereka membangun sistem pra-penyaringan yang secara kasar mengklasifikasikan lokasi dan tingkat keparahan kerusakan dalam foto dan mengarahkan ahlinya. Namun mereka mencatat bahwa keputusan akhir dibuat oleh manusia yang ahli; karena model merupakan alat penyaringan awal, bukan hasil akhir.
Prompt Lemah / Prompt Kuat
Perintah yang lemah:
Ringkaslah dokumen ini. [dokumen terlalu panjang ditempel]
Perintah yang kuat:
Ringkaslah laporan setebal 40 halaman di bawah ini. Pertama, perkirakan perkiraan jumlah token dalam laporan dan beri tahu kami apakah jumlah tersebut sesuai dengan jendela konteks model seimbang pada umumnya. Kemudian berikan ringkasan dalam format ini: ringkasan eksekutif 5 item + 3 temuan berisiko. Gunakan hanya informasi dalam laporan; Tandai bagian yang Anda tidak yakin sebagai "tidak jelas dalam laporan". [laporan]
Perintah yang kuat ini peka terhadap token/konteks dan mengontrol format serta kemampuan verifikasi keluaran.
Templat yang Dapat Disalin
1. Prediksi token:
Perkirakan perkiraan jumlah token untuk teks berikut dan tafsirkan ini dalam kaitannya dengan biaya input: "[TEXT]". Bulatkan sedikit, mengingat itu bahasa Turki.
2. Pemeriksaan ketersediaan konteks:
Tugas saya adalah memproses dokumen-dokumen berikut: rata-rata [HALAMAN] dari [QTY] dokumen per bulan. Jendela konteks apa yang diperlukan ukuran ini? Level ringan/seimbang/kuat manakah yang cukup? Resiko apa yang timbul jika perlu dibongkar?
3. Diagnosis multimodalitas:
Alur kerja saya: [DESKRIPSI]. Apakah ada pemrosesan visual, audio atau video dalam aliran ini? Jika demikian, apakah model multimodal diperlukan, atau dapatkah model tersebut diubah menjadi teks (OCR/transkripsi) dan diselesaikan dengan model teks? Bandingkan pro/kontra dari kedua jalur tersebut.
4. Pengoptimalan konteks:
Saya mengirim dokumen ke model dengan setiap permintaan, tetapi sebagian besar tidak diperlukan. Bagaimana cara mengekstrak bagian yang sebenarnya diperlukan untuk [TUGAS] dari dokumen ini? Sarankan 3 cara konkrit untuk mengurangi input dan menunjukkan perkiraan penghematan token.
Kesalahan umum
- Salah mengira token sebagai sebuah kata: Token berbeda dari sebuah kata; Faktur dan kapasitas selalu dalam bentuk token, perhitungan dengan kata-kata menyesatkan.
- Berpikir bahwa jendela konteks tidak terbatas: Setiap model memiliki batasan; Jika dokumen tidak sesuai, model tidak dapat melihat keseluruhannya.
- Menggunakan konteks besar yang tidak perlu: Membeli model mahal dengan konteks besar untuk pekerjaan singkat; atau mengisi dokumen berukuran besar untuk setiap permintaan dan membayar dengan sia-sia.
- Dengan asumsi multimodalitas: Tidak semua model dapat memproses visual; Untuk pekerjaan visual, mulailah tanpa memastikan bahwa modelnya multimodal.
- Melupakan muatan token bahasa Turki: Teks-teks Turki umumnya menggunakan lebih banyak token untuk arti yang sama; mengabaikan hal ini dalam estimasi biaya.
Singkatnya
- Token adalah unit kecil tempat model memproses teks; input dan output diukur dan ditagih secara terpisah sebagai token.
- Jendela konteks adalah total token yang dapat diingat oleh model pada suatu waktu; ukuran dokumen secara langsung mempengaruhi pemilihan model.
- Multimodalitas adalah kemampuan model untuk memproses data non-teks seperti visual/audio; Ini penting untuk karya visual.
- Ketiga konsep ini relevan dengan pertanyaan “model yang mana?” serta “berapa biayanya?” Ini menjadi dasar pertanyaan.
Tugas aplikasi
Pilih tugas AI berulang dalam bisnis Anda. Minta templat pertama (prediksi token) menghitung berapa banyak token yang merupakan masukan umum dalam tugas ini. Kemudian tentukan level mana yang memadai dengan template 2 (cek ketersediaan konteks). Jika Anda memiliki pekerjaan visual, klarifikasi apakah model multimodal diperlukan dengan templat ke-3 (diagnosis multimodalitas). Kami akan menggunakan perkiraan token yang dihasilkan dalam perhitungan biaya unit berikutnya.
daftar periksa
- [ ] Saya tahu konsep token dan cara memperkirakan secara kasar berapa banyak token yang dimiliki sebuah teks.
- [] Saya dapat menjelaskan jendela konteks dengan analogi "tabel/memori".
- [ ] Saya dapat mengevaluasi apakah suatu dokumen akan cocok dengan suatu model.
- [ ] Saya dapat mendiagnosis kapan multimodalitas itu penting.
- [ ] Saya memperhitungkan overhead token bahasa Turki dan biaya konteks yang tidak perlu.