Keuntungan:
- Mengenali posisi Meta (Llama), Mistral, xAI (Grok), DeepSeek dan Cohere
- Mengidentifikasi bisnis mana yang paling cocok untuk penyedia layanan terbuka, regional, dan berfokus pada biaya
- Kemampuan untuk mengevaluasi negara asal dan lisensi sebagai kriteria seleksi
Kami mengenal tiga penyedia terbesar AS. Namun, berpikir bahwa pasar adalah segalanya tentang mereka berarti mengabaikan beberapa opsi paling berharga yang Anda miliki. Meta, pemimpin yang jelas, Mistral, kebanggaan Eropa, xAI, yang bekerja dengan data real-time, DeepSeek, yang menonjol dengan keseimbangan biaya/kinerja, dan Cohere, yang berspesialisasi dalam kueri dokumen perusahaan; semuanya mungkin lebih cocok untuk pekerjaan tertentu dibandingkan tiga pekerjaan besar. Di unit ini, Anda akan mengenal secara objektif kelima pemain tersebut, posisinya dan pekerjaan apa yang cocok untuk mereka; Anda akan melihat mengapa negara asal dan lisensi menjadi kriteria seleksi.
Meta — Keluarga Llama (Pemimpin Berat Terbuka)
Keluarga Llama Meta adalah nama yang paling dikenal di dunia openweight. Karena bobotnya dapat diunduh, Anda dapat menjalankannya di server Anda sendiri dan memproses data tanpa harus mengeluarkannya. Ada versi dengan ukuran berbeda: model kecil bekerja bahkan di server biasa, sedangkan model besar memerlukan perangkat keras yang kuat.
Area yang menonjol: Institusi yang menginginkan kontrol data penuh; Mereka yang ingin membuat biaya dapat diprediksi pada volume yang sangat tinggi; dan mereka yang ingin menyesuaikan (menyempurnakan) model dengan datanya sendiri. Penyempurnaan adalah menyesuaikan model yang sudah jadi untuk bisnis Anda dengan melatihnya kembali menggunakan contoh Anda sendiri.
Pengguna pada umumnya: Institusi besar dengan pusat datanya sendiri, industri yang mengutamakan privasi, perusahaan dengan tim teknis yang kuat.
Perhatian: Meskipun lisensi Llama bersifat "terbuka", hal ini bukannya tanpa syarat; mungkin mencakup persyaratan tambahan untuk perusahaan yang sangat besar di atas ambang batas pengguna aktif tertentu. Bacalah lisensi tersebut dengan tim hukum Anda sebelum menjalankannya.
Mistral — Penyedia Eropa
Mistral, yang berbasis di Perancis, menonjol karena asal Eropanya. Ini adalah penyedia “campuran” karena menawarkan model bobot terbuka (seperti Mixtral) dan model tertutup yang lebih bertenaga. Ini adalah kandidat yang wajar untuk organisasi yang mempunyai kepedulian terhadap kedaulatan data di Eropa; karena penyedianya sendiri berada di UE.
Bidang yang menonjol: Lembaga yang peduli terhadap kepatuhan terhadap kerangka hukum Eropa; Mereka yang menginginkan fleksibilitas bobot terbuka dan kenyamanan model tertutup di bawah satu atap; dan dukungan bahasa Eropa multibahasa.
Pengguna umum: Institusi skala menengah dan besar yang beroperasi di UE yang ingin datanya tetap berada di dalam wilayah UE.
xAI — Grok (Data Waktu Nyata)
Model Grok xAI diposisikan berdasarkan integrasinya dengan platform X (sebelumnya Twitter) dan akses ke data terkini dan real-time. Meskipun merupakan model yang bertujuan umum, model ini menarik perhatian dengan klaimnya yang mencerminkan peristiwa terkini dan perkembangan media sosial.
Area yang menonjol: Pelacakan peristiwa terkini, analisis media sosial, konten terkait agenda. Konektivitas real-time sangat berharga ketika model perlu mengetahui sesuatu yang “baru saja terjadi”.
Pengguna pada umumnya: Tim media sosial, pemasar yang memantau merek, produser konten yang pelacakan agendanya sangat penting.
DeepSeek — Biaya/Kinerja (Asal Tiongkok)
DeepSeek yang berbasis di Tiongkok menonjol karena menawarkan kinerja yang kuat dengan biaya rendah, dan beberapa modelnya berbobot terbuka. Ini menawarkan hasil yang kompetitif, terutama dalam tugas-tugas yang membutuhkan banyak penalaran, sekaligus menawarkan keunggulan harga.
Bidang yang menonjol: Pekerjaan penalaran bervolume tinggi dengan sensitivitas anggaran tinggi; Tim yang menginginkan fleksibilitas bobot yang jelas namun harus menjaga biaya tetap rendah.
Pengguna pada umumnya: Inisiatif yang berfokus pada biaya, tim yang melakukan analisis bervolume tinggi.
Perhatian: DeepSeek berasal dari China. Jika Anda akan memproses data pribadi atau rahasia dagang, pastikan untuk memperjelas di mana data tersebut diproses dan disimpan. Menjalankan versi openweight di server Anda sendiri dapat mengatasi kekhawatiran ini; Penggunaan layanan cloud harus dievaluasi secara cermat dalam hal kedaulatan data. Kami akan membahas topik ini secara mendalam di unit 8.
Cohere - Pencarian Perusahaan dan RAG
Cohere yang berbasis di Kanada diposisikan untuk beban kerja perusahaan dibandingkan aplikasi obrolan konsumen. Hal ini sangat berguna dalam skenario RAG (menghasilkan pengetahuan yang diambil); yaitu, dalam sistem tempat model menemukan dan membaca bagian yang relevan dari arsip dokumen Anda sebelum merespons. Hal ini juga lebih disukai untuk membangun infrastruktur pencarian perusahaan dengan model "penyematan" yang mengubah teks menjadi vektor numerik. (Penyematan adalah mengubah arti suatu teks menjadi angka sehingga teks serupa dapat ditempatkan berdampingan.)
Area yang menonjol: Permintaan dokumen internal, pencarian cerdas, sistem tanya jawab pada basis pengetahuan.
Pengguna pada umumnya: Institusi dengan arsip dokumen besar, tim yang ingin membuat basis pengetahuan internalnya dapat dicari dengan AI.
Lima Pemain Berdampingan
Penyedia
Nilai Unggulan
Berat
Asal
Pekerjaan Khas
Meta (Lama)
Kontrol penuh, penyetelan halus
terbuka
Amerika Serikat
Bisnis rahasia di server sendiri
mistral
Asal UE, fleksibilitas
dicampur
Perancis
Kedaulatan data UE
xAI (Grok)
data waktu nyata
Tertutup
Amerika Serikat
Agenda/media sosial
Pencarian Mendalam
Biaya/kinerja
terbuka
Cina
Volume tinggi, berorientasi pada anggaran
menyatu
Pencarian perusahaan/RAG
dicampur
Kanada
Penyelidikan dokumen
Tiga Kasus Realistis
Kasus 1 — Perusahaan manufaktur yang beroperasi di UE. Sebuah perusahaan dengan pabrik di Jerman ingin mencari dokumentasi teknis dengan AI, namun tidak ingin datanya keluar dari UE. Mereka memilih model tertutup Mistral yang berbasis di UE; Hal ini kuat dan sesuai dengan kerangka hukum. Pekerjaan bulanan ~800.000 token berubah menjadi tagihan yang dapat diprediksi dan tim hukum merasa lega.
Kasus 2 — Inisiatif analisis dengan anggaran terbatas. Startup analisis data yang beranggotakan delapan orang harus mengklasifikasikan dan merangkum puluhan ribu teks pendek setiap hari, tetapi anggarannya terbatas. Mereka menjalankan model bobot terbuka DeepSeek di server yang mereka sewa; Oleh karena itu, mereka tidak membayar per token dan mengatasi kekhawatiran tentang asal usul data dengan tidak pernah mengeluarkan data tersebut.
Kasus 3 — Basis pengetahuan perusahaan asuransi besar. Sebuah perusahaan asuransi dengan puluhan ribu dokumen polis dan prosedur bertanya kepada karyawannya "apa yang harus dilakukan dalam situasi ini?" Dia ingin bisa mengajukan pertanyaannya ke arsip. Mereka sedang membangun sistem pencarian internal dengan RAG Cohere dan model penyematan. Ketika seorang karyawan mengajukan pertanyaan, sistem terlebih dahulu menemukan dokumen yang relevan, kemudian model menjawabnya berdasarkan dokumen tersebut; Jadi, jawabannya tidak dibuat-buat, melainkan berdasarkan dokumen nyata.
Prompt Lemah / Prompt Kuat
Perintah yang lemah:
Sarankan model AI yang murah.
Perintah yang kuat:
Peran Anda: konsultan pengadaan AI. Kebutuhan: Urutkan ~30.000 ulasan singkat pelanggan Turki per hari menjadi positif/negatif/netral. Anggarannya sangat terbatas. Data tidak mengandung data pribadi (anonim). Tugas: Merekomendasikan 3 opsi (termasuk bobot terbuka) dengan keseimbangan biaya/kinerja yang baik. Tulis perkiraan kisaran biaya bulanan, catatan asal/data dan risiko utama untuk masing-masingnya. Terakhir, berikan satu rekomendasi untuk pilot tersebut.
Perintah yang kuat memberikan rekomendasi yang benar-benar dapat ditindaklanjuti karena memberikan volume, batasan anggaran, tipe data, dan bahasa.
Templat yang Dapat Disalin
1. Penyaringan penyedia alternatif:
Cantumkan penyedia di luar tiga besar (Anthropic/OpenAI/Google) yang mungkin cocok untuk tugas [TUGAS] berikut: Meta, Mistral, xAI, DeepSeek, Cohere. Tulis satu baris "mengapa cocok / mengapa tidak cocok" untuk masing-masing baris.
2. Catatan asal dan lisensi:
Saya sedang berpikir untuk menggunakan penyedia berikut [PROVIDER]. Risiko apa yang ditimbulkan oleh negara asal, jenis bobot, dan ketentuan lisensi bagi saya terkait kedaulatan data? Sarankan tindakan pencegahan untuk setiap risiko.
3. Pemeriksaan kepatuhan RAG:
Saya memiliki ~[NUMBER] dokumen dan saya ingin karyawan mengajukan pertanyaan tentang dokumen tersebut. Apakah ini skenario RAG? Jika ya, jenis penyedia/model mana (penyematan + produksi) yang akan Anda rekomendasikan dan apa 3 langkah pertama untuk instalasi?
4. Rencana percontohan bobot terbuka:
Kami ingin menguji coba model bobot terbuka [MODEL] ini di server kami sendiri. Buat rencana kasar dengan persyaratan perangkat keras, langkah instalasi, perkiraan waktu, dan 3 metrik keberhasilan yang harus diikuti di minggu pertama.
Kesalahan umum
- Terjebak dengan tiga besar: Penyedia paling terkenal mungkin bukan yang paling cocok untuk bisnis Anda; Jangan membuat keputusan tanpa mengevaluasi alternatifnya.
- Salah mengartikan negara asal sebagai suatu hal teknis: Asal adalah kriteria strategis dalam hal kedaulatan data dan risiko hukum, bukan label biasa.
- Membingungkan RAG dengan kekuatan model: Keberhasilan dalam pembuatan kueri dokumen sering kali berasal dari penyiapan RAG yang baik, bukan model yang paling canggih.
- Dengan asumsi bobot terbuka bebas instalasi: Memilih DeepSeek atau Llama karena "gratis" dan tidak memperhitungkan beban perangkat keras dan pemeliharaan.
- Melebih-lebihkan kebutuhan akan data real-time: Tidak semua bisnis menginginkan data real-time; Keuntungan Grok hanya masuk akal ketika ketepatan waktu sangat penting.
Singkatnya
- Meta (Llama) bobot terbuka dan kontrol penuh; Asal dan fleksibilitas Mistral UE; xAI data waktu nyata; Biaya/kinerja DeepSeek; Cohere menonjol dengan pencarian perusahaan/RAG.
- Negara asal dan lisensi merupakan kriteria seleksi yang strategis, terutama bagi mereka yang memproses data pribadi atau rahasia.
- Dalam skenario RAG, kesuksesan berasal dari pengaturan pengambilan dokumen yang baik, bukan model terkuat.
- Penyedia yang tepat mungkin berasal dari luar tiga besar, bergantung pada jenis bisnis, anggaran, dan kerangka hukum.
Tugas aplikasi
Pertimbangkan apakah ada kebutuhan untuk menanyakan dokumen di bisnis Anda (misalnya karyawan mengajukan pertanyaan tentang arsip). Mintalah model AI mengevaluasi situasi Anda dengan templat 3 di unit ini (pemeriksaan kesesuaian RAG). Selain itu, jika Anda memproses data pribadi atau rahasia, hilangkan risiko kedaulatan data dari penyedia yang Anda pertimbangkan untuk dipilih dengan templat ke-2 (catatan asal dan lisensi). Keluaran ini akan kami gunakan dalam kajian KVKK pada unit 8.
daftar periksa
- [ ] Saya bisa menandingi nilai menonjol dan karya khas lima pemain alternatif.
- [ ] Saya dapat memisahkan penyedia layanan terbuka, regional, dan yang berfokus pada biaya berdasarkan pekerjaan apa yang cocok untuk mereka.
- [ ] Saya dapat menjelaskan mengapa negara asal dan lisensi menjadi kriteria seleksi.
- [ ] Saya dapat mengenali skenario RAG dan merekomendasikan jenis penyedia yang sesuai.
- [ ] Saya dapat memahami langkah-langkah kasar seorang pilot beban terbuka.