Gewinne:
- Fähigkeit, die Konzepte von Token, Kontextfenster und Multimodalität in der Alltagssprache zu erklären
- Diagnostizieren Sie, ob eine Aufgabe einen breiten Kontext oder Multimodalität erfordert
- Fähigkeit zu berücksichtigen, wie sich diese Konzepte auf die Kosten und die Modellauswahl auswirken
Bisher sind uns die Anbieter und Modelltypen bekannt. Für die richtige Modellauswahl ist es jedoch auch notwendig zu verstehen, wie die Modelle „im Inneren“ funktionieren; denn Preis-, Kapazitäts- und Verfügbarkeitsentscheidungen basieren alle auf drei Kernkonzepten: Token, Kontextfenster und Multimodalität. Jemand, der diese Konzepte nicht kennt, kann das Preisblatt nicht lesen und sich fragen: „Passt dieses Dokument zum Modell?“ Ich kann die Frage nicht beantworten und kann nicht erkennen, wann visuelle Verarbeitung unerlässlich ist. Am Ende dieser Einheit werden Sie in der Lage sein, diese drei Konzepte in der Alltagssprache zu erklären, zu diagnostizieren, ob ein Job einen breiten Kontext oder Multimodalität erfordert, und ihre Auswirkungen auf die Kosten zu berücksichtigen.
Token: Vom Modell anstelle von Wort verwendete Einheit
Modelle der künstlichen Intelligenz verarbeiten Text nicht Wort für Wort, sondern in kleinen Teilen, sogenannten Token. Ein Token; Es kann ein Wort, ein Wortteil, ein Satzzeichen oder ein Leerzeichen sein. Um eine grobe Rechnung anzustellen: Im Englischen besteht ein durchschnittlicher Token aus etwa vier Zeichen und 100 Wörter sind etwa 130–150 Token. Im Türkischen kann diese Rate aufgrund von Suffixen und langen Wörtern etwas höher sein; Mit anderen Worten: Ein türkischer Text mit derselben Bedeutung verbraucht etwas mehr Token als ein englischer.
Warum ist das wichtig zu wissen? Denn alles wird in Token abgerechnet und gemessen. Der Text (Eingabe), den Sie an das Modell senden, und die vom Modell erzeugte Antwort (Ausgabe) werden als separate Token gezählt. Sowohl Ihre Rechnung als auch die Kapazität des Modells erfolgen in Token.
Tipp: Um eine grobe Schätzung zu erhalten, wie viele Token ein Text hat, teilen Sie die Anzahl der Zeichen durch vier. Eine E-Mail mit 4.000 Zeichen entspricht etwa 1.000 Token. Gehen Sie im Türkischen sicherheitshalber etwas höher davon aus.
Kontextfenster: „Kurzzeitgedächtnis“ des Modells
Das Kontextfenster ist die Gesamtzahl der Token, die das Modell gleichzeitig berücksichtigen kann. Eingabe und Ausgabe müssen in diesem Fenster zusammenpassen. Stellen Sie sich das wie die Menge Papier vor, die Sie auf einmal auf einem Tisch ausbreiten können: Das Papier, das nicht auf den Tisch passt, befindet sich in diesem Moment außerhalb Ihres Blickfelds.
Wenn das Kontextfenster eines Modells 200.000 Token umfasst, entspricht dies etwa 150.000 Wörtern oder mehreren mittelgroßen Büchern. 1 Million Token können insgesamt viel größere Dokumente verarbeiten. Einige leistungsstarke Modelle bieten heute (z. B. Claude Opus 4.8 und Sonnet 5) 1 Million Token-Kontexte, während leichte Modelle häufig mit kleineren Fenstern ausgestattet sind (z. B. 200.000 Token für Haiku 4.5).
Warum ist es wichtig? Denn wenn ein Dokument nicht in das Kontextfenster passt, kann das Modell es nicht vollständig sehen. Sie können einen 500-seitigen Vertrag nicht vollständig einem 200.000-Token-Modell geben; Sie teilen das Dokument entweder in Teile auf (wodurch die Beziehung zwischen den Teilen verloren gehen kann) oder wählen ein Modell mit einem breiteren Kontext.
Achtung: Es ist nicht ratsam, jedes einzelne Dokument auszufüllen, nur weil das Kontextfenster groß ist. Je mehr Token Sie in das Fenster legen, desto mehr zahlen Sie, und manchmal kann es vorkommen, dass das Model in sehr langen Texten die mittleren Details übersieht. Es ist oft günstiger und genauer, nur das Teil einzusenden, das funktioniert.
Das Kontextfenster ist ein Entscheidungskriterium
Suche
Ungefährer erforderlicher Kontext
Angemessenes Niveau
Kurze E-Mail-Antwort
mehrere hundert Token
leicht
Zusammenfassung auf einer Seite
mehrere tausend Token
Leicht/ausgewogen
40-seitige Berichtsanalyse
~30.000 Token
Ausgewogen/stark
300-seitige Vertragsrezension
~250.000 Token
Kraftvoll mit breitem Kontext
Verarbeiten Sie Hunderte von Dokumenten gleichzeitig
Über 500.000 Token
Breitester Kontext
Diese Tabelle beantwortet die Frage „Welches Modell?“ Es zeigt, dass ein Teil der Frage direkt durch die Dokumentgröße beantwortet wird. Es ist eine Verschwendung, für kurze Arbeiten ein teures Modell mit großem Kontext zu kaufen; Für große Dokumente ist ein Modell mit kleinem Fenster nicht geeignet.
Multimodalität: Über den Text hinausgehen
Multimodalität ist die Fähigkeit eines Modells, mehrere Datentypen (Bild, Audio, manchmal Video) und nicht nur Text zu verarbeiten. „Modal“ bedeutet hier „Datentyp“; multimodal bedeutet „viele Arten“.
- Nur-Text-Modell: Liest und schreibt nur geschriebenen Text.
- Multimodales Modell: Kann ein Foto einer Rechnung lesen, einen Trend in einem Diagramm interpretieren, eine handschriftliche Notiz entschlüsseln und manchmal eine Sprachaufzeichnung transkribieren.
Warum ist es wichtig? Denn die Art Ihres Unternehmens erfordert möglicherweise Multimodalität. Ein Buchhaltungsteam, das Beträge aus Rechnungsbildern extrahiert, ein E-Commerce-Team, das Produktfotos klassifiziert, oder ein Versicherungsteam, das Schadensfotos auswertet, können diese Aufgabe mit einem Modell, das nur Text liest, nicht bewältigen. Für diese Aufgaben ist die visuelle Verarbeitung unerlässlich.
Drei realistische Fälle
Fall 1 – Token-Kostenüberraschung. Ein Content-Team sendet dem Model außerdem ein 20-seitiges „Markenleitfaden“-Dokument, während es jeden Blog-Beitrag erstellt. Dieser Leitfaden umfasst etwa 15.000 Token. Sie produzieren 2.000 Artikel pro Monat; Allein das wiederholte Versenden des Leitfadens bedeutet also 30 Millionen Tokens an Input. Indem sie den Leitfaden kürzen und nur den relevanten Abschnitt (ca. 2.000 Token) versenden, reduzieren sie den Aufwand auf ein Siebtel und senken die Rechnung deutlich.
Fall 2 – Das Kontextfenster reicht nicht aus. Eine Anwaltskanzlei möchte einen 280-seitigen Fusionsvertrag prüfen lassen. Das erste Modell, das sie ausprobierten, hatte eine Bindung von 200.000 Token und das Dokument passte nicht; Wenn das Dokument auseinandergerissen wird, kann das Modell nicht erkennen, dass ein Artikel im ersten Abschnitt einem Artikel im letzten Abschnitt widerspricht. Wenn es zu einem Modell mit 1 Million Token-Kontext wechselt, liest es das Dokument als Ganzes und erkennt den Widerspruch. Hier bestimmt das Kontextfenster direkt die Genauigkeit.
Fall 3 – Multimodalität ist ein Muss. Eine Versicherungsgesellschaft möchte anhand von Fahrzeugschadenfotos eine vorläufige Einschätzung vornehmen. Dies ist mit einem Modell, das nur Text liest, nicht möglich; Benötigt wird ein multimodales Modell, das das Foto „sieht“. Bei der Umstellung auf ein multimodales Modell richten sie ein Vorscreening-System ein, das Ort und Schwere des Schadens im Foto grob einordnet und den Sachverständigen anweist. Sie stellen jedoch fest, dass ein menschlicher Experte die endgültige Entscheidung trifft; denn das Modell ist ein vorläufiges Screening-Tool und nicht das letzte Wort.
Schwache Eingabeaufforderung / Starke Eingabeaufforderung
Schwache Eingabeaufforderung:
Fassen Sie dieses Dokument zusammen. [zu langes Dokument eingefügt]
Kraftvolle Aufforderung:
Fassen Sie den 40-seitigen Bericht unten zusammen. Schätzen Sie zunächst die ungefähre Anzahl der Token im Bericht und teilen Sie uns mit, ob sie in das Kontextfenster eines typischen ausgewogenen Modells passt. Geben Sie dann die Zusammenfassung in diesem Format an: 5-Punkte-Zusammenfassung + 3 riskante Erkenntnisse. Verwenden Sie nur die Informationen im Bericht; Markieren Sie den Teil, bei dem Sie sich nicht sicher sind, als „im Bericht nicht klar“. [Bericht]
Die leistungsstarke Eingabeaufforderung ist sowohl token- als auch kontextbewusst und steuert das Format und die Überprüfbarkeit der Ausgabe.
Kopierbare Vorlagen
1. Token-Vorhersage:
Schätzen Sie die ungefähre Anzahl der Token für den folgenden Text und interpretieren Sie diese im Hinblick auf die Eingabekosten: „[TEXT]“. Runden Sie es ein wenig auf, wenn Sie berücksichtigen, dass es türkisch ist.
2. Kontextverfügbarkeitsprüfung:
Meine Aufgabe besteht darin, die folgenden Dokumente zu verarbeiten: durchschnittlich [SEITEN] von [ANZAHL] Dokumenten pro Monat. Welches Kontextfenster ist für diese Größe erforderlich? Welche der Stufen „leicht/ausgeglichen/stark“ wäre ausreichend? Welches Risiko entsteht, wenn es demontiert werden muss?
3. Multimodalitätsdiagnose:
Mein Workflow: [BESCHREIBUNG]. Gibt es in diesem Stream eine visuelle, Audio- oder Videoverarbeitung? Wenn ja, ist ein multimodales Modell erforderlich oder kann es in Text umgewandelt (OCR/Transkription) und mit dem Textmodell gelöst werden? Vergleichen Sie die Vor- und Nachteile der beiden Wege.
4. Kontextoptimierung:
Ich sende dem Model bei jeder Anfrage ein Dokument, das meiste davon ist jedoch unnötig. Wie extrahiere ich aus diesem Dokument die Teile, die tatsächlich für [TASK] benötigt werden? Schlagen Sie drei konkrete Möglichkeiten zur Reduzierung des Inputs vor und geben Sie die geschätzten Token-Einsparungen an.
Häufige Fehler
- Token mit einem Wort verwechseln: Token unterscheidet sich von einem Wort; Rechnung und Kapazität erfolgen immer in Token, eine Berechnung in Worten ist irreführend.
- Denken Sie, dass das Kontextfenster unendlich ist: Jedes Modell hat eine Grenze; Wenn das Dokument nicht passt, kann das Modell das Ganze nicht sehen.
- Verwendung unnötig großen Kontexts: Kauf eines teuren Modells mit großem Kontext für einen kurzen Job; oder füllen Sie für jede Anfrage riesige Dokumente aus und zahlen Sie umsonst.
- Multimodalität vorausgesetzt: Nicht jedes Modell kann Bilder verarbeiten; Beginnen Sie bei der visuellen Arbeit, ohne zu bestätigen, dass das Modell multimodal ist.
- Vergessen wir die Token-Last des Türkischen: Türkische Texte verbrauchen im Allgemeinen etwas mehr Token für die gleiche Bedeutung; Dies wird bei der Kostenschätzung außer Acht gelassen.
Zusammenfassend
- Ein Token ist die kleine Einheit, in der das Modell Text verarbeitet. Input und Output werden separat als Token gemessen und abgerechnet.
- Das Kontextfenster stellt die Gesamtzahl der Token dar, die das Modell gleichzeitig im Gedächtnis behalten kann. Die Dokumentgröße wirkt sich direkt auf die Modellauswahl aus.
- Multimodalität ist die Fähigkeit des Modells, Nicht-Text-Daten wie Bild/Audio zu verarbeiten; Es ist für visuelle Arbeiten unerlässlich.
- Diese drei Konzepte sind beide relevant für die Frage „Welches Modell?“ sowie „Wie viel kostet es?“ Es bildet die Grundlage der Fragen.
Anwendungsaufgabe
Wählen Sie eine wiederkehrende KI-Aufgabe in Ihrem Unternehmen. Lassen Sie die erste Vorlage (Token-Vorhersage) berechnen, wie viele Token eine typische Eingabe in dieser Aufgabe umfasst. Anschließend ermitteln Sie mit Vorlage 2 (Kontextverfügbarkeitsprüfung), welcher Level ausreichend ist. Wenn Sie eine visuelle Tätigkeit haben, klären Sie mit der 3. Vorlage (Multimodalitätsdiagnose), ob ein multimodales Modell erforderlich ist. Die daraus resultierende Token-Schätzung werden wir bei der Kostenberechnung der nächsten Einheit verwenden.
Checkliste
- [ ] Ich kenne das Konzept des Tokens und weiß, wie man ungefähr abschätzen kann, wie viele Token ein Text hat.
- [ ] Ich kann das Kontextfenster mit einer „Tabelle/Speicher“-Analogie erklären.
- [ ] Ich kann beurteilen, ob ein Dokument in ein Modell passt.
- [ ] Ich kann diagnostizieren, wann Multimodalität unerlässlich ist.
- [ ] Ich berücksichtige den symbolischen Mehraufwand des Türkischen und die Kosten für unnötigen Kontext.