Ein interaktiver Lernpfad

Attention-Komplexität.

Level 99 · Transformer & LLMs. Verbinde Sequenzlänge, Speicher und Rechenaufwand. Mit 20 Aufgaben, Erklärvideo und interaktiven Werkzeugen.

100 Levels2’000 AufgabenOhne Login · lokal gespeichert

0 / 100Levels abgeschlossen

0 / 2’000Aufgaben gelöst

Dein Stand wird automatisch in diesem Browser gespeichert. Alle Levels sind frei wählbar – auch wenn du Browserdaten gelöscht hast.

Für interne Lernstatistiken werden eine anonyme Browser-ID, das ausgewählte Level und Fortschrittszählungen übertragen. Deine Antworten und persönlichen Notizen bleiben im Browser.

Level 99 / 100

Attention-Komplexität

0 / 20 gelöst

Die Idee

Verbinde Sequenzlänge, Speicher und Rechenaufwand.

Score-Matrix: n² Einträge pro Kopf

Wichtig: Doppelte Sequenzlänge vervierfacht die dichte Score-Matrix.

Warum für AI? Diese Bausteine erklären zentrale mathematische Vorgänge in Transformern.

Ein Beispiel mit Lösungsweg

Dichte Attention: n=128 Tokens, h=8 Köpfe. Wie viele Score-Einträge gibt es insgesamt, und wie viele nach Verdopplung von n?

1. Pro Kopf gibt es (1)² Tokenpaare; multipliziere mit h.
2. Verdopplung von (1) ergibt den Faktor 4.
3. Einträge = 131072; Einträge bei 2n = 524288. Prüfe die Reihenfolge und die Vorzeichen mit der Aufgabenstellung.
Ergebnis: 131072; 524288.

Erklärvideo · mit deutscher Sprachspur

Sehen, hören und verstehen.

Animierte Grafiken zeigen den Rechenweg – mit deutscher Erklärung und Untertiteln. Pausiere jederzeit zum Nachrechnen.

Video herunterladen ↗

Jetzt bist du dran.

20 Aufgaben · 1–4 Einstieg, ab 5 langsam anspruchsvoller

Aufgabe 1 / 20

Dichte Attention: n=128 Tokens, h=8 Köpfe. Wie viele Score-Einträge gibt es insgesamt, und wie viele nach Verdopplung von n?

Deine Notizen0 / 4’000 Zeichen · lokal gespeichert

Alle 100 Themen entdecken

1 · Rechenregeln 2 · Negative Zahlen 3 · Brüche 4 · Prozentrechnung 5 · Potenzen 6 · Wurzeln 7 · Logarithmen 8 · Lineare Gleichungen 9 · Funktionen 10 · Steigung & Koordinaten 11 · Vektoren addieren 12 · Vektoren skalieren 13 · Skalarprodukt 14 · Vektorlänge 15 · Abstände 16 · Cosinus-Ähnlichkeit 17 · Projektionen 18 · Matrix × Vektor 19 · Matrix × Matrix 20 · Determinanten 21 · Inverse Matrizen 22 · Lineare Systeme 23 · Basis & Koordinaten 24 · Rang 25 · Eigenwerte 26 · Positive Definitheit 27 · Singulärwerte 28 · PCA 29 · Kleinste Quadrate 30 · Kondition 31 · Potenzregel 32 · Exponential- & Log-Ableitung 33 · Produktregel 34 · Kettenregel 35 · Sigmoid-Ableitung 36 · Partielle Ableitungen 37 · Gradienten 38 · Richtungsableitung 39 · Jacobi-Matrix 40 · Hesse-Matrix 41 · Taylor-Näherung 42 · Stationäre Punkte 43 · Bestimmte Integrale 44 · Dichten normieren 45 · Erwartungswert 46 · Varianz 47 · Normalverteilung 48 · Kovarianz 49 · Korrelation 50 · Standardisierung 51 · Kombinatorik 52 · Wahrscheinlichkeiten 53 · Bedingte Wahrscheinlichkeit 54 · Bayes-Regel 55 · Unabhängigkeit 56 · Bernoulli-Verteilung 57 · Binomialverteilung 58 · Kategoriale MLE 59 · Gauss-MLE 60 · Standardfehler 61 · Entropie 62 · Cross-Entropy 63 · KL-Divergenz 64 · Softmax 65 · Log-Sum-Exp 66 · Perplexität 67 · Logistische Regression 68 · Quadratischer Fehler 69 · Ridge-Gradient 70 · Klassifikationsmetriken 71 · Gradient Descent 72 · Momentum 73 · RMSprop 74 · Adam 75 · Mini-Batch-Gradienten 76 · Lernraten-Schedules 77 · Konvexität 78 · Newton-Schritt 79 · Lipschitz-Gradienten 80 · Generalisierung & Konzentration 81 · Affine Neuronen 82 · ReLU 83 · Backpropagation 84 · Softmax + Cross-Entropy 85 · Xavier-Initialisierung 86 · Inverted Dropout 87 · Layer Normalization 88 · Residual-Verbindungen 89 · Parameter zählen 90 · Faltung & Formen 91 · Embeddings 92 · Positionskodierung 93 · Scaled Dot-Product Attention 94 · Attention-Werte 95 · Causale Masken 96 · Multi-Head Attention 97 · Feedforward-Blöcke 98 · Low-Rank Adaptation 99 · Attention-Komplexität 100 · Transformer-Capstone

Alle 20 Aufgaben dieses Levels lesen

Dichte Attention: n=128 Tokens, h=8 Köpfe. Wie viele Score-Einträge gibt es insgesamt, und wie viele nach Verdopplung von n?
Dichte Attention: n=192 Tokens, h=8 Köpfe. Wie viele Score-Einträge gibt es insgesamt, und wie viele nach Verdopplung von n?
Dichte Attention: n=256 Tokens, h=8 Köpfe. Wie viele Score-Einträge gibt es insgesamt, und wie viele nach Verdopplung von n?
Dichte Attention: n=320 Tokens, h=8 Köpfe. Wie viele Score-Einträge gibt es insgesamt, und wie viele nach Verdopplung von n?
Dichte Attention: n=384 Tokens, h=8 Köpfe. Wie viele Score-Einträge gibt es insgesamt, und wie viele nach Verdopplung von n?
Dichte Attention: n=448 Tokens, h=8 Köpfe. Wie viele Score-Einträge gibt es insgesamt, und wie viele nach Verdopplung von n?
Dichte Attention: n=512 Tokens, h=8 Köpfe. Wie viele Score-Einträge gibt es insgesamt, und wie viele nach Verdopplung von n?
Dichte Attention: n=576 Tokens, h=8 Köpfe. Wie viele Score-Einträge gibt es insgesamt, und wie viele nach Verdopplung von n?
Dichte Attention: n=640 Tokens, h=8 Köpfe. Wie viele Score-Einträge gibt es insgesamt, und wie viele nach Verdopplung von n?
Dichte Attention: n=704 Tokens, h=8 Köpfe. Wie viele Score-Einträge gibt es insgesamt, und wie viele nach Verdopplung von n?
Dichte Attention: n=768 Tokens, h=8 Köpfe. Wie viele Score-Einträge gibt es insgesamt, und wie viele nach Verdopplung von n?
Dichte Attention: n=832 Tokens, h=8 Köpfe. Wie viele Score-Einträge gibt es insgesamt, und wie viele nach Verdopplung von n?
Dichte Attention: n=896 Tokens, h=8 Köpfe. Wie viele Score-Einträge gibt es insgesamt, und wie viele nach Verdopplung von n?
Dichte Attention: n=960 Tokens, h=8 Köpfe. Wie viele Score-Einträge gibt es insgesamt, und wie viele nach Verdopplung von n?
Dichte Attention: n=1024 Tokens, h=8 Köpfe. Wie viele Score-Einträge gibt es insgesamt, und wie viele nach Verdopplung von n?
Dichte Attention: n=1088 Tokens, h=8 Köpfe. Wie viele Score-Einträge gibt es insgesamt, und wie viele nach Verdopplung von n?
Dichte Attention: n=1152 Tokens, h=8 Köpfe. Wie viele Score-Einträge gibt es insgesamt, und wie viele nach Verdopplung von n?
Dichte Attention: n=1216 Tokens, h=8 Köpfe. Wie viele Score-Einträge gibt es insgesamt, und wie viele nach Verdopplung von n?
Dichte Attention: n=1280 Tokens, h=8 Köpfe. Wie viele Score-Einträge gibt es insgesamt, und wie viele nach Verdopplung von n?
Dichte Attention: n=1344 Tokens, h=8 Köpfe. Wie viele Score-Einträge gibt es insgesamt, und wie viele nach Verdopplung von n?

Dein Fortschritt gehört dir.

Exportiere ihn vor dem Löschen deiner Browserdaten oder nimm ihn als Datei auf ein anderes Gerät mit. Alternativ kannst du jederzeit ein Level direkt auswählen.

Mathematisch verstehen. Praktisch vertiefen.

Der Kurs verbindet Grundlagen mit anspruchsvollen Modellrechnungen. Für professionelle AI-Arbeit gehören danach eigene Implementierungen, Experimente, Datenanalyse und das Lesen von Forschungsarbeiten dazu. Eine abgeschlossene Aufgabenliste ist kein Berufsabschluss.

Zum Vertiefen: Mathematics for Machine Learning · Deep Learning · Attention Is All You Need. Die Aufgaben und Kurzvideos dieser Seite sind eigenständig erstellt.