Ein interaktiver Lernpfad

Transformer-Capstone.

Level 100 · Transformer & LLMs. Verknüpfe Query, skalierte Scores, Softmax, Values, Verlust und einen Trainingsschritt. Mit 20 Aufgaben, Erklärvideo und interaktiven Werkzeugen.

100 Levels2’000 AufgabenOhne Login · lokal gespeichert

0 / 100Levels abgeschlossen

0 / 2’000Aufgaben gelöst

Dein Stand wird automatisch in diesem Browser gespeichert. Alle Levels sind frei wählbar – auch wenn du Browserdaten gelöscht hast.

Für interne Lernstatistiken werden eine anonyme Browser-ID, das ausgewählte Level und Fortschrittszählungen übertragen. Deine Antworten und persönlichen Notizen bleiben im Browser.

Level 100 / 100

Transformer-Capstone

0 / 20 gelöst

Die Idee

Verknüpfe Query, skalierte Scores, Softmax, Values, Verlust und einen Trainingsschritt.

L = (o−y)²/2 + λw²; w_neu = w−η·∂L/∂w

Wichtig: Dies ist ein vollständig differenzierbares Mini-Modell, kein vollständiges produktives LLM.

Warum für AI? Diese Bausteine erklären zentrale mathematische Vorgänge in Transformern.

Ein Beispiel mit Lösungsweg

Mini-Transformer-Training: q=(w,1), w=0.3; k₁=(2,0), k₂=(0,0.5); skalierte Scores q·k/√2. Values v₁=1, v₂=-2. o=α₁v₁+α₂v₂, Ziel y=0.1, L=(o−y)²/2+0.01w², η=0.02. Berechne o, L, dL/dw und w_neu.

1. s₁=wk₁/√2, s₂=k₂/√2. α=softmax(s)₁. do/dw=α(1−α)(v₁−v₂)k₁/√2. dL/dw=(o−y)do/dw+0.02w.
2. Abschliessend w_neu=w−η(dL/dw).
3. o = -0.446989; L = 0.150499; dL/dw = -0.573445; w_neu = 0.311469. Prüfe die Reihenfolge und die Vorzeichen mit der Aufgabenstellung.
Ergebnis: -0.446989; 0.150499; -0.573445; 0.311469.

Erklärvideo · mit deutscher Sprachspur

Sehen, hören und verstehen.

Animierte Grafiken zeigen den Rechenweg – mit deutscher Erklärung und Untertiteln. Pausiere jederzeit zum Nachrechnen.

Video herunterladen ↗

Jetzt bist du dran.

20 Aufgaben · 1–4 Einstieg, ab 5 langsam anspruchsvoller

Aufgabe 1 / 20

Mini-Transformer-Training: q=(w,1), w=0.3; k₁=(2,0), k₂=(0,0.5); skalierte Scores q·k/√2. Values v₁=1, v₂=-2. o=α₁v₁+α₂v₂, Ziel y=0.1, L=(o−y)²/2+0.01w², η=0.02. Berechne o, L, dL/dw und w_neu.

Deine Notizen0 / 4’000 Zeichen · lokal gespeichert

Alle 100 Themen entdecken

1 · Rechenregeln 2 · Negative Zahlen 3 · Brüche 4 · Prozentrechnung 5 · Potenzen 6 · Wurzeln 7 · Logarithmen 8 · Lineare Gleichungen 9 · Funktionen 10 · Steigung & Koordinaten 11 · Vektoren addieren 12 · Vektoren skalieren 13 · Skalarprodukt 14 · Vektorlänge 15 · Abstände 16 · Cosinus-Ähnlichkeit 17 · Projektionen 18 · Matrix × Vektor 19 · Matrix × Matrix 20 · Determinanten 21 · Inverse Matrizen 22 · Lineare Systeme 23 · Basis & Koordinaten 24 · Rang 25 · Eigenwerte 26 · Positive Definitheit 27 · Singulärwerte 28 · PCA 29 · Kleinste Quadrate 30 · Kondition 31 · Potenzregel 32 · Exponential- & Log-Ableitung 33 · Produktregel 34 · Kettenregel 35 · Sigmoid-Ableitung 36 · Partielle Ableitungen 37 · Gradienten 38 · Richtungsableitung 39 · Jacobi-Matrix 40 · Hesse-Matrix 41 · Taylor-Näherung 42 · Stationäre Punkte 43 · Bestimmte Integrale 44 · Dichten normieren 45 · Erwartungswert 46 · Varianz 47 · Normalverteilung 48 · Kovarianz 49 · Korrelation 50 · Standardisierung 51 · Kombinatorik 52 · Wahrscheinlichkeiten 53 · Bedingte Wahrscheinlichkeit 54 · Bayes-Regel 55 · Unabhängigkeit 56 · Bernoulli-Verteilung 57 · Binomialverteilung 58 · Kategoriale MLE 59 · Gauss-MLE 60 · Standardfehler 61 · Entropie 62 · Cross-Entropy 63 · KL-Divergenz 64 · Softmax 65 · Log-Sum-Exp 66 · Perplexität 67 · Logistische Regression 68 · Quadratischer Fehler 69 · Ridge-Gradient 70 · Klassifikationsmetriken 71 · Gradient Descent 72 · Momentum 73 · RMSprop 74 · Adam 75 · Mini-Batch-Gradienten 76 · Lernraten-Schedules 77 · Konvexität 78 · Newton-Schritt 79 · Lipschitz-Gradienten 80 · Generalisierung & Konzentration 81 · Affine Neuronen 82 · ReLU 83 · Backpropagation 84 · Softmax + Cross-Entropy 85 · Xavier-Initialisierung 86 · Inverted Dropout 87 · Layer Normalization 88 · Residual-Verbindungen 89 · Parameter zählen 90 · Faltung & Formen 91 · Embeddings 92 · Positionskodierung 93 · Scaled Dot-Product Attention 94 · Attention-Werte 95 · Causale Masken 96 · Multi-Head Attention 97 · Feedforward-Blöcke 98 · Low-Rank Adaptation 99 · Attention-Komplexität 100 · Transformer-Capstone

Alle 20 Aufgaben dieses Levels lesen

Mini-Transformer-Training: q=(w,1), w=0.3; k₁=(2,0), k₂=(0,0.5); skalierte Scores q·k/√2. Values v₁=1, v₂=-2. o=α₁v₁+α₂v₂, Ziel y=0.1, L=(o−y)²/2+0.01w², η=0.02. Berechne o, L, dL/dw und w_neu.
Mini-Transformer-Training: q=(w,1), w=0.4; k₁=(2,0), k₂=(0,0.5); skalierte Scores q·k/√2. Values v₁=1, v₂=-2. o=α₁v₁+α₂v₂, Ziel y=0.2, L=(o−y)²/2+0.01w², η=0.03. Berechne o, L, dL/dw und w_neu.
Mini-Transformer-Training: q=(w,1), w=0.5; k₁=(2,0), k₂=(0,0.5); skalierte Scores q·k/√2. Values v₁=1, v₂=-2. o=α₁v₁+α₂v₂, Ziel y=0.3, L=(o−y)²/2+0.01w², η=0.01. Berechne o, L, dL/dw und w_neu.
Mini-Transformer-Training: q=(w,1), w=0.6; k₁=(2,0), k₂=(0,0.5); skalierte Scores q·k/√2. Values v₁=1, v₂=-2. o=α₁v₁+α₂v₂, Ziel y=0.4, L=(o−y)²/2+0.01w², η=0.02. Berechne o, L, dL/dw und w_neu.
Mini-Transformer-Training: q=(w,1), w=0.7; k₁=(3,0), k₂=(0,1); skalierte Scores q·k/√2. Values v₁=2, v₂=-3. o=α₁v₁+α₂v₂, Ziel y=0.5, L=(o−y)²/2+0.01w², η=0.03. Berechne o, L, dL/dw und w_neu.
Mini-Transformer-Training: q=(w,1), w=0.8; k₁=(3,0), k₂=(0,1); skalierte Scores q·k/√2. Values v₁=2, v₂=-3. o=α₁v₁+α₂v₂, Ziel y=0.6, L=(o−y)²/2+0.01w², η=0.01. Berechne o, L, dL/dw und w_neu.
Mini-Transformer-Training: q=(w,1), w=1; k₁=(3,0), k₂=(0,1); skalierte Scores q·k/√2. Values v₁=2, v₂=-3. o=α₁v₁+α₂v₂, Ziel y=0.7, L=(o−y)²/2+0.01w², η=0.02. Berechne o, L, dL/dw und w_neu.
Mini-Transformer-Training: q=(w,1), w=1.1; k₁=(4,0), k₂=(0,1); skalierte Scores q·k/√2. Values v₁=2, v₂=-4. o=α₁v₁+α₂v₂, Ziel y=0.8, L=(o−y)²/2+0.01w², η=0.03. Berechne o, L, dL/dw und w_neu.
Mini-Transformer-Training: q=(w,1), w=1.3; k₁=(4,0), k₂=(0,1.5); skalierte Scores q·k/√2. Values v₁=3, v₂=-4. o=α₁v₁+α₂v₂, Ziel y=0.9, L=(o−y)²/2+0.01w², η=0.01. Berechne o, L, dL/dw und w_neu.
Mini-Transformer-Training: q=(w,1), w=1.4; k₁=(4,0), k₂=(0,1.5); skalierte Scores q·k/√2. Values v₁=3, v₂=-4. o=α₁v₁+α₂v₂, Ziel y=1, L=(o−y)²/2+0.01w², η=0.02. Berechne o, L, dL/dw und w_neu.
Mini-Transformer-Training: q=(w,1), w=1.6; k₁=(5,0), k₂=(0,1.5); skalierte Scores q·k/√2. Values v₁=3, v₂=-5. o=α₁v₁+α₂v₂, Ziel y=1.1, L=(o−y)²/2+0.01w², η=0.03. Berechne o, L, dL/dw und w_neu.
Mini-Transformer-Training: q=(w,1), w=1.7; k₁=(5,0), k₂=(0,1.5); skalierte Scores q·k/√2. Values v₁=3, v₂=-5. o=α₁v₁+α₂v₂, Ziel y=1.2, L=(o−y)²/2+0.01w², η=0.01. Berechne o, L, dL/dw und w_neu.
Mini-Transformer-Training: q=(w,1), w=1.9; k₁=(5,0), k₂=(0,2); skalierte Scores q·k/√2. Values v₁=4, v₂=-5. o=α₁v₁+α₂v₂, Ziel y=1.3, L=(o−y)²/2+0.01w², η=0.02. Berechne o, L, dL/dw und w_neu.
Mini-Transformer-Training: q=(w,1), w=2; k₁=(6,0), k₂=(0,2); skalierte Scores q·k/√2. Values v₁=4, v₂=-6. o=α₁v₁+α₂v₂, Ziel y=1.4, L=(o−y)²/2+0.01w², η=0.03. Berechne o, L, dL/dw und w_neu.
Mini-Transformer-Training: q=(w,1), w=2.2; k₁=(6,0), k₂=(0,2); skalierte Scores q·k/√2. Values v₁=4, v₂=-6. o=α₁v₁+α₂v₂, Ziel y=1.5, L=(o−y)²/2+0.01w², η=0.01. Berechne o, L, dL/dw und w_neu.
Mini-Transformer-Training: q=(w,1), w=2.3; k₁=(6,0), k₂=(0,2); skalierte Scores q·k/√2. Values v₁=4, v₂=-6. o=α₁v₁+α₂v₂, Ziel y=1.6, L=(o−y)²/2+0.01w², η=0.02. Berechne o, L, dL/dw und w_neu.
Mini-Transformer-Training: q=(w,1), w=2.5; k₁=(7,0), k₂=(0,2.5); skalierte Scores q·k/√2. Values v₁=5, v₂=-7. o=α₁v₁+α₂v₂, Ziel y=1.7, L=(o−y)²/2+0.01w², η=0.03. Berechne o, L, dL/dw und w_neu.
Mini-Transformer-Training: q=(w,1), w=2.6; k₁=(7,0), k₂=(0,2.5); skalierte Scores q·k/√2. Values v₁=5, v₂=-7. o=α₁v₁+α₂v₂, Ziel y=1.8, L=(o−y)²/2+0.01w², η=0.01. Berechne o, L, dL/dw und w_neu.
Mini-Transformer-Training: q=(w,1), w=2.8; k₁=(7,0), k₂=(0,2.5); skalierte Scores q·k/√2. Values v₁=5, v₂=-7. o=α₁v₁+α₂v₂, Ziel y=1.9, L=(o−y)²/2+0.01w², η=0.02. Berechne o, L, dL/dw und w_neu.
Mini-Transformer-Training: q=(w,1), w=2.9; k₁=(8,0), k₂=(0,2.5); skalierte Scores q·k/√2. Values v₁=5, v₂=-8. o=α₁v₁+α₂v₂, Ziel y=2, L=(o−y)²/2+0.01w², η=0.03. Berechne o, L, dL/dw und w_neu.

Dein Fortschritt gehört dir.

Exportiere ihn vor dem Löschen deiner Browserdaten oder nimm ihn als Datei auf ein anderes Gerät mit. Alternativ kannst du jederzeit ein Level direkt auswählen.

Mathematisch verstehen. Praktisch vertiefen.

Der Kurs verbindet Grundlagen mit anspruchsvollen Modellrechnungen. Für professionelle AI-Arbeit gehören danach eigene Implementierungen, Experimente, Datenanalyse und das Lesen von Forschungsarbeiten dazu. Eine abgeschlossene Aufgabenliste ist kein Berufsabschluss.

Zum Vertiefen: Mathematics for Machine Learning · Deep Learning · Attention Is All You Need. Die Aufgaben und Kurzvideos dieser Seite sind eigenständig erstellt.