Ein interaktiver Lernpfad

Feedforward-Blöcke.

Level 97 · Transformer & LLMs. Berechne die tokenweise Transformation zwischen Attention-Blöcken. Mit 20 Aufgaben, Erklärvideo und interaktiven Werkzeugen.

100 Levels2’000 AufgabenOhne Login · lokal gespeichert
0 / 100Levels abgeschlossen
0 / 2’000Aufgaben gelöst

Dein Stand wird automatisch in diesem Browser gespeichert. Alle Levels sind frei wählbar – auch wenn du Browserdaten gelöscht hast.

Für interne Lernstatistiken werden eine anonyme Browser-ID, das ausgewählte Level und Fortschrittszählungen übertragen. Deine Antworten und persönlichen Notizen bleiben im Browser.

Transformer & LLMs · Kapitel 10/10

Level 97 / 100

Feedforward-Blöcke

0 / 20 gelöst

Die Idee

Berechne die tokenweise Transformation zwischen Attention-Blöcken.

FFN(x) = W₂ ReLU(W₁x+b₁)+b₂

Wichtig: Der Feedforward-Block mischt hier keine Token-Positionen.

Warum für AI? Diese Bausteine erklären zentrale mathematische Vorgänge in Transformern.

Ein Beispiel mit Lösungsweg

Skalarer FFN: x=1; W₁=(3,−2)ᵀ, b₁=(2,1)ᵀ, W₂=(1,2), b₂=3. Berechne beide ReLU-Aktivierungen und den Ausgang.

1. Berechne W₁x+(1)₁, wende ReLU an, dann W₂h+(1)₂.
2. h₁ = 5; h₂ = 0; o = 8. Prüfe die Reihenfolge und die Vorzeichen mit der Aufgabenstellung.
Ergebnis: 5; 0; 8.

Erklärvideo · mit deutscher Sprachspur

Sehen, hören und verstehen.

Animierte Grafiken zeigen den Rechenweg – mit deutscher Erklärung und Untertiteln. Pausiere jederzeit zum Nachrechnen.

Video herunterladen ↗

Jetzt bist du dran.

20 Aufgaben · 1–4 Einstieg, ab 5 langsam anspruchsvoller

Aufgabe 1 / 20

Skalarer FFN: x=1; W₁=(3,−2)ᵀ, b₁=(2,1)ᵀ, W₂=(1,2), b₂=3. Berechne beide ReLU-Aktivierungen und den Ausgang.

Zahlen, Brüche und Ausdrücke sind erlaubt: 1/3, sqrt(2), ln(0.5), exp(1). Runde möglichst auf mindestens 6 Nachkommastellen; bei sehr kleinen Werten nutze die Exponentialschreibweise (z. B. 3e-5).

Alle 100 Themen entdecken
1 · Rechenregeln2 · Negative Zahlen3 · Brüche4 · Prozentrechnung5 · Potenzen6 · Wurzeln7 · Logarithmen8 · Lineare Gleichungen9 · Funktionen10 · Steigung & Koordinaten11 · Vektoren addieren12 · Vektoren skalieren13 · Skalarprodukt14 · Vektorlänge15 · Abstände16 · Cosinus-Ähnlichkeit17 · Projektionen18 · Matrix × Vektor19 · Matrix × Matrix20 · Determinanten21 · Inverse Matrizen22 · Lineare Systeme23 · Basis & Koordinaten24 · Rang25 · Eigenwerte26 · Positive Definitheit27 · Singulärwerte28 · PCA29 · Kleinste Quadrate30 · Kondition31 · Potenzregel32 · Exponential- & Log-Ableitung33 · Produktregel34 · Kettenregel35 · Sigmoid-Ableitung36 · Partielle Ableitungen37 · Gradienten38 · Richtungsableitung39 · Jacobi-Matrix40 · Hesse-Matrix41 · Taylor-Näherung42 · Stationäre Punkte43 · Bestimmte Integrale44 · Dichten normieren45 · Erwartungswert46 · Varianz47 · Normalverteilung48 · Kovarianz49 · Korrelation50 · Standardisierung51 · Kombinatorik52 · Wahrscheinlichkeiten53 · Bedingte Wahrscheinlichkeit54 · Bayes-Regel55 · Unabhängigkeit56 · Bernoulli-Verteilung57 · Binomialverteilung58 · Kategoriale MLE59 · Gauss-MLE60 · Standardfehler61 · Entropie62 · Cross-Entropy63 · KL-Divergenz64 · Softmax65 · Log-Sum-Exp66 · Perplexität67 · Logistische Regression68 · Quadratischer Fehler69 · Ridge-Gradient70 · Klassifikationsmetriken71 · Gradient Descent72 · Momentum73 · RMSprop74 · Adam75 · Mini-Batch-Gradienten76 · Lernraten-Schedules77 · Konvexität78 · Newton-Schritt79 · Lipschitz-Gradienten80 · Generalisierung & Konzentration81 · Affine Neuronen82 · ReLU83 · Backpropagation84 · Softmax + Cross-Entropy85 · Xavier-Initialisierung86 · Inverted Dropout87 · Layer Normalization88 · Residual-Verbindungen89 · Parameter zählen90 · Faltung & Formen91 · Embeddings92 · Positionskodierung93 · Scaled Dot-Product Attention94 · Attention-Werte95 · Causale Masken96 · Multi-Head Attention97 · Feedforward-Blöcke98 · Low-Rank Adaptation99 · Attention-Komplexität100 · Transformer-Capstone
Alle 20 Aufgaben dieses Levels lesen

  1. Skalarer FFN: x=1; W₁=(3,−2)ᵀ, b₁=(2,1)ᵀ, W₂=(1,2), b₂=3. Berechne beide ReLU-Aktivierungen und den Ausgang.

  2. Skalarer FFN: x=1; W₁=(4,−2)ᵀ, b₁=(2,1)ᵀ, W₂=(1,2), b₂=4. Berechne beide ReLU-Aktivierungen und den Ausgang.

  3. Skalarer FFN: x=1; W₁=(5,−2)ᵀ, b₁=(2,1)ᵀ, W₂=(1,2), b₂=5. Berechne beide ReLU-Aktivierungen und den Ausgang.

  4. Skalarer FFN: x=1; W₁=(6,−2)ᵀ, b₁=(2,1)ᵀ, W₂=(1,2), b₂=6. Berechne beide ReLU-Aktivierungen und den Ausgang.

  5. Skalarer FFN: x=2; W₁=(7,−3)ᵀ, b₁=(3,2)ᵀ, W₂=(1,3), b₂=7. Berechne beide ReLU-Aktivierungen und den Ausgang.

  6. Skalarer FFN: x=2; W₁=(8,−3)ᵀ, b₁=(3,2)ᵀ, W₂=(1,3), b₂=8. Berechne beide ReLU-Aktivierungen und den Ausgang.

  7. Skalarer FFN: x=2; W₁=(10,−3)ᵀ, b₁=(3,2)ᵀ, W₂=(1,3), b₂=10. Berechne beide ReLU-Aktivierungen und den Ausgang.

  8. Skalarer FFN: x=2; W₁=(11,−4)ᵀ, b₁=(4,2)ᵀ, W₂=(1,4), b₂=11. Berechne beide ReLU-Aktivierungen und den Ausgang.

  9. Skalarer FFN: x=3; W₁=(13,−4)ᵀ, b₁=(4,3)ᵀ, W₂=(1,4), b₂=13. Berechne beide ReLU-Aktivierungen und den Ausgang.

  10. Skalarer FFN: x=3; W₁=(14,−4)ᵀ, b₁=(4,3)ᵀ, W₂=(1,4), b₂=14. Berechne beide ReLU-Aktivierungen und den Ausgang.

  11. Skalarer FFN: x=3; W₁=(16,−5)ᵀ, b₁=(5,3)ᵀ, W₂=(1,5), b₂=16. Berechne beide ReLU-Aktivierungen und den Ausgang.

  12. Skalarer FFN: x=3; W₁=(17,−5)ᵀ, b₁=(5,3)ᵀ, W₂=(1,5), b₂=17. Berechne beide ReLU-Aktivierungen und den Ausgang.

  13. Skalarer FFN: x=4; W₁=(19,−5)ᵀ, b₁=(5,4)ᵀ, W₂=(1,5), b₂=19. Berechne beide ReLU-Aktivierungen und den Ausgang.

  14. Skalarer FFN: x=4; W₁=(20,−6)ᵀ, b₁=(6,4)ᵀ, W₂=(1,6), b₂=20. Berechne beide ReLU-Aktivierungen und den Ausgang.

  15. Skalarer FFN: x=4; W₁=(22,−6)ᵀ, b₁=(6,4)ᵀ, W₂=(1,6), b₂=22. Berechne beide ReLU-Aktivierungen und den Ausgang.

  16. Skalarer FFN: x=4; W₁=(23,−6)ᵀ, b₁=(6,4)ᵀ, W₂=(1,6), b₂=23. Berechne beide ReLU-Aktivierungen und den Ausgang.

  17. Skalarer FFN: x=5; W₁=(25,−7)ᵀ, b₁=(7,5)ᵀ, W₂=(1,7), b₂=25. Berechne beide ReLU-Aktivierungen und den Ausgang.

  18. Skalarer FFN: x=5; W₁=(26,−7)ᵀ, b₁=(7,5)ᵀ, W₂=(1,7), b₂=26. Berechne beide ReLU-Aktivierungen und den Ausgang.

  19. Skalarer FFN: x=5; W₁=(28,−7)ᵀ, b₁=(7,5)ᵀ, W₂=(1,7), b₂=28. Berechne beide ReLU-Aktivierungen und den Ausgang.

  20. Skalarer FFN: x=5; W₁=(29,−8)ᵀ, b₁=(8,5)ᵀ, W₂=(1,8), b₂=29. Berechne beide ReLU-Aktivierungen und den Ausgang.

Dein Fortschritt gehört dir.

Exportiere ihn vor dem Löschen deiner Browserdaten oder nimm ihn als Datei auf ein anderes Gerät mit. Alternativ kannst du jederzeit ein Level direkt auswählen.

Mathematisch verstehen. Praktisch vertiefen.

Der Kurs verbindet Grundlagen mit anspruchsvollen Modellrechnungen. Für professionelle AI-Arbeit gehören danach eigene Implementierungen, Experimente, Datenanalyse und das Lesen von Forschungsarbeiten dazu. Eine abgeschlossene Aufgabenliste ist kein Berufsabschluss.

Zum Vertiefen: Mathematics for Machine Learning · Deep Learning · Attention Is All You Need. Die Aufgaben und Kurzvideos dieser Seite sind eigenständig erstellt.