Ein interaktiver Lernpfad

Entropie.

Level 61 · Information & Verluste. Miss die Unsicherheit einer diskreten Verteilung in Bit. Mit 20 Aufgaben, Erklärvideo und interaktiven Werkzeugen.

100 Levels2’000 AufgabenOhne Login · lokal gespeichert

0 / 100Levels abgeschlossen

0 / 2’000Aufgaben gelöst

Dein Stand wird automatisch in diesem Browser gespeichert. Alle Levels sind frei wählbar – auch wenn du Browserdaten gelöscht hast.

Für interne Lernstatistiken werden eine anonyme Browser-ID, das ausgewählte Level und Fortschrittszählungen übertragen. Deine Antworten und persönlichen Notizen bleiben im Browser.

Level 61 / 100

Entropie

0 / 20 gelöst

Die Idee

Miss die Unsicherheit einer diskreten Verteilung in Bit.

H(p) = −Σ pᵢ log₂ pᵢ

Wichtig: Für p = 0 wird der Summand als null definiert.

Warum für AI? Informationstheorie liefert zentrale Trainingsziele für Sprachmodelle.

Ein Beispiel mit Lösungsweg

Eine binäre Verteilung hat p₁=3/4, p₂=1/4. Berechne ihre Entropie in Bit.

1. Berechne −p log₂p−(1−p)log₂(1−p).
2. Ergebnis = 0.811278. Prüfe die Reihenfolge und die Vorzeichen mit der Aufgabenstellung.
Ergebnis: 0.811278.

Erklärvideo · mit deutscher Sprachspur

Sehen, hören und verstehen.

Animierte Grafiken zeigen den Rechenweg – mit deutscher Erklärung und Untertiteln. Pausiere jederzeit zum Nachrechnen.

Video herunterladen ↗

Jetzt bist du dran.

20 Aufgaben · 1–4 Einstieg, ab 5 langsam anspruchsvoller

Aufgabe 1 / 20

Eine binäre Verteilung hat p₁=3/4, p₂=1/4. Berechne ihre Entropie in Bit.

Deine Notizen0 / 4’000 Zeichen · lokal gespeichert

Alle 100 Themen entdecken

1 · Rechenregeln 2 · Negative Zahlen 3 · Brüche 4 · Prozentrechnung 5 · Potenzen 6 · Wurzeln 7 · Logarithmen 8 · Lineare Gleichungen 9 · Funktionen 10 · Steigung & Koordinaten 11 · Vektoren addieren 12 · Vektoren skalieren 13 · Skalarprodukt 14 · Vektorlänge 15 · Abstände 16 · Cosinus-Ähnlichkeit 17 · Projektionen 18 · Matrix × Vektor 19 · Matrix × Matrix 20 · Determinanten 21 · Inverse Matrizen 22 · Lineare Systeme 23 · Basis & Koordinaten 24 · Rang 25 · Eigenwerte 26 · Positive Definitheit 27 · Singulärwerte 28 · PCA 29 · Kleinste Quadrate 30 · Kondition 31 · Potenzregel 32 · Exponential- & Log-Ableitung 33 · Produktregel 34 · Kettenregel 35 · Sigmoid-Ableitung 36 · Partielle Ableitungen 37 · Gradienten 38 · Richtungsableitung 39 · Jacobi-Matrix 40 · Hesse-Matrix 41 · Taylor-Näherung 42 · Stationäre Punkte 43 · Bestimmte Integrale 44 · Dichten normieren 45 · Erwartungswert 46 · Varianz 47 · Normalverteilung 48 · Kovarianz 49 · Korrelation 50 · Standardisierung 51 · Kombinatorik 52 · Wahrscheinlichkeiten 53 · Bedingte Wahrscheinlichkeit 54 · Bayes-Regel 55 · Unabhängigkeit 56 · Bernoulli-Verteilung 57 · Binomialverteilung 58 · Kategoriale MLE 59 · Gauss-MLE 60 · Standardfehler 61 · Entropie 62 · Cross-Entropy 63 · KL-Divergenz 64 · Softmax 65 · Log-Sum-Exp 66 · Perplexität 67 · Logistische Regression 68 · Quadratischer Fehler 69 · Ridge-Gradient 70 · Klassifikationsmetriken 71 · Gradient Descent 72 · Momentum 73 · RMSprop 74 · Adam 75 · Mini-Batch-Gradienten 76 · Lernraten-Schedules 77 · Konvexität 78 · Newton-Schritt 79 · Lipschitz-Gradienten 80 · Generalisierung & Konzentration 81 · Affine Neuronen 82 · ReLU 83 · Backpropagation 84 · Softmax + Cross-Entropy 85 · Xavier-Initialisierung 86 · Inverted Dropout 87 · Layer Normalization 88 · Residual-Verbindungen 89 · Parameter zählen 90 · Faltung & Formen 91 · Embeddings 92 · Positionskodierung 93 · Scaled Dot-Product Attention 94 · Attention-Werte 95 · Causale Masken 96 · Multi-Head Attention 97 · Feedforward-Blöcke 98 · Low-Rank Adaptation 99 · Attention-Komplexität 100 · Transformer-Capstone

Alle 20 Aufgaben dieses Levels lesen

Eine binäre Verteilung hat p₁=3/4, p₂=1/4. Berechne ihre Entropie in Bit.
Eine binäre Verteilung hat p₁=4/5, p₂=1/5. Berechne ihre Entropie in Bit.
Eine binäre Verteilung hat p₁=5/6, p₂=1/6. Berechne ihre Entropie in Bit.
Eine binäre Verteilung hat p₁=6/7, p₂=1/7. Berechne ihre Entropie in Bit.
Eine binäre Verteilung hat p₁=7/9, p₂=2/9. Berechne ihre Entropie in Bit.
Eine binäre Verteilung hat p₁=8/10, p₂=2/10. Berechne ihre Entropie in Bit.
Eine binäre Verteilung hat p₁=10/12, p₂=2/12. Berechne ihre Entropie in Bit.
Eine binäre Verteilung hat p₁=11/13, p₂=2/13. Berechne ihre Entropie in Bit.
Eine binäre Verteilung hat p₁=13/16, p₂=3/16. Berechne ihre Entropie in Bit.
Eine binäre Verteilung hat p₁=14/17, p₂=3/17. Berechne ihre Entropie in Bit.
Eine binäre Verteilung hat p₁=16/19, p₂=3/19. Berechne ihre Entropie in Bit.
Eine binäre Verteilung hat p₁=17/20, p₂=3/20. Berechne ihre Entropie in Bit.
Eine binäre Verteilung hat p₁=19/23, p₂=4/23. Berechne ihre Entropie in Bit.
Eine binäre Verteilung hat p₁=20/24, p₂=4/24. Berechne ihre Entropie in Bit.
Eine binäre Verteilung hat p₁=22/26, p₂=4/26. Berechne ihre Entropie in Bit.
Eine binäre Verteilung hat p₁=23/27, p₂=4/27. Berechne ihre Entropie in Bit.
Eine binäre Verteilung hat p₁=25/30, p₂=5/30. Berechne ihre Entropie in Bit.
Eine binäre Verteilung hat p₁=26/31, p₂=5/31. Berechne ihre Entropie in Bit.
Eine binäre Verteilung hat p₁=28/33, p₂=5/33. Berechne ihre Entropie in Bit.
Eine binäre Verteilung hat p₁=29/34, p₂=5/34. Berechne ihre Entropie in Bit.

Dein Fortschritt gehört dir.

Exportiere ihn vor dem Löschen deiner Browserdaten oder nimm ihn als Datei auf ein anderes Gerät mit. Alternativ kannst du jederzeit ein Level direkt auswählen.

Mathematisch verstehen. Praktisch vertiefen.

Der Kurs verbindet Grundlagen mit anspruchsvollen Modellrechnungen. Für professionelle AI-Arbeit gehören danach eigene Implementierungen, Experimente, Datenanalyse und das Lesen von Forschungsarbeiten dazu. Eine abgeschlossene Aufgabenliste ist kein Berufsabschluss.

Zum Vertiefen: Mathematics for Machine Learning · Deep Learning · Attention Is All You Need. Die Aufgaben und Kurzvideos dieser Seite sind eigenständig erstellt.