Shannon-Entropie aus Symbolhäufigkeiten
Berechnen Sie empirische Entropie, beobachtete Unterstützung und ideale Codierungsgrenzen aus gekennzeichneten Symbolzahlen.
IHRE BERECHNUNG
Ergebnis
—
Rechenschritte
Gehen Sie die Schritte einzeln durch oder zeigen Sie die gesamte Berechnung an. Die Schritte verwenden Ihre aktuellen Eingaben.
Berechnungsmethode
Normalisieren Sie die Zählungen auf empirische Wahrscheinlichkeiten und Summe −p log2 p über positive Zählungen. Vergleichen Sie diese Mittelwertinformation mit einheitlicher Entropie und fester Breitenkodierung für die beobachtete Unterstützung.
H=−Σp log2 p; uniform maximum=log2(K); fixed width=ceil(log2(K))
Rechenbeispiel
Die Zahlen 50,25,25 geben Wahrscheinlichkeiten 0,5,0,25,0,25 und Entropie 1,5 bits/Symbol. Ein fester Breitencode für drei beobachtete Symbole benötigt zwei Bits pro Symbol vor Overhead.
Annahmen und Hinweise zu den Eingaben
Null-Ordnung empirische Symbolmodell; Etiketten sind einzigartig und Zählungen sind nicht negative ganze Zahlen. Null-Count-Labels sind von der beobachteten Unterstützung ausgeschlossen. Ein beobachtetes Symbol hat Null-Entropie und eine Null-Bit mathematische Fixed-Breite gebunden, wenn Unterstützung bereits bekannt ist. Diese Zahlen sind keine garantiert komprimierte Dateigröße oder Zufalls-/Sicherheitstest. Bis zu 200 Etiketten.
Quellen: Tufts University: Shannon Entropie einer diskreten Verteilung
Hinweise zum Rechner
Kann ich eigene Werte eingeben?
Ja. Ersetzen Sie die Beispielwerte durch Ihre eigenen Eingaben. Ergebnis, Rechenschritte, Tabellen und gegebenenfalls Diagramme werden entsprechend aktualisiert. Bei leeren oder ungültigen Eingaben wird das Ergebnis gelöscht. Fehlende Angaben werden niemals unbemerkt durch Beispielwerte ersetzt.
Sind die Ergebnisse exakt?
Die Ergebnisse beruhen auf Gleitkommaarithmetik und werden für die Anzeige gerundet. Beachten Sie die Formel, die Annahmen und die gegebenenfalls angegebene Datengenauigkeit.
Werden meine Eingaben hochgeladen?
Die Berechnung erfolgt in Ihrem Browser. Ein Benutzerkonto, Datei-Uploads oder ein externer KI-Dienst sind nicht erforderlich. Beim Neuladen der Seite werden die Eingaben zurückgesetzt.
Zählen Sie UTF-8 Bytes, UTF-16 Einheiten, Unicode-Codepunkte und Grapheme-Cluster mit expliziten Texttransformationen.
Geben Sie diskrete Ergebnisse und deren Wahrscheinlichkeiten zur Berechnung des erwarteten Wertes, Nettoerwartung nach einer Fixkosten- und Ergebnisstreuung ein.
Interpolieren Sie zwei Rotationsquaternionen entlang des kürzesten Einheitsquaternionsbogens.
Reservierter Werbeplatz.