Entropie

S

shrax

0
Hallo,
kann mir jemand von euch erklären was genau Entropie ist?

Ich höre diesen Begriff oft wenn es um Verschlüsselung geht. Aber auch bei Zufallsgeneratoren oder in Gebieten der Physik (Thermodynamik) kommt dieser Begriff vor. Auch im Zusammenhang mit Chaos und Chaostheorie habe ich diesen schon gelesen.
Auch bei der Messung der Stärke eines Passwortes wird die Entropie in "Bit" angegeben. Aber warum in "Bit"? Hat dies dann etwas mit der Datenmenge zu tun?

Ich habe bereits Wikipedia aufgesucht und einige Stunden mit Googlen verbracht. Jedoch wird mir dieser Begriff einfach nicht klar.

Auch nach dem Lesen von Artikeln wie Welt der Physik: Entropie weiß ich es nicht.


Wie steht
Entropie (Informationstheorie)
im Zusammenhang mit
Entropie (Sozialwissenschaften)
oder
Entropie
Sind das völlig unterschiedliche Theorien/Konzepte und haben nur den gleichen Begriff?

Und wo wird "Entropie" in der Informatik benötigt?

Vielleicht könnt ihr mir diesen Begriff etwas verständlicher machen.
 
ich bin jetzt kein sozialwissentschaftler, aber versuchen wir es mal so rum:

entropie in der IT ist quasi ganz einfach ausgedrückt der der anteil an wirklicher information der in etwas steckt ...

eine zufällige Bitfolge hat genau dann maximale Entropie, wenn du unter der Maßgabe dass du alle Bits bis zu einem bestimmten Bit kennst, du als beobachter für das nächste Bit P(0) == P(1) hast ... also die Wahrscheinlichkeit für eine 0 für dich die gleiche ist wie für eine 1

im bezug auf die Datenmenge lässt Entropie daher die aussage zu, dass du unter egal welchen Bedinungen, mit egal welchen Packprogrammen oder Codierungen eine Datenmenge X nicht weiter verlustfrei komprimieren kannst, als bis an die Grenze ihrer Entropie ...

Im Berech der Physik ist Entropie etwas Ähnliches:

ein Eiswürfel bei absoluten 0°K ist Entropiefrei ... jedes Atom da drin steht still und rührt sich nicht vom Fleck... mit dem zuführen von Wärme steigt die Entropie, da sich Atome jetzt bewegen... es ist quasi ein Maß an unsicherheit das man angeben kann im bezug auf die Standorte einzelner Atome ... ein Maß für das Chaos ... oder anders ausgedrückt, ein Maß für die Information die im beobachteten System steckt ... mehr Entropie, desto mehr Angaben müsstest du machen, um ein System wirklich vollständig zu beschreiben

in der Sozialwissenschaft sieht es Ähnlich aus, soweit mir das Überfliegen eines Wikipesiaartikels nun als Recherche herhalten darf ...

es ist das Maß für die Unsicherheit ... je mehr Entropie, desto mehr Unsicherheit liegt in einem System vor, und desto Schwerer ist eine Vorhersage für Selbiges ... oder desto ungenauer sind ihre Ergebnisse ... auch hier gilt wieder, dass es weiterhin möglich ist ein System präzise zu beschreiben, jedoch steigt der Informationsgehalt dieser Beschreibung entsprechend...

Mutter Anna, Vater Peter und Sohnemann Fritzchen zum Beispiel ...

wer wird wem etwas zu weihnachten schenken?

mit geringem Alter kann man davon ausgehen, dass die Eltern sich gegenseitig etwas schenken werden, und dass der Sohn in diesem Fall wohl Geschenke bekommt...

mit zunehmendem Alter wird er auch den Eltern was schenken ...

und mit weiter zunehmendem alter und hinzukommenden Freundinen bis hin zur neuen Familiengründung, wird das Geflecht wer-schenkt-hier-wem-etwas immer Komplizierter ... die Entropie steigt... das zu Beschreiben ist immernoch möglich, aber es kommen Abhänigkeiten hinzu ... es werden immer mehr Aussagen nötig

Nun macht diese Betrachtung der Entropie in diesem beispiel keinen sinn, weil wir nichts davon haben ...

übertragen wir diese Betrachtung aber auf andere Dinge z.B. in der Größenordnung von Betrachtungen auf deren Grundlage dann Politische Entescheidungen gestellt werden, kann man mit Aussagen zur Entropie ein hilfsmittel bereitstellen, um auszusagen wie sicher oder unsicher gewisse verhältnisse sind

das thema ungewissheit zieht sich also durch alle genannten Themengebiete die mit dem Begriff Entropie zu tun haben ...

ich für meinen teil halte es gern so, die entropie der Groß- und kleinschreibung nicht verkommen zu lassen ... ;)
 
Danke für den Link und die Erklärung.

Mir ist das ganze jetzt schon durchaus klarer geworden.
Was ich jedoch noch nicht ganz verstehe ist warum in Passwortgeneratoren oft die Passwortstärke in Entropie in Bits angegeben wird.

Ist "Bit" also dann die Einheit mit der Entropie in der IT gemessen wird?
 
In der Informatik wird Entropie i.d.R. in Bit angegeben.

Wenn du als Passwort z.B. Personennamen verwendest, dann kannst du meistens fehlende Buchstaben vorhersagen. Wenn ich dir sage mein Passwort lautet Maximilia_ dann weißt du, dass an der _ Stelle wahrscheinlich ein n steht. Ebenso bei Joh_nnes, dort wird wahrscheinlich ein a stehen.

Solche Passwörter hätten dann eine niedrige Entropie.

Besser wenn ich ein zufälliges Passwort aus Kleinbuchstaben verwende: ahzg_kl. Was steht dort an der leeren Stelle? Keine Ahnung, könnte irgendetwas a-z sein. Das Passwort ist 8 Buchstaben lang, die Entropie hierfür wäre aber nicht 8 Byte = 64 Bit, denn laut der Einschränkung könnte an der Stelle keine Zahl, kein Sonderzeichen o.ä. stehen, sondern nur ein Kleinbuchstabe. Also statt 256 Kombinationen habe ich nur 26 Kombinationen. Damit wäre die Entropie für das Passwort ca. log_2(26^8 ) = 38 Bit. Also so gut wie ein 38 Bit völlig zufällig generierter Key.
 
Um antworten zu können musst du eingeloggt sein.
Zurück
Oben