Algorithmische Informationstheorie

Die statistische Informationstheorie besitzt wichtige Anwendungen in der Abschätzung der mittleren Laufzeit von Algorithmen, deren Probleme online erzeugt werden. Es werden die grundlegenden Kodierungstheoreme für Quellen ohne Gedächtnis und Quellen mit kurzem Gedächtnis bei ungestörten Kanälen und schließlich bei gestörten Kanälen ohne Gedächtnis bewiesen.

---

Dieses Buch beinhaltet eine Einführung in die statistische Informationstheorie, die von Shannon 1948 begründet wurde. Ich gebe dieses Buch heraus, da die Vorlesung auch den Anwendungen dieser Theorie auf algorithmische Probleme nachgeht. Daß die Entropie einer Quelle als untere Schranke für die Laufzeit von Suchprogrammen verwendet werden kann, ist seit 20 Jahren bekannt, ohne daß aber die Konzepte der Informationstheorie eine systematische Anwendung in diesem Bereich erfahren haben. So wurden Markovquellen im Zusammenhang mit effizienten Suchverfahren bei geordneten Schlüsseln erstmals 1992 vom Autor diskutiert. Die Vorlesung geht auf die Frage der Gewinnung unterer Schranken für die mittlere Laufzeit von Algorithmen ein und versucht die Kodierungstheoreme zur Konstruktion effizienter Algorithmen zu nutzen. Günter Hotz