Mathematische Informationstheorie: Probleme und neuere Ergebnisse [Reprint 2021 ed.] 9783112598801, 9783112598795

Citation preview

DIETER PÖTSCHKE • F R E D SOBIK

MATHEMATISCHE

INFORMATIONSTHEORIE

ELEKTRONISCHES R E C H N E N UND REGELN Herausgegeben

von

Prof. Dr. H A N S F R Ü H A U F • Prof. Dr. WILHELM K Ä M M E R E R Prof. Dr. HELMUT T H I E L E • Prof. Dr. HORST VÖLZ

Band 16

MATHEMATISCHE INFORMATIONSTHEORIE Probleme und neuere Ergebnisse

Dr. rer. nat. DIETER PÖTSCHKE und Dipl.-Math. FRED SOBIK

MATHEMATISCHE INFORMATIONSTHEORIE Probleme und neuere Ergebnisse

von

Dr.rer.nat. DIETER PÖTSCHKE und

Dipl.-Math. FRED SOBIK Berlin

Mit 13 Abbildungen

und 11 Tabellen

AKADEMIE-VERLAG • BERLIN 1980

Erschienen im Akademie-Verlag, DDR-1080 Berlin, Leipziger Str. 3 - 4 Lektor: Dipl.-Math. Gesine Reiher © Akademie-Verlag Berlin 1980 Lizenznummer: 202 • 100/401/80 Gesamtherstellung: VEB Druckhaus Kothen Bestellnummer: 762 7900 (6306) • LSV 1075 Printed in GDR DDR 38,- M

Vorwort

Die mathematische Informationstheorie ist eine noch sehr junge Disziplin. Sie entstand mit der Arbeit von C . E . S H A N N O N ( 1 9 4 8 ) . In der vorliegenden Monographie werden einige neuere Ergebnisse und Entwicklungstendenzen der diskreten Informationstheorie dargestellt. Es ging uns in erster Linie darum, zu zeigen, daß die Entwicklung auf diesem Gebiet nicht stehengeblieben ist. So wurden einige Probleme, wie z. B. die Existenz perfekter Codes, die Existenz von Erzeugern von a-Algebren und das Isomorphieproblem dynamischer Systeme erst kürzlich einer Lösung zugeführt. Als Quellen dienten vor allem die uns von vielen Autoren zugesandten, z.T. noch unveröffentlichten Arbeiten, für die wir uns an dieser Stelle ganz herzlich bedanken möchten. Unser besonderer Dank gilt Prof. I M R E C S I S Z Ä R und Dr. J A N O S K Ö R N E R (beide Budapest), Prof. A L B E R T P E R E Z (Prag), Prof. M. S. P I N S K E R (Moskau), Prof. K A R E L W I N K E L B A U E R (Prag), Prof. R O B E R T M. G R A Y (Stanford/California) und Prof. K O N R A D J A C O B S (Erlangen) für die anregenden Diskussionen zu informationstheoretischen Problemen. Bedanken möchten wir uns auch bei Prof. H O R S T V Ö L Z (Berlin) für die stetige Förderung unserer Arbeit. Den Mitarbeiterinnen der Bibliothek des Zentralinstituts für Kybernetik und Informationsprozesse der Akademie der Wissenschaften der DDR (Berlin) danken wir für die bereitwillige Hilfe bei der Literaturbeschaffung. Weiterhin sind wir der Lektorin, Dipl. Math. Gesine Reiher, für die Hilfe bei der Herstellung des druckreifen Manuskripts und dem Druckhaus Kothen für die gediegene Ausführung zu Dank verpflichtet. Berlin, im Mai 1980 D . PÖTSCHKE

F . SOBIK

Inhalt

Einleitung

1

Teil I (D. Pötschke) 1.

Längenvariable Codes

1.1. 1.2. 1.3.

Eindeutig decodierbare längenvariable Codes Konstruktion optimaler längenvariabler Codes Abzählungsprobleme längenvariabler Codes und Zusammenhänge zur Suchtheorie . .

6 6 12 21

2.

Grundbegriffe der Informationstheorie

30

2.1. 2.2. 2.3. 2.4. 2.5. 2.6.

Das Modell der Informationsübertragung Konvergenzbegriffe Quellen und Kanäle. Mischungseigenschaften Ergodische Dekomposition stationärer Quellen Ein Eindeutigkeitssatz für die Shannon-Entropie Entropie, Information . . . .

30 32 34 42 45 47

3.

Shannonsche Informationstheorie

52

3.1.

Der Satz von McMiLLAif und die Shannon-Rate von ergodischen Und stationären Quellen Shannon-Entropie und Hausdorff-Dimension Der Codierungssatz für Kanäle (Satz von FEINSTEIN) Die Shannonschen Sätze für stationäre, nicht notwendig ergodische Quellen und stationäre Kanäle

3.2. 3.3. 3.4.

64 57 62 67

4.

Distorsionstheorie

73

4.1. 4.2. 4.3.

Die Distorsionsfunktion Codierung einer Quelle unter Berücksichtigung der Distorsion Codierung von Klassen von Quellen unter Berücksichtigung der Distorsion (universelle Codierung)

74 77 91

5.

Topologische Entropie

95

5.1. 5.2. 5.3. 5.4. 5.5. 5.6.

Grundbegriffe der topologischen Dynamik Definition und Eigenschaften der topologischen Entropie . . . ; . . . . . Topologische Entropie expansiver Homöomorphismen . Unterverschiebungen endlichen Typs Das Variationsprinzip für die topologische Entropie Wahrscheinlichkeitsmaße maximaler Entropie - echt ergodische Systeme

95 99 102 106 111 114

VIII

Inhalt

5.7. 5.8.

Entropie-expansive Homöomorphismen 117 Die Spezifikationseigenschaft für topologische dynamische Systeme und die Expansivität 118

6.

Nichtklassische Entropiemaße

121

6.1. 6.1.1. 6.1.2. 6.1.3.

B-Entropie und B-Information Eigenschaften der B-Entropie und der B-Information Ein Satz vom Typ des Satzes von MCMILLAN für die B-Entropie und die Divergenz B-Entropie und Konstruktion längenvariabler Codes bei unbekannter A-priori-Verteilung Die B-Rate als Verallgemeinerung der S-Rate P-Entropie und P-Information Ein Eindeutigkeitssatz für die P-Entropie P-Entropie und P-Information «-Entropie

124 124 127

6.1.4. 6.2. 6.2.1. 6.2.2. 6.3.

131 134 137 137 143 146

Teil II (F. Sobik) 7.

Das Codierungsproblem und grundlegende Eigenschaften algebraischer Codes . . 149

7.1. 7.2. 7.3. 7.4. 7.5. 7.6. 7.6.1. 7.6.2.

Das Codierungsproblem Grundlegende Definitionen Gruppenalgebra, Gruppencharaktere und Codes Lineare Codes Gewichts- und Distanzspektren Schranken für Codeparameter Plotkin-Schranke, maximale Codes und Hadamard-Matrizen Maximaldistanz-Codes und orthogonale Lateinische Quadrate

149 150 152 157 159 162 163 165

8.

Spezielle Klassen linearer Codes

166

8.1. 8.2. 8.2.1. 8.2.2. 8.3. 8.4. 8.4.1. 8.4.2. 8.5. 8.5.1. 8.5.2.

Zyklische Codes BCH-Codes Der Überdeckungsradius binärer BCH-Codes Die BCH-Schranke Goppa-Codes Helgert-Codes Nichtprimitive Helgert-Codes Binäre Helgert-Codes Selbstduale Codes Gewichtsspektren und Schranken für selbstduale Codes Symmetrie-Codes

166 169 171 172 173 176 178 180 181 181 185

9.

Volumenschranke und perfekte Codes

187

9.1. 9.1.1. 9.1.2. 9.1.2.1. 9.1.2.2. 9.1.3.

Perfekte Codes in der Hamming-Metrik Der Satz von LLOYD Existenz perfekter Codes in der Hamming-Metrik Alphabete von Primzahlpotenzordnung Alphabete von Nichtprimzahlpotenzordnung Perfekte 1-Fehler-Codes

188 188 190 190 191 191

Inhalt

IX

9.1.4. 9.1.5. 9.1.6. 9.2. 9.3.

Hamming-Codes Die Golay-Codes Kombinatorische Eigenschaften perfekter Codes Perfekte Codes in der Lee-Metrik Verallgemeinerungen

192 193 196 196 197

10.

Gleichmäßig gepackte Codes

199

10.1. 10.2. 10.3.

Fast perfekte Codes Gleichmäßig gepackte quasiperfekte Codes Gleichmäßig gepackte Codes j-tev Ordnung und regelmäßig gepackte Codes

199 201 205

11.

Arithmetische Codes

208

11.1. 11.2. 11.3.

Zahldarstellungen .dlV-Codes und Multiresiduencodes Perfekte arithmetische 1-Fehler-Codes

209 212 215

12.

Codierungssätze für algebraische Codes

217

Literatur

223

Literatur zu Teil I

223

Literatur zu Teil I I

232

Symbolrerzeichnis

247

Sachverzeichnis

249

Einleitung

Wer't mag, de mag't; Un wer't nich mag, • De mag't jo woll nich mögen. Fritz Reuter (1810-1874) Läuschen un Eimels 1. Seit dem Erscheinen von C. E. S H A N N O N S grundlegender Arbeit „A mathematical theory of communication" (1948) h a t t e die Informationstheorie eine enorme Entwicklung zu verzeichnen, so daß sie heute zu Recht als eine selbständige Disziplin der mathematischen Kybernetik angesehen werden kann. C H I N T S C H I N , dessen Arbeit „Über grundlegende Sätze der Informationstheorie" ( 1 9 5 6 ) die Forschungen zu dieser Theorie in der D D R stark beeinflußt hat, ordnet die Leistung von S H A N N O N folgendermaßen ein: „Selten kann man in der Mathematik die Erscheinung beobachten, daß eine entstehende Disziplin schon in den ersten ihr gewidmeten Untersuchung den Charakter einer reifen und verzweigten wissenschaftlichen Theorie annimmt. Das war seinerzeit mit der Theorie der Integralgleichungen nach der grundlegenden Arbeit von F R E D H O L M der Fall; ebenso war es mit der Informationstheorie nach der Arbeit von S H A N N O N " . Diese Einschätzung wurde durch die dreißigjährige Entwicklung der Informationstheorie bestätigt. So hatte sich z.B. die Distorsionstheorie, die auf S H A N N O N (1948, 1959) zurückgeht, bis zum J a h r e 1970 so weit entwickelt, daß B E R G E R bei der Darstellung der wesentlichen Ergebnisse zu einer umfangreichen Monographie kam, B E R G E R (1971). 2. Der Gegenstand der Informationstheorie ist die Übertragung von Nachrichten, die von einer Quelle ausgesandt und über einen gestörten Kanal übertragen werden. „Die Informationstheorie stellt der Mathematik eine ganze Reihe neuer, darunter auch schwieriger Aufgaben", schreibt C H I N T SCHIN (1956).

Nachdem von S H A N N O N , M C M I L L A N ( 1 9 5 3 ) , F E I N S T E I N ( 1 9 5 8 ) und C H I N T S C H I N ( 1 9 5 6 ) die grundlegenden mathematischen Begriffsbildungen der Informationstheorie wie Quelle, Kanal, Code, Entropie, Information, Kanalkapazität entwickelt worden waren, konnten der begrifflich-formale Zusammenhang zu anderen mathematischen Gebieten hergestellt und systematisch Methoden aus diesen Gebieten angewandt werden. So erwies sich der von M C M I L L A N vorgeschlagene Begriff der stationären Quelle [X9 Z , X, n, T] als spezieller stationärer stochastischer Prozeß. So konnte er den Satz von D O O B über Martingale anwenden. Andererseits sind derartige Quellen dynamische Systeme mit dem speziellen Grundraum Q = daher war der Ergodensatz von B I R K H O F F auf Quellen anwendbar, und mit beiden Methoden konnte f ü r die ergodischen Quellen die stochastische Konvergenz ld nn(a\\, ri\) gegen h(X, n), die Entropie der Quelle nachgewiesen werden n (Satz vonMcMiLLAN, Abschnitt 3.1.). Eine Tatsache, die sich f ü r die Codierung von Quellen als grundlegend erwies. der Funktion

3. I n der vorgelegten Monographie sind Ergebnisse der diskreten Informationstheorie und der algebraischen Codierungstheorie dargelegt. Da sich beide Zweige der Informationstheorie von der Problemstellung her und von den Methoden unterscheiden, haben wir die Ergebnisse in Teil I und I I zusammengefaßt. Eine Verbindung beider Zweige besteht z.B. in der Untersuchung der Kanalkapazit ä t algebraischer Codes, Kapitel 1 2 , A H L S W E D E ( 1 9 7 1 ) und in der Berechnung der Distorsionsfunktion von Gruppencodes, vgl. Kapitel 4 , G O B L I C K ( 1 9 6 2 ) und B E R G E R ( 1 9 7 1 ) . Auf die nachrichtentechnischen und systemtheoretischen Grundlagen der Informationstheorie wird

2

Einleitung

hier nicht weiter eingegangen, vgl. dazu C A R L S O N ( 1 9 7 5 ) , S C H N E E W E I S S ( 1 9 7 4 ) u n d den in dieser Reihe erschienenen Band von S O L O D O W ( 1 9 7 2 ) . Bedauerlicherweise fand die neuere Entwicklung der diskreten Informationstheorie kaum Widerspiegelung in der deutschsprachigen Literatur. So wurden die Ergebnisse der Distorsionstheorie bis heute in keinem deutschsprachigen Artikel oder Buch publiziert, obwohl gerade in den letzten 20 J a h r e n hier vor allem in den USA, der Sowjetunion und neuerdings auch in der VR Ungarn eine ganze Reihe neuer Resultate erzielt wurden, vgl. Kapitel 4. Ähnlich verhält es sich mit vielen mathematisch interessanten Ergebnissen zur topologischen Entropie, zu nichtklassischen Entropiemaßen und zur algebraischen Codierungstheorie. Eine gewisse Auswahl wird der Leser in dem vorliegenden Band finden. Aufnahme fanden auch längenvariable Codierungen und Ergebnisse der Shannonschen Informationstheorie. Aus Gründen des Umfanges konnten Ergebnisse zu folgenden Gebieten hier keine Darstellung erfahren: e-Entropie; Anwendungen der Informationstheorie in der mathematischen Statistik, in der Ergodentheorie, in der Wahrscheinlichkeitstheorie; algorithmische Ansätze zur Zufälligkeit und Information (Kolmogorowsche Komplexität) und Entropie von Chomsky-Sprachen. Vielleicht findet sich die Möglichkeit, insbesondere auf die innermathematischen Anwendungen der Informationstheorie einzugehen, an anderer Stelle. Codierung mit Nebeninformationen beim Decoder unter Berücksichtigung der Distorsion, degradierte Rundfunkkanäle (degraded broadcast Channels) u n d Mehrfachzugriffkanäle sind in der 3. Auflage von W O L F O W I T Z ( 1 9 7 8 ) in den Kapiteln 1 2 - 1 5 behandelt. Sie werden nach Mitteilung der Autoren auch Gegenstand der im Druck befindlichen Monographie von I . CSISZÄR u n d J . K Ö R N E R (Budapest) sein. 4. Unser Interesse gilt hier den mathematischen Grundlagen der Informationstheorie und der Frage, welche mathematischen Probleme sich hinter den zunächst nachrichtentechnisch formulierten Aufgaben verbergen. So wurde in P u n k t 2. erwähnt, daß Quellen sich sehr bald als dynamische Systeme erwiesen, f ü r deren Studium in der Ergodentheorie ein ieichhaltiges Methodenrepertoir entwickelt wurde. Eine dieser Methoden ist die auf J . v. N E U M A N N (1932) zurückgehende ergodische Dekomposition stationärer Maße. Im J a h r e 1961 wandten dann auch P A R T H A S A R A T H Y (1961a) u n d J A C O B S (1962) diese Methode auf stationäre Quellen an und konnten damit die Entropie dieser Quellen zerlegen. I m J a h r e 1 9 7 0 konnte W I N K E L B A U E R den Satz über die S-Rate für stationäre Quellen mit Hilfe der ergodischen Dekomposition verallgemeinern, mit dessen Hilfe m a n den ersten und zweiten Shannonschen Satz f ü r stationäre Quellen beweisen kann, P Ö T S C H K E ( 1 9 7 7 a). I n der Distorsionstheorie wurde der Codierungssatz für stationäre Quellen, Satz 4 . 1 5 , 1 9 7 4 von G R A Y u n d D A V I S S O N durch ergodische Dekomposition bewiesen. Auch auf die topologische Entropie k a n n die ergodische Zerlegung angewendet werden, Abschnitt 5.5. PARTHASARATHYS. eleganter Beweis f ü r Ce — Cs erfolgt ebenfalls mit ergodischer Zerlegung. Der Beweis zeigte außerdem, daß die Gedächtnistiefe a n der Eingabe des Kanals dafür nicht benötigt wird. Erst relativ spät stellte m a n fest, daß die ergodischen Kanäle genau die Extremalpunkte in der konvexen Menge der stationären Kanäle sind, N A K A M U R A ( 1 9 6 9 ) , U M E G A K I ( 1 9 6 8 ) , und daß die bisher studierten Gedächtnistypen bei Kanälen genau den bekannten Mischungseigenschaften der Ergodentheorie entsprechen. Aussagen über rekurrente Kanäle, ergodische Dekomposition von MARKOWschen Kernen u n d Ergodensätze im nichtstationären Fall harren auch heute noch der Anwendung auf informationstheoretische Probleme. 5. Andererseits konnten informationstheoretische Begriffe und Methoden mit Erfolg in der Zahlentheorie, Ergodentheorie, Statistik und Wahrscheinlichkeitstheorie angewendet werden. D a die Anwendungen in den drei letzten Gebieten aus Platzgründen in diese Monographie nicht aufgenommen werden konnten, wollen wir hier kurz darauf eingehen. Die S-Entropie t r a t schon vor S H A N N O N (1948) bei der Berechnung der Hausdorff-Dimension von Mengen aus dem Intervall [0, 1] auf, die durch zahlentheoretische Eigenschaften charakterisiert sind,

3

Einleitung

BESICOVITCH (1935). BILLINGSLEY (1960) zeigte, daß der Satz von MCMTLLAN die Ursache dafür ist,

daß bei der Berechnung der Hausdorff-Dimension dieser Mengen vom Lebesgueschen Maße Null die S-Entropie auftritt, vgl. Abschnitt 3.2. Im Jahre 1958 benutzte KOLMOGOROW die S-Entropie, um ein Isomorphieproblem zu lösen, das lange Zeit offen war. Er zeigte damit, daß nichtisomorphe Bernoulli-Systeme existieren. Die Einführung des Entropiebegriffes in die Theorie dynamischer Systeme belebte diesen Zweig der Ergodentheorie und warf eine Reihe von Problemen auf, die erst kürzlich durch ORNSTEIN und andere einer Lösung zugeführt wurden. Die Isomorphie zweier dynamischer Systeme bedeutet, daß sich beide Systeme nach Modifikation um Nullmengen nur in der Bezeichnung unterscheiden, sie sind maßtheoretisch nicht unterscheidbar. Aus der klassischen Mechanik ergibt sich die folgende Problemstellung: Wie kann man entscheiden, ob zwei vorliegende dynamische Systeme isomorph sind ? Eine erste Antwort auf diese Frage gab J. v. NEUMANN (1932), der eine für die Ergodentheorie wichtige Invariante dynamischer Systeme, den Spektraltyp, einführte. Sei [ß, 3t, n, T~\ ein dynamisches System, das heißt, Q eine Menge, 91 eine a-Algebra über Ü, n ein Wahrscheinlichkeitsmaß auf 91 und T eine meßbare Abbildung von Q in ü. Dann wird von T durch U{h{(o)) =mh(Tto),

co£ß,

ein isometrischer Operator U im Hilbertraum H = aller quadratisch jr-integrierbaren Funktionen h auf Q induziert. [ H , U ] heißt Spektraltyp des dynamischen Systems, er ist eine Isomorphie1 invariante, aber alle Bernoulli-Systeme mit X = {1, ..., n), = ... = nn = — , rag nz, haben den n gleichen Spektraltyp. Allgemeiner haben sogar alle K-Systeme den gleichen Spektraltyp, vgl. SMORODINSKY (1971), JACOBS (1962/63). KOLMOGOROW führte als neue IsomorphieinVariante die S-Entropie ein (J. v. NEUMANN hatte bereits viel früher die gleiche Idee, konnte aber die Invarianz nicht zeigen; Mitteilung von KAKUTANI an JACOBS) und warf damit das Problem auf, ob Bernoulli-Quellen gleicher Entropie isomorph sind. Dieses Problem wurde erst von ORNSTEIN (1974) gelöst, der allgemeiner zeigen konnte, daß endlich gemischte Markow-Systeme Bernoullisch sind. Zu diesen und weiteren Ergebnissen vgl. ORNSTEIN (1974) und die von JACOBS in Prag (1974) und Repino (1976). In der mathematischen Statistik fanden Methoden der Informationstheorie vor allem bei asymptotischen Abschätzungen Anwendung. Bei der asymptotischen Abschätzung des Fehlers für den Maximum-Likelihood-Test tritt die «-Divergenz auf. Die B-Rate, vgl. Abschnitt 6.1.4, stellt in einem Spezialfall gerade den minimalen Fehler 2. Art bei vorgegebenem Fehler 1. Art beim Neyman-PearsonTest dar, so daß der Satz über die exponentielle Konvergenz der B-Rate gegen die Divergenz zu einer Verallgemeinerung des bekannten Satzes von CHERNOFF für abhängige Hypothesen führt, vgl. PÖTSCHKE (1974). Die Erschöpftheit eines Kerns wurde von CSTSZÄR informationstheoretisch charakterisiert. Die Existenz eines verallgemeinerten Sequential Probability Ratio Test (S.P.R.T.) kann ebenfalls informationstheoretisch nachgewiesen werden, PÖTSCHKE (1978b). Auch in der Wahrscheinlichkeitstheorie werden Informationsmaße verwendet. Man kann zeigen, daß das Null-Eins-Gesetz für einen stochastischen Prozeß genau dann gilt, wenn er von vollständig positiver Entropie ist. KRIEGER (1970) und WINKELBAUER (1978) zeigten, daß eine invertible maßerhaltende Transformation genau dann einen endlichen Erzeuger besitzt, wenn sie von endlicher Entropie ist. LIESE (1972) untersuchte die Frage, ob die Konvergenz der Entropie einer Folge von Wahrscheinlichkeitsmaßen, die in einer konvexen Menge liegen, gegen die Entropie eines Wahrscheinlichkeitsmaßes maximaler Entropie die Konvergenz der Verteilungen gegen die Verteilung maximaler Entropie zur Folge hat. 6. I m K a p i t e l 1 werden die Ergebnisse zu den längen variablen Codierungen dargestellt, wobei der Konstruktion optimaler Codes besondere Aufmerksamkeit gewidmet wird. Die für die spätere Darfegung von Resultaten notwendigen Konvergenzbegriffe und andere Grundbegriffe findet der Leser im K a p i t e l 2. Insbesondere haben wir den Eindeutigkeitssatz für die S-

4

Einleitung

Entropie von D I D E R I C H ( 1 9 7 5 ) aufgenommen, da statt der Stetigkeit nur die Beschränktheit gefordert wird. Ergodische Dekomposition, Abschnitt 2.4, und Mischungsbegriffe für Quellen und Kanäle sind notwendige Hilfsmittel aus der Ergodentheorie. Im K a p i t e l 3 wird nach dem Satz von M C M I L L A N (Satz 3.1) gleich das Lemma von W I N K E L B A U E R (Lemma 3.3) gebracht, um im Abschnitt 3.4 die Shannonschen Sätze allgemein für stationäre, anstatt, wie bisher üblich, nur für ergodische Quellen zu beweisen. Die Resultate des Abschnitts 3.4 sind P Ö T S C H K E (1975,1977a) entnommen. Im Abschnitt 3.2 wird ausführlich auf den wenig bekannten Zusammenhang zwischen der S-Entropie und der Hausdorff-Dimension eingegangen. Im K a p i t e l 4 werden neuere Ergebnisse der Distorsionstheorie dargestellt, die uns z.T. von Prof. G R A Y (Stanford) und Dr. M A R T O N (Budapest) zur Verfügung gestellt wurden. Im K a p i t e l 5 werden viele interessante Eigenschaften der im Jahre 1965 von A D L E R , K O N H E I M und M C A N D R E W eingeführten topologischen Entropie studiert. Wir haben hier metrische, kompakte Räume vorausgesetzt, die Theorie läßt sich aber zum großen Teil für beliebige topologische kompakte Räume aufbauen. Für nichtkompakte topologische Räume hat B O W E N (1973) die topologische Entropie nach dem Vorbild der Hausdorff-Dimension definiert. Eine vorzügliche systematische Behandlung erfährt die topologische Entropie in dem Buch „Ergodic Theory on Compact Spaces" von D E N K E R , G R I L L E N B E R G E R und S I G M U N D , auf das uns vor seinem Erscheinen Herr D U E C K (Bielefeld) freundlicherweise hinwies. Der größte Teil von K a p i t e l 6 über nichtklassische Entropiemaße ist P Ö T S C H K E (1977a) entnommen, dort finden sich auch Anwendungen der hier bewiesenen Resultate. 7. Auf dem Gebiet der algebraischen Codierungstheorie besteht im deutschsprachigen Raum ein gewisser Nachholebedarf. Einige Ansätze findet man z. B. bei FEY (1968). Zu nennen wären auch noch K A M E D A , W E I H R A U C H (1973), v. A M M O N , T R Ö N D L E (1974) und H E N Z E , H O M U T H (1974). In der D D R erschien die Übersetzung des Buches von B O R O D I N (1972). Allerdings wird mit diesen Büchern noch nicht das Niveau von Standardwerken wie B E R L E K A M P (1968), VAN L I N T (1971/73), P E T E R S O N , W E L D O N (1972), B L A K E , M U L L I N (1975) oder M A C W I L L I A M S , S L O A N E (1976) erreicht. Einen gewissen Durchbruch stellt wohl auf dem Gebiet der sequentiellen Codierungen das Buch von L I N D N E R , S T A I G E R (1977) dar. Wir hatten das Ziel, Problemstellungen und neuere mathematisch interessante Ergebnisse der algebraischen Codierungstheorie vorzustellen und damit Anregungen für die Beschäftigung mit dieser Thematik zu geben. 8. Die Vielzahl der inzwischen erschienenen Arbeiten auf dem Gebiet der algebraischen Codierungstheorie und die Entwicklung zahlreicher Teilgebiete zwingen uns dazu, auf eine wirklich umfassende Darstellung der Entwicklung dieser Theorie zu verzichten. Auch wenn hier im wesentlichen nur Definitionen und Resultate angegeben werden, würde der uns zur Verfügung stehende Platz dafür bei weitem nicht ausreichen. Selbst in der zweibändigen Monographie von M A C W I L L I A M S , S L O A N E ( 1 9 7 6 ) findet man eine Liste von Teilgebieten, die nicht behandelt werden konnten. Entsprechend schwierig war die Entscheidung, welche Teilgebiete ausführlicher dargestellt werden sollten und welche nicht. Wir haben versucht, Gebiete in den Vordergrund zu stellen, für die mathematisch interessante Ergebnisse vorliegen und die in einigermaßen geschlossener Form dargestellt werden können. Dabei stehen dann notgedrungen praktische Aspekte etwas im Hintergrund. So haben wir auf die Darstellung von Problemen der Decodierung, die uns zur Aufzählung einer ganzen Reihe von Algorithmen und deren Vergleich gezwungen hätte, verzichtet. In einigen Kapiteln wird aber auch Literatur zu dieser Problematik angegeben. Auf Komplexitätsbetrachtungen und Untersuchungen der Fehlerwahrscheinlichkeit haben wir verzichtet. Auch Probleme der Korrektur von Fehlerbündeln und von Synchronisationsfehlern klammern wir hier aus. Wir haben versucht, algebraische und kombinatorische Aspekte in den Vordergrund zu stellen. Natürlich konnten auch diese Gebiete nicht erschöpfend behandelt werden. Man muß auch bedenken, daß auf dem Gebiet der algebraischen Codierungstheorie international intensiv gearbeitet wird. So ist die Aktualität der einzelnen Kapitel verschieden. Für uns kam es darauf an, einerseits die wichtig-

Einleitung

5

sten Definitionen anzugeben und in die Problemstellungen der algebraischen Codjerungstheorie einzuführen und andererseits in einigen Punkten einen möglichst aktuellen Entwicklungsstand darzustellen. F ü r ein großes Teilgebiet, nämlich die Theorie der sequentiellen Codierungen, können wir auf die Monographie von L I N D N E R und S T A I G E R (1977) verweisen, in der diese Problematik umfassend behandelt wird. Dieses Gebiet klammern wir völlig aus. 9. Ausgehend von den üblichen Definitionen werden die Grundbegriffe der algebraischen Codierungstheorie dargestellt. Die Betrachtung von Codes als Elemente der Gruppenalgebra stellt einen recht eleganten Ansatz dar, der eine Reihe von Resultaten besser durchschaubar macht. Von der Klasse der linearen Codes werden in Abschnitt 7.4 nur einige wesentliche Eigenschaften behandelt. Auch in den Abschnitten über Gewichts- und Distanzspektren und über Schranken für Codeparameter können nur grundsätzliche Aussagen dargestellt werden. F ü r einige ausgewählte Klassen von linearen Codes werden dann detailliertere Aussagen gemacht. Diese Klassen sind einerseits durch spezielle Eigenschaften (zyklische Codes, selbstduale Codes) und andererseits durch ihre Konstruktionsverfahren (BCH-, Goppa-, Heigert-, Symmetrie-Codes) charakterisiert. 10. Auf dem Gebiet der perfekten Codes konnten gerade in letzter Zeit wichtige Resultate erzielt werden. So wurde die Frage der Existenz perfekter Codes für Alphabete von Primzahlpotenzordnung vollständig gelöst. Die in diesem Fall existierenden perfekten Codes sind in algebraischer und kombinatorischer Hinsicht gut untersucht. Für andere Alphabete und f ü r die Lee-Metrik wurden Teilresultate erzielt. Ein abschließendes Ergebnis ist hier aber noch nicht in Sicht. Die gleichmäßig gepackten Codes entstanden aus einer Verallgemeinerung der perfekten Codes. Auch hier gibt es f ü r einige Teilklassen abschließende Nichtexistenzaussagen; viele Probleme sind jedoch noch offen. 11. Die arithmetischen Codes nehmen eine Randstellung ein. Gerade hier konnte n u r ein kleiner Ausschnitt der bestehenden Theorie dargestellt werden. Wünschenswert wäre vor allem eine vereinheitlichende Behandlung der arithmetischen Codes mit den übrigen algebraischen Codes, zumal es z.B. bei den zyklischen Codes und den zyklischen arithmetischen Codes durchaus Parallelen gibt. 12. Mit den Aussagen über Codierungssätze f ü r algebraische Codes wurde im wesentlichen auf eine Arbeit von A H L S W E D E (1971) zurückgegriffen, in der gezeigt wurde, daß Gruppencodes die Übertragungsmöglichkeiten eines Kanals im allgemeinen nicht vollständig ausschöpfen können. E s sollten damit Resultate hervorgehoben werden, die die Verbindung von algebraischer Codierungstheorie und klassischer Informationstheorie in den Vordergrund gestellt haben.

1.

Längenvariable Codes

In diesem Kapitel werden eindeutig decodierbare längenvariable Codierungen für unabhängige, stationäre Quellen untersucht. Ausgehend von dem Lemma von FANO-KRAFT (Lemma 1.1) werden im Abschnitt 1.1 die Eigenschaften einer wichtigen Klasse von eindeutig decodierbaren Codes, der Klasse der Präfixcodes behandelt. Zu jedem eindeutig decodierbaren Code existiert ein Präfixcode mit denselben Codewortlängen. Daher genügt es, im Sinne des Codieraufwandes optimale Codes in der Klasse der Präfixcodes zu suchen, Abschnitt 1.2. Dem Algorithmus von HUFFMAN zur Konstruktion optimaler Präfixcodes und der Untersuchung der Eigenschaften dieser Codes ist breiter Raum gewidmet, da diese Codes in der deutschsprachigen Literatur wenig oder keine Beachtung fanden, v g l . F E Y (1968), MEYER-EPPLER (1970).

Abschnitt 1.3 ist der Abzahlung längenvariabler Codes und den Zusammenhängen zur Such- und Fragebogentheorie, vgl. PICARD (1972) gewidmet.

Es sind durchaus nicht alle Probleme, die längenvariable Codes betreffen, gelöst. Dazu zählt das Problem der expliziten Formel für den Codieraufwand optimaler Codes; Satz 1.7 und 1.8 geben Teillösungen an. Es ist gegenwärtig auch nicht die genaue Anzahl der Klassen längenäquivalenter regulärer Suchcodes bekannt, Satz 1.14 gibt nur die Zahl aller regulären Suchcodes vom Grade N an. Die Abzahlung v o n G r a p h e n wird ausführlich in HARARY (1967), HARARY, PALMER (1973) u n d

ungelöste Abzählungsprobleme werden in HARARY (1960) behandelt.

1.1.

Eindeutig decodierbare längenvariable Codes

Sei X ein endliches Alphabet u n d [X, ti\ eine u n a b h ä n g i g e stationäre Quelle, vgl. Abschnitt 2.3. W e n n die von der Quelle ausgesandten Nachrichten über einen K a n a l ü b e r t r a g e n werden sollen, so m u ß aus technischen G r ü n d e n häufig eine Codierung der N a c h r i c h t e n mit Hilfe eines endlichen Alphabetes Y vorgenommen werden. Sei die A n z a h l N von Y kleiner als die von X; f ü r F = {0,1}, also N = 2, sprechen wir von einer Binärcodierung. Sei W(Y) die Menge aller endlichen W ö r t e r über Y einschließlich des leeren W o r t e s e, u n d sei W{Y) eine freie H a l b g r u p p e mit dem freien Erzeugendensys t e m Y. Sei y:X —> W(Y) eine injektive F u n k t i o n , d a n n ist die F o r t s e t z u n g y* von y auf W(X) durch y*(e) = D f e , y*{x1 ...xn)

=

D f

y f o ) . . . y{xn) f ü r x1...x„e

W(X),

n 2 ; 1, ein H o m o m o r p h i s m u s von der freien H a l b g r u p p e W(X) mit d e m freien Erzeug e n d e n s y s t e m X in die freie H a l b g r u p p e W(Y) mit dem freien Erzeugendensystem F . y* wird als kombinatorische Codierung von X mittels Y bezeichnet. Möchte m a n aus einer erhaltenen Codewortfolge wieder eindeutig auf die ausgesandte Nachrichtenfolge schließen, s o m u ß m a n fordern, d a ß W(y(X)) d u r c h y(X) frei erzeugt wird. Denn y* ist im allgemeinen kein I s o m o r p h i s m u s auf die H a l b g r u p p e W(y(X)) m i t dem

1.1. Eindeutig decodierbare längenvariable Codes freien Erzeugendensystem y{X), Halbgruppe.

d.h., y{X)

7 ist kein freies Erzeugendensystem dieser

Definition 1.1. Eine kombinatorische Codierung y* heißt eindeutig decodierbar (e.d.) genau dann, wenn W(y(X)) eine freie Halbgruppe mit y(X) als freiem Erzeugendensystem ist, d.h., die Elemente von W(y(X)) sind eindeutig durch Elemente von y{X) darstellbar. Selbst wenn y eine injektive Abbildung ist, muß y* nicht eindeutig decodierbar sein. Denn sei für X = {xvx2,x3} y die folgende injektive Abbildung: x1 — 1, x2 — 0, x3 — 01, dann ist y* nicht eindeutig decodierbar. Es genügt auch nicht, für eindeutige Abbildungen y die eindeutige Decodierbarkeit zu fordern. Bei der Zuordnung xx — 0, x2 — 0, x3 — 1 ist zwar y eindeutig, aber bei Empfang des Codewortes 0 kann nicht eindeutig auf die gesendete Nachricht geschlossen werden. Für eindeutig decodierbare Codierungen gilt nun das grundlegende Lemma 1.1. (Fano, Kraft, McMillan). 1. Wenn y* eine e.d. Codierung ist, dann gilt 2

xiX

i V ^ l ^ 1.

2. Gilt für die Familie

(1.1) (X(x))xix

von natürlichen Zahlen

(1.2)

xiX so existiert eine e.d. Codierung y*: W{X) -> W(Y)

mit

\y*(x)\=X(x). Dabei bezeichnet | q | die Länge des Wortes q 6 W( Y). B e w e i s , ad 1. Sei L eine beliebige positive ganze Zahl, dann gilt für % = D f \y*(xj) i = 1, ..., M mit M = |X|, / M

SL

M

M

M

(^iV-"* = £ 2 ••• L N - ^ + n k , + - + n k £ ) . U=1 / £,=1 t,=2 kL=l

(1.3)

Jedem Summanden auf der rechten Seite entspricht eine Folge von L Codewörtern. Außerdem ist (nki + %-, + •••+ nk]) die Gesamtlänge der Folge von Codewörtern gemessen in Codesymbolen. Wenn Af die Anzahl der Folgen von L Code Wörtern ist, die eine Gesamtlänge von i Codesymbolen haben, dann kann, (1.3) auch in der folgenden Form geschrieben werden:

(

ai

\L

Im, —max

= £ AfN-*, (1.4) k=1 / wobei max = ninf i=1max ist. t ¿=1 M n: Wenn die Codierung eindeutig decodierbar ist, dann sind alle Folgen von Codewörtern der Länge i verschieden, und somit ist Ai Nl. Setzt man dies in (1.4) ein, so ergibt sich m \h "-max 1 = ¿W max

(

und somitk=1

/

i=l

M

2 N~ n k ^ [ L n ^ L . ¿•=1 2 Pötschke/Sobik

(1.5)

8

1. Längen variable Codes

Die Ungleichung (1.5) gilt für alle natürlichen Zahlen L, damit ergibt sich für die Behauptung. ad 2. vgl. Fein.stein (1958). •

L-+oo

Man kann leicht zeigen, daß zu Code wort längen, die der Ungleichung (1.1) von FastoK e a f t genügen, stets eine Codierung y* so gewählt werden kann, daß y{X) ein Präfixcode ist. Dabei heißt eine nichtleere Teilmenge A von X~ Präfix{Suffix)code über X genau dann, wenn A A AX+ = 0 (bzw. wenn A A X+A — 0) ist, wobei X+ = D f TF(X) \ {e} gesetzt wird. Ist y(X) ein Pi'äfixcode, so wird y* als Präfixcodierung bezeichnet. Ein Präfixcode ist also eine Wortmenge, bei der kein Codewort Anfangsstück eines anderen ist. Somit kann ein Präfixcode durch einen baumartigen Graphen dargestellt werden, dessen vollständige Käntenfolgen die Codewörter darstellen. Beispiel. Sei X = {.r 1; x2, .r3, .ii -

:c s }, dann ist durch

00, x2 - 0 1 , x3 - 1 0

-

110, ,t5 -

111,

eine Präfixcodierung gegeben, die durch den folgenden ungerichteten, markierten Graphen, einen Baum, dargestellt wird, vgl. Abb. 1.1.

Abb. 1.1. Codebaum zu der im obigen Beispiel angegebenen Präfixcodierung

Beispiel. Sei ^

= {00, 1 0 , 1 1 , 0 1 1 , 0 1 0 } ,

C 2 = {00, 10, 11, 110, 100} und C3 = {0, 001, 100, 110}. Dann ist C\ ein Präfixcode, C 2 ist eindeutig decodierbar, aber kein Präfixcode, da 11 Präfix von 110 ist, und C 3 ist nicht eindeutig decodierbar, da 001 100 geschrieben werden kann als 0 • 0 • 110 • 0 oder als 001 • 100. Die Darstellung von Präfixcodes durch Bäume ist der durch eine Menge von Codewörtern äquivalent, da jedem endlichen homogenen Baumgraphen ein Präfixcode zugeordnet werden kann. Die Codewortlängen einer eindeutig decodierbaren Codierung y genügen nach Lemma 1.1 der Ungleichung (1.1) von F a n o - K r a f t , und zu jeder Menge von Codewortlängen, die der Ungleichung (1-2) genügen, existiert ein Präfixcode mit eben diesen Codewortlängen. Daher kann jeder eindeutig decodierbare Code durch einen Präfixcode mit denselben Codewortlängen ersetzt werden. Das hat z . B . zur Folge, daß wir uns später bei der Konstruktion von optimalen eindeutig decodierbaren Codierungen auf die Klasse der Präfixcodes beschränken können. Definition 1.2. Ein Präfixcode C über einem endlichen Alphabet Y heißt maximal genau dann, wenn für jedes qd W( V) \ C die Menge C \J {q} kein Präfixcode ist. Es gilt der folgende Satz 1.2 (Oha, Shye (1973)). 1. Jede Teilmenge

eines Präfixcodes

ist ein

Präfixcode.

9

1.1. Eindeutig decodierbare längenvariable Codes

2. Wenn B und C Präfixcodes über Y sind, so ist B ° C ein Präfixcode. 3. Jeder Präfixcode ist in einem, maximalen Präfixcode enthalten. 4. Sei C ein Präfixcode mit der maximalen Codewortlänge n. Dann existiert ein maximaler Präfixcode M mit C Q M und der gleichen maximalen Codewortlänge n. 5. Sei M ein maximaler Präfixcode und q £ M, dann ist auch {M\{q})\J{qY}) ein maximaler Präfixcode. 6. Sei M ein maximaler Präfixcode und {qY} Q M, dann ist auch (M \ {