Theorie der Fragebogen [Mit e. Anh. v. E. Lüdde und H. Thiele. Reprint 2021 ed.] 9783112564189, 9783112564172

Citation preview

PICARD Theorie der F r a g e b o g e n

CLAUDE FRANÇOIS PICARD

Theorie der Fragebogen mit einem Anhang von E. LÜDDE und H. T H I E L E

AKADEMIE -VERLAG 1973

•

BERLIN

Französischer Originaltitel: T H E O R I E D E S Q U E S T I O N N A I R E S , P A R I S 1965 Übersetzt von E . L Ü D D E , wissenschaftlich bearbeitet, herausgegeben und mit einem Anhang versehen von E . L Ü D D E und H. T H I E L E

Erschienen im Akademie-Verlag G m b H , 108 Berlin, Leipziger S t r . 3—4 Copyright 1965 b y Gauthier-Villars, Paris Lizenznummer: 202 • 100/7/73 Herstellung: 1V/2/14 V E B Druckerei »Gottfried Wilhelm Leibniz«, 445 Gräfenhainichen/DDR • 3855 Bestellnummer: 5675 • E S 19 B 1,5 E D V 751 959 8

Vorwort zur deutschen Ausgabe

Im

letzten J a h r z e h n t

hat

sich ein Gebiet herausgebildet, dessen

Be-

deutung und U m f a n g gegenwärtig bereits sehr groß sind, in der Z u k u n f t noch wesentlich wachsen w e r d e n : die Theorie der ä q u i v a l e n t e n

Umfor-

mungen von Algorithmen und Programmen sowie die d a r a u f b e r u h e n d e Theorie ihrer Optimierung hinsichtlich verschiedener B e w e r t u n g s k r i t e r i e n . Das Ziel derartiger Untersuchungen ist k l a r . Die betreffenden

Algo-

rithmen und P r o g r a m m e sollen so geschrieben werden, d a ß bei i h r e r Abarbeitung auf einem A u t o m a t e n möglichst wenig Zeit und S p e i c h e r r a u m benötigt werden. W e n n m a n bedenkt, daß die auf R e c h n e r n zu lösenden Probleme und d a m i t die aufzustellenden Algorithmen i m m e r k o m p l i z i e r t e r und umfangreicher werden, wird die W i c h t i g k e i t einer O p t i m i e r u n g s t h e o r i e für Algorithmen und P r o g r a m m e , insbesondere u n t e r volkswirtschaftlichen Gesichtspunkten, sehr deutlich. Generell ist zu bemerken, daß solche Untersuchungen den R a h m e n der „klassischen" Algorithmentheorie, die sich innerhalb der m a t h e m a t i s c h e n Logik e n t w i c k e l t h a t und etwa durch Begriffe wie „rekursive F u n k t i o n " , „TüRiNG-Maschine, „A-Kalkül", „PoSTscher" oder „MARKOWscher Algor i t h m u s " abgegrenzt werden k a n n , wesentlich überschreiten. Die klassische Algorithmentheorie, die in den dreißiger und vierziger J a h r e n dieses J a h r hunderts, insbesondere um das J a h r 1936, entstanden und m i t N a m e n wie I LEKBRAIID, GÖDEL, K L E E N E , TUBETO, CHURCH, POST, MARKOW u n d a n d e r e n

verbunden ist, h a t in erster Linie das Ziel, den Begriff des A l g o r i t h m u s und d a m i t Begriffe wie B e r e c h e n b a r k e i t und K o n s t r u k t i v i t ä t ü b e r h a u p t erst einmal zu präzisieren und d a m i t eine begriffliche G r u n d l a g e f ü r U n entscheidbarkeits- und Nichtaxiomatisierbarkeitsbeweise matischen

Logik zu schaffen.

I n den angedeuteten

in d e r

mathe-

modernen

Unter-

suchungen wird zum Teil auf die klassischen Algorithmenbegriffe z u r ü c k gegriffen, zum Teil wird der Begriff des Algorithmus dabei neu p r ä z i s i e r t , und zwar in Abhängigkeit von der Aufgabenstellung, e t w a m i t den Hilfs-

5

mittein der Graphentheorie (als F l u ß d i a g r a m m bzw. als G r a p h s c h e m a ) oder als sinnvoller Ausdruck einer (evtl. problemorientierten)

algorith-

mischen S p r a c h e . Innerhalb der (klassischen, besonders aber der modernen) algorithmentheoretischen Untersuchungen spielt d a s Teilgebiet der Theorie logischer Entscheidungsprozcsse sowohl von seinem m a t h e m a t i s c h e n Gehalt her als auch im Hinblick auf die Anwendungen eine besondere Rolle. Der inhaltliche A u s g a n g s p u n k t dieser Betrachtungen besteht darin, daß u n b e k a n n t e oder nur teilweise bekannte Objekte identifiziert oder in Klassen eingeteilt werden sollen. Der A s p e k t der U m f o r m u n g (also der A s p e k t der Informationsverarbeitung) t r i t t bei dieser Aufgabenstellung in den Hintergrund u n d fällt nur insofern ins Gewicht, als es für den Identifizierungs- oder Klassifizierungsprozeß notwendig ist, die Objekte zu verändern. Sehr wichtig ist die Feststellung, daß — wie allgemein bei algorithmischen Prozessen — ein Identifizierungs- oder Klassifizierungsprozeß häufig nicht nach einem Schritt beendet ist, sondern aus verschiedenen Gründen sequentiell evtl. sehr viele Teilschritte durchlaufen muß. Einige Gebiete, in denen Identifizierungs- und Klassifizierungsprozesse grundlegend sind, seien ohne Anspruch auf Vollständigkeit hier g e n a n n t : Informationscodierung, Informationsabspeicherung und -Wiederauffindung, Informationsreduktion; Informationsverarbeitung, insbesondere Programmierung (nämlich logische Steuerung in Algorithmen und P r o g r a m m e n ; wir erinnern dazu an den Begriff des Zielausdrucks in A L G O L - 6 0 ) ; Objekterkennung und -klassifizierung im allgemeinsten Sinne, speziell Zeichenund Mustererkennung, ferner a u t o m a t i s c h e und natürliche Begriffsbildung; schließlich d a s umfangreiche Gebiet der Lernprozesse sowie allgemeiner der natürlichen und künstlichen Intelligenz. Die Monographie von CLAUDE FßANgoiS PICABD „Theorie des questionnaires", deren deutsche Ubersetzung hiermit vorgelegt wird, gehört, obwohl dies im Original nicht ausdrücklich betont wird, in diesen Gedankenkreis. E s werden gerichtete Graphen betrachtet, die auf der Menge ihrer Senken eine Wahrscheinlichkeitsverteilung tragen. S c h r ä n k t m a n den

Bereich

dieser Graphen, wie es bei PICARD zu Beginn seiner A u s f ü h r u n g e n geschieht, auf den Bereich der Büschel ein, kann m a n in einer anschaulich sehr einfachen Weise von der mittleren Weglänge in einem derartigen Graphen sprechen und solche Graphen einerseits — im Sinne der Codierungstheorie — als Codebäume und andererseits als Beschreibungen für sequentielle logische

6

Entscheidungsprozesse auffassen. Dabei ist die zweite A u f f a s s u n g verallgemeinerungsfähiger u n d weittragender. Sie wird offenbar deshalb von P I C A R D bevorzugt u n d k o m m t sogar in der Bezeichnung derartiger G r a p h e n als „questionnaires" (von uns hinsichtlich der I n t e r p r e t a t i o n als logischer Entscheidungsprozeß m i t „ F r a g e b o g e n " übersetzt) z u m A u s d r u c k . Es werden systematisch eine Reihe interessanter u n d wichtiger Begriffsbildungen e i n g e f ü h r t u n d entsprechende Resultate abgeleitet. Die Wichtigkeit der T h e m a t i k einerseits u n d die z u r Zeit noch spärlichen P u b l i k a t i o n e n auf diesem Gebiet andererseits h a b e n den E n t s c h l u ß reifen lassen, die vorliegende Ubersetzung herauszugeben. Die Ubersetzer u n d Bearbeiter der deutschen Ausgabe hielten es aus mehreren Gründen f ü r sinnvoll u n d gerechtfertigt, den A u s f ü h r u n g e n des Verfassers einen A n h a n g (bestehend aus drei Teilen) h i n z u z u f ü g e n . Der A u s g a n g s p u n k t f ü r den ersten Teil b e s t e h t in der Tatsache, d a ß die inhaltliche I n t e r p r e t a t i o n der PiCABJDschen Fragebogen als sequentielle logische Entscheidungsprozesse u n d d a m i t die A n w e n d b a r k e i t der Theorie nicht unproblematisch sind, insbesondere d a n n , wenn in dem b e t r a c h t e t e n G r a p h e n Zyklen oder Kreise v o r k o m m e n (man vgl. dazu S. 23). Die Ursache d a f ü r liegt darin, daß der gesamte Ansatz einschließlich des Begriffs des Fragebogens einen sehr hohen Abstraktionsgrad h a t . So sind z. B. die O b j e k t e , die klassifiziert werden sollen, bei dem vorliegenden Ansatz (etwa als Eingabegrößen des Algorithmus) nicht e r f a ß t ; ebenfalls sind n i c h t präzisiert die Verteilungsgesetze, die das Angebot dieser O b j e k t e als Eingabegrößen regeln. Demgemäß reduziert sich der Begriff der F r a g e auf den Begriff des K n o t e n s m i t mindestens zwei direkten Nachfolgern. Das auf der Menge der Ausgänge liegende Wahrscheinlichkeitsverteilungsgesetz ist hinreichend verständlich, wenn der b e t r a c h t e t e G r a p h ein Büschel ist u n d als „ C o d e b a u m " einer Codierung a u f g e f a ß t werden k a n n . Wird diese Auffassung nicht geteilt oder liegt evtl. ein Graph m i t Zyklen oder Kreisen vor, so ist das Verteilungsgesetz z u n ä c h s t nicht sinnvoll i n t e r p r e t i e r b a r . Diese Schwierigkeiten verschwinden a u t o m a t i s c h , w e n n m a n „ i n t e r p r e t i e r t e " Fragebogen b e t r a c h t e t . Bei diesen sind — grob gesprochen — ein Bereich J von Eingabegrößen u n d ein Verteilungsgesetz ü b e r J gegeben. A u ß e r d e m wird jeder a b s t r a k t e n Frage, also jedem K n o t e n , eine k o n k r e t e Frage, d. h. ein T e s t a t t r i b u t über J, zugeordnet. Definiert jedes Elem e n t £ aus J in dem G r a p h e n genau einen Weg, der im E i n g a n g b e g i n n t u n d in genau einem Ausgang endet, so k a n n m a n das auf der Menge der 7

A u s g ä n g e liegende Verteilungsgesetz als eine Ü b e r t r a g u n g ( V e r g r ö b e r u n g ) des a m E i n g a n g existierenden Verteilungsgesetzes d e u t e n . Der zweite Teil des A n h a n g e s soll die R e i h e der A n w e n d u n g s b e i s p i e l e d e r F r a g e b o g e n t h e o r i e g e g e n ü b e r d e m Original v e r g r ö ß e r n . Dies erschien u n s n o t w e n d i g zu sein, weil im Original die A n w e n d u n g e n n a c h u n s e r e r M e i n u n g e t w a s zu k u r z g e k o m m e n sind. Im

d r i t t e n Teil des A n h a n g e s schließlich h a b e n wir v e r s u c h t ,

einige

P r o b l e m e u n d Ergebnisse der F r a g e b o g e n t h e o r i e , die seit d e m E r s c h e i n e n des Originals im J a h r e 1965 von PICARD u n d seinen M i t a r b e i t e r n sowie a u c h von a n d e r e n erzielt w o r d e n sind, darzustellen. Z u r Zeit entwickelt sich ein Gebiet, dessen G e g e n s t a n d die i n d u k t i v e E r zeugung von i n t e r p r e t i e r t e n Fragebogen zur Klassifizierung u n d Identifizier u n g von O b j e k t e n aus b l a c k - b o x - I n f o r m a t i o n e n ist. Wir weisen ausdrücklich darauf hin, d a ß derartige U n t e r s u c h u n g e n aus P l a t z g r ü n d e n in den A n h a n g nicht a u f g e n o m m e n w u r d e n . Die z u m V e r s t ä n d n i s des vorliegenden Buches e r f o r d e r l i c h e n m a t h e m a t i s c h e n V o r k e n n t n i s s e sind m i n i m a l .

Es w e r d e n de f a c t o alle n o t -

wendigen Begriffe definiert (nur a n einigen Stellen w e r d e n die G r u n d b e g r i f f e der D i f f e r e n t i a l r e c h n u n g v e r w e n d e t ) ; eine gewisse V e r t r a u t h e i t m i t d e n G r u n d b e g r i f f e n der Mengenlehre, G r a p h e n t h e o r i e u n d der SHANNONschen I n f o r m a t i o n s t h e o r i e wird j e d o c h zweifellos die L e k t ü r e erleichtern. Z u m Schluß m ö c h t e n wir allen d a n k e n , die u n s bei d e r E n t s t e h u n g d e r d e u t s c h e n A u s g a b e des W e r k e s v o n PICARD u n t e r s t ü t z t h a b e n . I n e r s t e r Linie gilt u n s e r D a n k d e m A u t o r f ü r sein großes V e r s t ä n d n i s

unserer

Sorgen bei d e r Ü b e r s e t z u n g u n d B e a r b e i t u n g seines W e r k e s sowie f ü r u n s e r e W ü n s c h e bezüglich des v o n u n s v e r f a ß t e n A n h a n g e s . Den H e r r e n Dr. HEINZ-JÜRGEN V o s s u n d D i p l . - M a t h . DIETEB PÖTSCHKE d a n k e n w i r f ü r die D u r c h s i c h t des M a n u s k r i p t e s sowie f ü r eine R e i h e f a c h l i c h e r H i n weise. F e r n e r d a n k e n wir F r ä u l e i n ANGELIKA MAGDLUNG f ü r d a s D u r c h r e c h n e n einiger Beispiele sowie F r ä u l e i n ANGELIKA GEBHARDT f ü r i h r e Hilfe bei d e r F e r t i g s t e l l u n g des M a n u s k r i p t e s . Schließlich m ö c h t e n wir es n i c h t v e r s ä u m e n , d e m A k a d e m i e - V e r l a g Berlin, i n s b e s o n d e r e H e r r n Dr. SCHUBARTH, f ü r d a s v e r s t ä n d n i s v o l l e E i n g e h e n auf u n s e r e W ü n s c h e u n d T e r m i n s c h w i e r i g k e i t e n herzlich zu d a n k e n . W e i m a r / B e r l i n , im J u n i 1970

EBERHARD LÜDDE HELMUT T H I E L E

8

Inhaltsverzeichnis

Vorwort Einführung Grundbegriffe und Ziel der Theorie Terminologie

5 1313 15

ERSTES KAPITEL Theovie der homogenen F r a g e b o g e n 1.1. Einleitung 1.2. Eigenschaften optimaler homogener Fragebogen 1.2.1. Verkleinerung der mittleren Weglänge L 1.2.2. Homogene Büschelfragebogen 1.3. Matrixdarstellung von Büschelfragebogen. Operationen mit Büscheln 1.3.1. Die Verbindungsmatrix 9t 1.3.2. Die Verbindungsmatrix % mit Wahrscheinlichkeitsverteilung 1.3.3. Permutation von disjunkten Unterbüscheln eines Büschels . 1.4. Die mittlere Weglänge homogener Büschel und optimale Büschel . . 1.5. Theorie der Fragebogen und Codierungstheorie 1.5.1. Betrachtungen über Codierungen 1.5.2. Eigenschaften optimaler homogener Fragebogen und von Codierungen mit minimaler mittlerer Codewortlänge 1 . 5 . 3 . D e r A l g o r i t h m u s v o n HUFFMAN

21 21 24 24 27 35 35 3(> 37 40 45 45 45 4&

ZWEITES K A P I T E L Homogene und q u a s i h o m o g e n e F r a g e b o g e n mit Gleichv e r t e i l u n g a u f der M e n g e der E r e i g n i s s e 2.1. Die mittlere Weglänge 2.2. Eine charakteristische Eigenschaft von Büscheln des Typs A 0 . . . 2.3. Dichotome Büschel 2.3.1. Optimale Büschel 2.3.2. Die mittlere Weglänge nicht optimaler Büschel

51 51 53 57 57 57

DRITTES KAPITEL

3.1. -3.2. 3.3. 3.4.

3.5.

Informationstheoretische Untersuchung der F r a g e bogen Deutung der Fragebogen im Sinne von SHANNON Entropie eines homogenen Fragebogens Abschwächung eines Fragebogens Abschwächung eines optimalen Fragebogens 3.4.1. Beispiele für Fragebogen ohne Abschwächung 3.4.2. Optimale Fragebogen mit Abschwächung Verfahren zur Aufstellung eines Fragebogens 3.5.1. Maximierung der bedingten Entropie und der Algorithmus von HtTFFMASf 3.5.2. Ein spezielles Verfahren zur Konstruktion optimaler dichotomer Fragebogen mit Gleichverteilung auf E 3.5.3. Fluß in Fragebogen

61 6i 66 70 74 74 74 81 81 83 85

V I E R T E S KAPITEL Das P r o d u k t von F r a g e b o g e n Das Produkt von Büscheln und Büschelfragebogen Die mittlere Weglänge des Produkts zweier homogener Büschel . . . Die Entropie des Produkts zweier homogener Büschcl Die Abschwächung des Produkts zweier quasihomogener Büschel . . Produkte mehrerer Faktoren Einteilung der Elementarereignisse in „wesentliche" und „unwesentliche" 4.7. Das partielle Produkt

4.1. 4.2. 4.3. 4.4. 4.5. 4.6.

86 86 88 89 89 96 96 99

FÜNFTES KAPITEL 5.1. 5.2. 5.3. 5.4. 5.5. 5.6.

Heterogene Fragebogen Definition Eigenschaften Die mittlere Weglänge heterogener Büschel und ihre Verkleinerung Entropie und Acquisition Das Produkt von heterogenen Fragebogen Semihomogene Fragebogen

6.1. 6.2. 6.3. 6.4.

A n w e n d u n g der Theorie der Fragebogen Das Problem der „Städte der Lügner und der ehrlichen Leute" . . Ein Schnittproblem Ein Suchproblem Verschiedene Probleme

100 100 101 104 107 111 112

SECHSTES KAPITEL

10

114 115 125 127 134

SIEBENTES KAPITEL 7.1. 7.2. 7.3. 7.4.

P r o b l e m e der I n f o r m a t i o n s v e r a r b e i t u n g Allgemeine Bemerkungen Suchoperationen in Tabellen Die beiden größten Zahlen Das Problem des Sortierens von Zahlen 7.4.1. Einführung 7.4.2. Neuere Näherungsverfahren: Ordnen und Information 7.4.3. Optimales Verfahren für das Ordnen von n Zahlen 7.4.4. Ordnen durch dichotomes Einfügen — TID 7.4.5. Algorithmus für ein Ordnungsverfahren

. . .

136 136 137 138 145 145 145 147 153 155

ANHANG ACHTES KAPITEL Ein a l l g e m e i n e r A n s a t z zum A u f b a u e i n e r T h e o r i e interpretierter Fragebogen 8.1. Ergänzende graphentheoretische Begriffe und Beziehungen . . . . 8.2. Grundbegriffe der mathematischen Logik 8.3. Graphschemata. Interpretierte Fragebogen

161 161 163 173

8.4. Zusammenhang zwischen der PiCABDschen Fragebogentheorie und

der Theorie der interpretierten Fragebogen

187

NEUNTES KAPITEL

•9.1. 9.2. •9.3. 9.4.

9.5.

Z u s a m m e n h a n g d e r Fr a ge b o gen th e o r i e m i t a n d e r e n Theorien. A n w e n d u n g e n Deutung der dichotomen Fragebogen als Ausdrücke oder Anweisungen algorithmischer Sprachen Algorithmenschemata Spieltheoretische Methoden in der Theorie optimaler Algorithmen Fragebogen als Suchalgorithmen 9.4.1. Sequentielles Suchen 9.4.2. Binäres Suchen 9.4.3. Verschiedene Verfahren Sortieren durch Vereinigung von Magnetbändern

190 190* 195 198 200 200 202 206 207

ZEHNTES KAPITEL W e i t e r f ü h r u n g der „klassischen" Fragebogentheorie durch PICARD und andere 10.1. Rekursive Konstruktion optimaler sinnvoller Fragebogen 10.2. Rekursive Konstruktion optimaler sinnvoller Büschelfragebogen unter Berücksichtigung einer Bewertung der Testausdrücke

210 210 220

11

10.3. 10.4. 10.5. 10.6. 10.7.

Aussagenlogische Interpretation der Fragebogen Bewertung der Knoten und weitere Optimierungsgrößen Quasifragebogen Fragebogen mit Zyklen Informationstheoretische Deutung des HrrrrMANschen Algorithmus und verallgemeinerte Entropiebegriffe

224 237 240 241

Literaturverzeichnis

246

245

Einführung 1

Grundbegriffe und Ziel der Theorie Unter einem vollständigen System von N Elementarereignissen J/J, J/2> • • • > 2/N verstehen wir die Menge E der Versuchsausgänge eines Versuchs [3], [4], [9], [20]. Die Wahrscheinlichkeiten p [ y j ) der zufälligen Ereignisse (Versuchsausgänge) sind durch die Beziehungen N

p(yj)^ 0

und

JJp(yj)=i j= i

charakterisiert. Wir setzen in dieser Studie voraus, daß alle Versuchsausgänge eintreten können; denn diejenigen, die nicht auftreten, lassen wir weg, d. h., wir verkleinern E entsprechend. Es gilt daher o. B. d. A. 0 r identifiziert werden. Die Fragen werden in Abhängigkeit von den Antworten

der

vorhergehenden

Fragen

gestellt.

Ein

zusammengesetzter

Versuch wird dann beendet sein, wenn ein Ereignis identifiziert ist und infolgedessen keine neuen Fragen gestellt zu werden brauchen. Der gesamte Versuchsplan wird Fragealgorithmus der Fragebogen

Theorie Trennung Anzahl

versucht

der N Ereignisse

von Fragen

man,

oder Fragebogen Fragebogen

eines vollständigen

genannt. Mittels

zu konstruieren,

Systems im Mittel die

die

der zur

geringste

benötigen.

Die folgende Theorie erlaubt, für eine gegebene Menge von N Ereignissen und für eine Menge von Fragen, deren Basen vorgeschrieben sind, Versuchspläne aufzustellen, die am schnellsten und raumsparendsten zum Ziele führen. In den letzten Kapiteln der vorliegenden Monographie wird gezeigt werden, wie diese Theorie sogar auf die Formulierung der zu stellenden Fragen führt. Von der praktischen Kennzeichnung der verschiedenen Ausgänge einer Frage wird jedoch nur in den Anwendungen die Rede sein. Diese Ausgänge werden einerseits die verschiedenen Antworten auf eine allgemeine Fragestellung für eine nicht festgelegte Anzahl von Ereignissen sein — vom T y p : „Wie groß ist das Gewicht eines Geldstückes?". Sie werden andererseits die Antworten j a bzw. nein bei binären Entscheidungsfragen sein — vom T y p : „ I s t A größer als B ? " . Die erforderlichen Begriffe werden an entsprechender Stelle definiert. Die benutzte Terminologie wird durch eine Ubersicht am Anfang eingeführt und erläutert. Alle Kapitel — vom fünften abgesehen — beziehen sich auf die Theorie der homogenen Fragebogen, bei denen alle Fragen die gleiche Anzahl von Ausgängen haben. Das zweite behandelt den Sonderfall von Systemen gleichwahrscheinlicher Ereignisse, und das dritte schließlich ist der informationstheoretischen Deutung der Fragebogen gewidmet. In den folgenden Kapiteln werden Zerlegungen von Ereignismengen studiert, dann heterogene (inhomogene) Fragebogen betrachtet. Zum Schluß werden durch die Lösung von Beispielen aus der Praxis einige Aspekte der Bedeutung dieser Theorie herausgearbeitet.

Die Fragebogentheorie kann als Verbindung

der Informationstheorie (diskrete Informationsquelle) m i t der Graphentheorie (Büschel) aufgefaßt werden. 14

Terminologie1 1. G = [X, r ] heißt genau dann gerichteter endlicher Graph, wenn a) X eine endliche Menge und b) r eine binäre Relation über X ist, d. h. T 1 ^ X X X gilt. Man kann r auch als mehrdeutige Abbildung aus X in X deuten. Die Elemente x € X werden Knotenpunkte oder auch Ecken des Graphen G genannt. Diejenigen Elemente, die einem Element x durch die Abbildung r zugeordnet sind, werden mit Ttx (i = 0 , 1 , 2 , . . . ) bezeichnet. Sie werden (direkte) Nachfolger von x genannt, wobei x ihr (direkter) Vorgänger heißt. Die Menge der (direkten) Vorgänger von x wird mit r ~ i x bezeichnet. Als Symbol für die Menge der (direkten) Nachfolger von x wird Tx benutzt. Die Anzahl der Elemente einer endlichen Menge M wird mit |M| bezeichnet. Ein Paar von Elementen x und x' aus X , für das x' € Tx gilt, wird als geordnetes Paar [x,x'] geschrieben und Bogen (oder gerichtete Kante) des Graphen genannt, x heißt Anfangspunkt (oder Ursprung) des Bogens \x, x'] und x' sein Endpunkt. Gilt x = x', so heißt der Bogen [x, x'] Schlinge. In unserer Studie setzen wir jedoch stets voraus, daß keine Schlingen vorkommen. Der vordere (hintere) Halbgrad eines Knotenpunktes x ist die Anzahl der Bogen, die x zum Endpunkt (Anfangspunkt) haben. Diese Bogen werden einlaufende (auslaufende) Bogen von x genannt. Der Grad eines Knotenpunktes x ist die Summe seiner beiden Halbgrade. Er ist gleich der Anzahl der Bogen, die x als Anfangs- oder Endpunkt enthalten. Man sagt, daß der Bogen [x, x'] von x nach x' führt. Ein (gerichteter) Weg w eines Graphen ist eine Folge von Bogen, für die der Endpunkt jedes Bogens mit dem Anfangspunkt des folgenden Bogenszusammenfällt. Ist w ein endlicher Weg, so sagen wir, daß w den Anfangspunkt seines ersten Bogens ( A n f a n g ) mit dem Endpunkt seines letzten Bogens (Ende) verbindet. Die Länge l{w) eines Weges w ist die Anzahl der Bogen dieses Weges. Wenn Anfang und Ende eines Weges zusammenfallen, wird dieser Weg Kreis genannt. 1

I m Original wird die Terminologie v o n BERGE [1] verwendet. Bei der Übersetzung

halten

wir

uns

weitgehend an die Bezeichnungen der deutschen

Übersetzung von [2], — Anm. d. Red.

15

W e n n r eine symmetrische Relation ist, sprechen wir von ungerichteten Graphen G'. Bei diesen unterscheiden wir nicht zwischen [x, x'] u n d [x', &•] u n d schreiben deshalb {x, a/}. Wir nennen {x, x'} Kante von G'. x u n d x' heißen Endpunkte einer Kante. Eine Folge [uit u2, . . ., un] von K a n t e n {mit 1 n) nennen wir genau d a n n Kette, wenn f ü r jede „innere" K a n t e uv (d. h. m i t 1 < v < n) gilt: Ein E n d p u n k t von uv ist E n d p u n k t von uv_i u n d der andere (oder, falls uv eine Schlinge ist, der gleiche) E n d p u n k t ist E n d p u n k t von uv + l . Eine geschlossene K e t t e h e i ß t Zyklus. In einem gerichteten Graphen G definieren wir j e t z t die Menge Px der Nachfolger eines K n o t e n p u n k t e s x: x' £ Px genau d a n n , wenn x' = x oder es einen Weg w gibt, der x m i t x' verbindet. U m g e k e h r t heißt x Vorgänger von allen von x verschiedenen 1 K n o t e n p u n k t e n aus Px. S = [X', _/""] heißt Untergraph eines Graphen G = [ X , / 1 ] , wenn

x ' g x und r = r ^ ( X ' x x'). Ein Graph heißt zusammenhängend oder konvex, wenn es f ü r je zwei seiner K n o t e n p u n k t e eine sie verbindende K e t t e gibt. Nicht zusammenh ä n g e n d e Graphen zerfallen in z u s a m m e n h ä n g e n d e U n t e r g r a p h e n oder Komponenten, die mindestens einen K n o t e n p u n k t besitzen. Ein Graph G = [X, Z1] k a n n durch einen „topologischen" G r a p h e n dargestellt werden. Man zeichnet dazu in die E b e n e f ü r jedes E l e m e n t x £ X einen P u n k t u n d f ü r jeden Bogen ein gerichtetes JoRDANsches K u r v e n s t ü c k , wobei die so definierten eindeutigen Abbildungen eindeutig u m k e h r b a r sein sollen. Ein ungerichteter Graph G ' — [X, U], wobei U die Menge seiner K a n t e n ist, wird in gleicher Weise durch ungerichtete JoRDANsche K u r v e n stücke dargestellt. Ein G r a p h wird eben oder planar g e n a n n t , wenn er zweidimensional gezeichnet werden k a n n , ohne d a ß sich zwei seiner Bogen in K n o t e n p u n k t e n überschneiden, die nicht gleichzeitig E n d p u n k t e beider Bogen sind. Solche Graphen besitzen besondere Eigenschaften. Ein gerichteter Graph k a n n durch seine Verbindungsmatrix2 © vom T y p (n, n), wobei n = Df |X|, definiert werden. Die Elemente dieser Matrix stellen die (mehrdeutige) Abbildung 7 1 aus X in X dar. Das E l e m e n t a t j 1

2

Im Gegensatz zur üblichen Definition ist es hier zweckmäßig, beim Vorgängerbegriff auf die R e f l e x i v i t ä t zu verzichten. — Anm. d. Red. Verbindungsmatrizen werden auch häufig Adjazenzmatrizen genannt. — Anm. d. Red.

16

erhält den Wert 1, wenn ein Bogen existiert, der xi mit Xj verbindet. Andernfalls ist a { j =

0.

Df

Die Diagonalelemente sind in unserer Studie immer gleich Null, weil keine Schlingen vorkommen. Ausgehend von der Verbindungsmatrix ® eines gerichteten Graphen G, kann man ohne weiteres die Verbindungsmatrix des zugehörigen ungerichteten Graphen G ' erhalten. Es genügt, die vorher genannte Matrix so abzuändern, daß man a t j = D f 1 setzt, wenn in © a^ = 1 oder üj t = 1 ist. Ein endlicher gerichteter Graph [X, T1] heißt Baum Wurzelbaum

oder Büschel,

mit ¿r0 als

Zentrum,

wenn

a) jeder Knotenpunkt x =|= x0 Endpunkt genau eines Bogens ist, b) x0 £ X Endpunkt von keinem Bogen ist, c) [X, T"1] keinen Kreis enthält. 2. Gegeben seien zwei endliche Mengen (Quellenalphabet E und gabealphabet

C eines Coders).

Aus-

Wir nennen jede eineindeutige Abbildung y

von E in die Menge der (endlichen) Wörter über C eine (kombinatorische) Die Menge y (E) nennen wir

Codierung.

Gegeben sei ferner eine stationäre die Signale

oder Buchstaben

Codewortmenge.

Informations-

oder

Nachrichtenquelle,

y € E mit gewissen Wahrscheinlichkeiten p (y)

sendet. Von einem Coder werden diese Signale codiert. An seinem Ausgang p(v{y))

beobachten =

wir nun

Wörter y(y)

mit der

Wahrscheinlichkeit

p(y)-

Unter der Entropie

einer Nachrichtenquelle mit dem Alphabet E , dessen

Elemente mit bestimmten Wahrscheinlichkeiten auftreten, verstehen wir die Unbestimmtheit

eines

Versuches,

wobei die Versuchsausgänge die Ele-

mente von E mit den obigen Wahrscheinlichkeiten sind. Die Unbestimmtheit eines derartigen Versuches wird durch H=Df ¿ y-i

P(yj) l o g p { y j ) 1

definiert, wobei die Basis des Logarithmus im allgemeinen gleich einer charakteristischen Größe bei der Trennung der Ereignisse ist. Die am Ende einer Stufe eines zusammengesetzten Versuchs zur Trennung von Ereignissen gewonnene Information 1

2

ist gleich der Entropie-

In Kapitel III und im Anhang wird genau auf die Entropiedefinition eingegangen. — Anm, d. Red. Picard, Fragebogen

17

abnahme zwischen Anfang und Ende dieser Stufe. Jede Versuchsphase verringert die Unbestimmtheit in der Kenntnis der Ereignisse, weil einige sich als unmöglich herausgestellt haben, d. h. die Zahl der Versuchsgänge also eingeschränkt worden ist. Rauschen und Abschwächung werden durch eine Quelle verursacht, die einen Nachrichtenübertragungskanal beeinflußt. Dadurch vermindert sich die in der empfangenen Nachricht enthaltene Information. In einem System, das der Trennung von Ereignissen dient, definieren wir die Abschwächung als Differenz zwischen der mittleren Anzahl von Versuchen und der in E enthaltenen Information. Andererseits verstehen wir unter dem Rauschen die Differenz zwischen der mittleren Anzahl von Versuchen bei einer Versuchsanordnung und der mittleren Anzahl von Versuchen bei einer optimalen Versuchsanordnung. 3. Fragebogen Es sei E —Df {2/1 > 2/2» • • • i Vs} e i n e Menge von N Ereignissen, auf der eine Funktion p definiert ist, die eine Wahrscheinlichkeitsverteilung auf der Menge E der Elementarereignisse darstellt. Die Funktion p erfüllt folgende Bedingungen: Für alle y € E

gilt

0 0 für alle y G E sowie 1 < \Tx\ 0 ist naheliegend. Ohne daß es jeweils ausdrücklich betont wird, gelten viele Beziehungen, die für homogene Fragebogen formuliert sind, ebenfalls für quasihomogene Fragebogen.

26

1.2.2.

Homogene

I m folgenden

Büschelfragebogen

beschäftigen

wir uns m i t den Sätzen bzw. Definitionen

P 1, . . . , P 10, die für Büschel bewiesen bzw. eingeführt werden. E i g e n s c h a f t P 1. In jedem verschiedenen

Büschel

z £ Z genau

Knoten

existiert

zu jedem

ein Weg, der xQ mit z

vom Zentrum

:c0

verbindet.

W i r wissen, daß jedes Büschel zusammenhängend ist [1, S . 157]. Daraus folgt, daß man eine Zerlegung von F erhält, wenn man alle Bogen wegläßt, die von einem Knotenpunkt x £ Q ausgehen. Diese Zerlegung ergibt a -j- 1 Untergraphen, die ebenfalls Büschel sind. Davon haben a Büschel die Quellen Quelle x0.

JTQX,

R^X,

. . .,

R

A

_

I

X ,

und einer h a t — ebenso wie F — die

J e d e Frage liefert auf diese Weise die Möglichkeit, alle Ereig-

nisse, die zum D u r c h s c h n i t t P x r ^ J L gehören, in a disjunkte Klassen zu zerlegen. Dabei ist Px

die Menge, die aus x und seinen Nachfolgern besteht.

W i r bezeichnen mit Z^, Q e bzw. E ? die Menge aller Knoten z, x bzw. y, die die gleiche Länge Q haben. Mengen der F o r m Zg nennen wir

Rang.

Wenn z € Q, dann ist die Länge l(z) gleich der Anzahl der F r a g e n , die der Frage z vorausgegangen sind. Wenn z £ E , dann ist die Länge

l(z)

gleich der Anzahl der Fragen, die es ermöglicht haben, das Ereignis z zu identifizieren. Außerdem gilt l(x0) = E i g e n s c h a f t P 2. Die Anzahl

0.

der Bogen

von F beträgt

|Q| + N — 1.

Nach [1] ist jeder Knotenpunkt von Q, ausgenommen x0, und jeder K n o t e n p u n k t von E E n d p u n k t genau eines Bogens. Andererseits ist die Anzahl der Bogen a |Q|. Daraus folgt: E i g e n s c h a f t P 3. Für jeden ist, besteht zwischen und der Anzahl

homogenen

|Q| der Fragen

Fragebogen,

N der Ereignisse,

der Anzahl

folgende

der ein

der Basis

a der

Büschel Fragen

Gleichung:

N = (a — 1) |Q| + 1.

(P 3)

Sonderfälle. a = 2, Dichotomie. E s folgt N = |Q| + 1. Die Anzahl der Ereignisse kann somit eine beliebige positive ganze Zahl sein. F ü r a — 3 ergibt sich: N = 2|Q| + 1. N muß also ungerade sein. Folgerungen. a) Die Anzahl der Ereignisse eines homogenen Büschelfragebogens ist von seiner Basis abhängig. Wenn a = 3 ist, dann ist sie ungerade. Genau dann, wenn a = 2, können beliebig viele Ereignisse vorkommen. 27

b) Es sei N = ak + A < ak+i

die Anzahl der Ereignisse eines homogenen

Büschels, wobei A 2g 0 vorausgesetzt wird. Aus P 3 erhält man I101 VI

ta" + A ) - 1 a" - 1 A = - — — — = 1 • o - 1 a - 1 a - 1

Dann muß A durch a — 1 teilbar sein. Es sei A = a (a — 1). Daraus ergibt sich N = ak+

« ( a — 1),

wobei a eine nichtnegative ganze Zahl ist. E i g e n s c h a f t P 4. Die Anzahl

|

| der Knotenpunkte

bigen Rang Z e mit Q > 0 ist stets ein Vielfaches

aus einem belie-

von a.

W i r bezeichnen mit R bzw. r die Länge eines längsten bzw. kürzesten Weges aus W ( E ) , d . h . , R =

D (

sup iveW(E)

l ( w ) und r =

D t

inf

R

ist

«>6W(E)

endlich, weil N endlich ist und keine Kreise vorkommen. W i r nennen E R Maximalrang,

während E r Minimalrang

heißt. Die Anzahl der Ereignisse

des iMaximalranges ist ein Vielfaches von a. E i g e n s c h a f t P 5 . Die mittlere Weglänge ist gleich der L=

y 6E

Summe

£p(y)i(v).

Zum Beweis bemerken wir, daß zu jedem y € E genau ein W e g mit der Länge l(y)

existiert, der die Quelle ar0 mit y verbindet.

E i g e n s c h a f t P 6 . Die mittlere Weglänge ist gleich der Summe der Wahrscheinlichkeiten

der

Fragen.

Beweis. Die Wahrscheinlichkeiten p[y) der Ereignisse y £ E eines Fragebogens F sind nach Voraussetzung bekannt. Jedem Knotenpunkt dessen (direkte) Nachfolger Ereignisse sind, soll die Wahrscheinlichkeit zugeordnet werden, die gleich der Summe der Wahrscheinlichkeiten seiner a Nachfolger ist. Ebenso soll jedem vorhergehenden Knotenpunkt von Q Schritt für Schritt eine Wahrscheinlichkeit zugeordnet werden, die gleich der Summe der Wahrscheinlichkeiten seiner direkten Nachfolger ist. Die Quelle :ro wird dann als Wahrscheinlichkeit die Summe der Wahrscheinlichkeiten der N Ereignisse erhalten, das heißt, es gilt p (x0) =

1.

p (y) stellt die a-priori-Wahrscheinlichkeit für die Realisierung des Ereignisses y dar. p[x) x zu stellen.

28

stellt die a-priori-Wahrscheinlichkeit dar, die Frage

A. Die Länge des Weges l(w(y)),

der x 0 mit y verbindet, ist gleich der

Länge von y : l (w (y)) = l (y) = q. Der Beitrag hy dieses Weges zur mittleren Weglänge L ist hy = D f p (y) l(y).

E r kann als die Summe der q

gleichen Wahrscheinlichkeiten p(y) betrachtet werden, die den Vorgängern von y zugeordnet sind. Die Vorgänger sind q Knotenpunkte x £ Q- Es gilt dann

p(y)Zfy(x)>

h =

x€Q

wobei gilt.

f (x) = D ( 1, wenn y (zPxry

E ist, und anderenfalls fy{x)

=Df 0

Wir definieren die Wahrscheinlichkeit einer Frage x wie folgt:

/>(*)= E y£E

(p6-1)

x

wobei

E s folgt schrittweise: L=

L=

E

J/6E

p(y)l(y)=

£ p ( y )

y 6E

E

a£Q

fyV),

E Ep(V) y€E

*£Q

x

und L=

EpWi-eQ

(P6-2)

Das ist die Eigenschaft P 6. B . Die Wahrscheinlichkeiten p[x)

der Ecken eines Ranges ZQ genügen

bestimmten Beziehungen. F ü r jeweils festes g g i l t : Wenn

0

i(y)äe ye E

29

dann gilt: Wenn

r ^ Q < R,

so

£

p(x) = i - T

g

(P 6.3)

.

Dieses gilt auch für g < r. Dann ist nämlich Tfi = 0. E i g e n s c h a f t P 7. Einführung tenpunkte

eines homogenen

eines

Bezeichnungssystems

für die

Kno-

Büschels.

Jeder Knotenpunkt z von F soll mit Hilfe von zwei natürlichen Zahlen gekennzeichnet werden: [Q,&]. Dabei ist Q die Länge von z (0 < Q und ff soll die Stellung von z unter den Knotenpunkten

R),

von Zg näher

bezeichnen, ff sei ein Codewort aus Q Ziffern im Zahlensystem mit der Basis a : Die Ziffer mit der größten Einheit, die am weitesten links steht, ist 0, 1, 2, . . . oder (a — 1), j e nachdem der Weg, der x0 mit z verbindet, den Bogen enthält, der von x0 nach FQXQ, r^Xg, . . . , o d e r i ^ . j Xg führt. Die nächstfolgende Ziffer von ff ist 0, 1, 2, . . . oder (a — 1) je nach dem Bogen, den der Weg von x0 bis z zwischen dem Knotenpunkt aus Zj, der zweiten Frage, und dem Knotenpunkt der Länge 2, der dritten Frage, vorschreibt. Ebenso ist für alle anderen Ziffern von ff zu verfahren. Die Q-te und letzte Ziffer von ff ist der kleinsten Einheit zugeordnet. Sie steht am weitesten rechts und zeigt den vorgeschriebenen Bogen nach der g-ten Frage an. Dieser führt von einem Knotenpunkt der Länge Q — 1 zu einem Knotenpunkt z der Länge Q. Die Quelle x0 bezeichnen wir mit [0, 0], Wenn wir entsprechend Nullen vor die Zahlencodes ff schreiben, ist die Bezeichnung durch ff eineindeutig. Verwenden wir Zahlensysteme mit einer kleineren Basis als a, so geht diese Eigenschaft verloren. Das können wir durch Einführung einer Zahl Q vermeiden. Deshalb gibt es keine Schwierigkeiten, wenn wir im folgenden a als Zahl interpretieren. Diese Bezeichnungsweise erlaubt es, sehr schnell die Darstellungen aller direkten Nachfolger einer beliebigen Frage x £ Q aufzuschreiben.

Es sei

x = [g, ff]1 ein Knotenpunkt von Q. Dann erhält man die Nachfolger von x, indem man die Zahl ff mit a multipliziert, das heißt im System mit der Basis a an die vorhandene Ziffernfolge rechts eine Null anhängt und dadurch sämtliche vorhandene Einheiten um den F a k t o r a vergrößert, und sodann eine Zahl addiert, die zwischen 0 und a — 1 liegt und dem 1 Ist x durch [g, er] gekennzeichnet, wird im folgenden kurz x = [g, ff] geschrieben. — Anm. d. Red.

30

Bogen entspricht, der z u m Abschluß des Weges von x aus anzufügen ist. Die Bezeichnungen der direkten Nachfolger von x sind also

[e+

1 ,a&\,

l , a a + 1]

[g + 1 ,aa+

(a — 1)].

Abb. 1.2. Trichotomes Büschel mit Bezeichnung der Frage .t s durch ein Zahlenpaar N = 15, |Q| = 7, a = 3; r = 2; R = 4 ; X r = 4 3,122] im Trialsystem _ ([3,122] 5 " \[3,17] im Dezimalsystem E s sei r wie oben definiert als

inf

we W(E)

I M . Dann wird für j e d e s p mit p f g r

die Zahl a alle Werte zwischen 0 und a Q — 1 annehmen. D a r a u s e r g i b t sich als Anzahl X,. der F r a g e n mit einer L ä n g e kleiner als r X r = 1 + a + a2 + a:i

b a r~ l

=

aT - 1 a - 1'

Wenn nicht alle Ereignisse die gleiche L ä n g e haben, dann werden die zwischen r und R von er angenommenen Werte jeweils a aufeinanderfolgende Zahlen zwischen 0 und a e — 1 sein.

31

E i g e n s c h a f t P 8. Büschel mit spezieller

Struktur.

a) Wenn N = ak, dann gibt es ein Büschel A', bei dem alle Ereignisse die gleiche Länge Q = k = r = R haben. Daneben gibt es für N = Büschel mit Ereignissen unterschiedlicher Länge. Die Eigenschaft P 8 a ist trivial und folgt aus der Definition der Potenz. Sie leitet sich leicht aus P 3 und P 7 her, indem man schreibt N- 1

aT - 1

Dieses Büschel A' ist die Lösung folgenden Problems: „Es ist ein Fragebogen mit ak Ereignissen zu konstruieren, in dem zur Identifizierung jedes Ereignisses niemals mehr als k Fragen gestellt zu werden brauchen." Wir werden sehen, daß im Falle ungleicher Wahrscheinlichkeiten der Ereignisse dieses Büschel das anfangs gestellte Minimisierungsproblem im allgemeinen nicht löst. b) Wenn N = ak + « (a — 1) mit 0 ^ a < ak, dann gibt es eine Menge von Büscheln A 0 , für die sich die Längen der Ereignisse höchstens um 1 voneinander unterscheiden. Beweis. Wenn a = 0 ist, dann gibt es nach der Eigenschaft P 8 a ein Büschel A' = [Z', /"], dessen Wege aus W (E') dieselbe Länge k haben, wobei |Q'| =

Z'=DfQ'wE', — DI{xO>

Q

und

l{y') = k

XV

••

XN}'

[E'| = E

=

D f

{y

v

y2,

ak,

•. - ,

2/n)

für alle y' £ E ' gilt.

Ebenso existiert ein analog konstruiertes Büschel A' für k + l. Wenn nun a > 0, d. h. wenn ak < N < ak+i gilt, dann haben alle Büschel vom Typ A', die zu ak und N / c + 1 = ak+i gehören, weniger bzw. mehr als N Ereignisse. Wir werden, ausgehend von einem Büschel vom Typ A' mit ak Ereignissen, ein entsprechendes Büschel A 0 definieren. Es sei

Y

* =Df {y*:

i = l> • • • > a und ji = 1 , . . . , oc},

y * ^ ( Q ' ^ E ' ) = 0, r = 32

o t

r ^ U Ü {[y'j, j" 11" i

Ä

d. h., wir fügen a a Bogen hinzu, Q=

D f

Z=

Df

z-^y,

E=

D f

(E'\Y')^U j y , y'£Y'

QwE.

Dann setzen wir A 0 = Df i ^ ' T ] -

Abb. 1.3. Zusammenhang zwischen A' und A 0 für |Y'| = a = 4 A' mit a = 3 und k = 2, |E'| = 32, |Q'| = 4 A 0 mit |E| = 3 2 + 2 a = 17 % ' ) = 2, % " ) = 3 Die Büschel vom Typ A 0 sind folgendermaßen charakterisiert: Jedes dieser Büschel hat ak — a Wege der Länge k, deren jeder in einem der Knotenpunkte y £ E ' \ Y ' endet, und a a Wege der Länge / c + 1, deren jeder in einem der Knotenpunkte y" G ( J Ty' endet. Das heißt, es ist y'eY' l{y) = k

und

l{y") = k + 1

q. e. d.

Wir werden im folgenden Büschel vom Typ A 0 und A' — für positives a bzw. a = 0 — gemeinsam mit A 0 bezeichnen. Damit ist A 0 durch den Wert N = ak + a (a — 1) und die in b genannten Forderungen über die Länge der Ereignisse definiert. 3 Picard, Fragebogen

33

Wenn die N Ereignisse gleichwahrscheinlich sind, das heißt p(y) = — für alle y gilt, dann ist die mittlere Weglänge Lo= ^ [(«"-«) H a « ( H

!)]•

Und weil N = ak + a (a — 1), folgt

Jedes

Büschel vom Typ A 0 hat folgende

Eigenschaften:

(1) L 0 ist immer kleiner als k + 1 und genau dann gleich k, wenn a = 0. (2) Für alle Büschel vom Typ A 0 kann R nicht kleiner als k und, wenn a. =(= 0, nicht kleiner als k + 1 sein. Büschel vom Typ A 0 sind von PBYVES und GKAY [13] unter dem Namen „balanced-tree" beschrieben worden. c) Büschel

vom Typ

AR:

Ein Büschel vom Typ AR sei durch folgende Eigenschaft definiert: Aus jeder Frage x gehen a — 1 Wege der Länge 1 und ein Büschel hervor (vgl. Abb. 1.4). Dann gibt es in jedem Rang (begonnen mit dem Rang

bis

Abb. 1.4. Trichotomes Büschel vom Typ AR a = 3, N = 11; l(y9) = l(yl0) = l(yn) = R = 5 zum Rang Z R _ t ) einen Knotenpunkt x £ Q und a — 1 Knotenpunkte y G E . Es ist |Q| = R , und der Maximalrang E R enthält als einziger a Senken, d. h. |ER| =

34

a.

Wegen ( P 3) besteht zwischen R und N die Beziehung N =

(a -

1) R + 1.

Der W e r t R =

N - 1 a

— l

charakterisiert

die homogenen

Büschel A R

mit

N

Ereignissen.

Kein

N - 1 Knotenpunkt aus Q kann die Länge - haben, weil er sonst nur einen einzigen Nachfolger — im Gegensatz zur Voraussetzung 1 — hätte. Wenn die N Ereignisse gleichwahrscheinlich sind, d. h. für alle y (z E

gilt, dann ist die mittlere Weglänge L

i ir /n - 1 \i N -1) - l ) j ( « - " H = MN (||[ 11 ++ 22 ++33++- -- . . ++ (\a — - -1 - 1 / I ' ( a - l ' ) '+ a a - 1|

und vereinfacht N — 1 N

L r = =

A

r

N + a ' 2 (a -

1) '

hat folgende Eigenschaften:

(1) L r , nimmt annähernd proportional N zu. (2) Jedes Ereignis eines Büschels mit N Ereignissen kann höchstens die Länge °

1.3.

N - 1 a — 1

haben.

M'atrixdarstellung v o n B ü s c h e l f r a g e b o g e n . O p e r a t i o n e n m i t Büscheln

1.3.1. Jede

Die

V e r b i n d u n g s m a t r i x 31

V e r b i n d u n g s m a t r i x 21 eines

N + |Q| =

Zeilen

(s. Formel

homogenen P 3 )>

^

Büschels

ist

Spalten

und

durch

a |Q|

Elemente charakterisiert, die den W e r t 1 annehmen (s. die Eigenschaften P 3 und P 4), wobei |Q| = n + 3'

1 gilt. 35

Bevor wir die Elemente einer Verbindungsmatrix angeben, müssen wir die Elemente von Z durchnumerieren: z( = D f a ; i , falls i 5S n; zn + i =ntyi, falls i ^ N. Das Element a¡j von ist genau dann gleich 1, wenn es einen Bogen gibt, der vom Knotenpunkt z(- zum Knotenpunkt Zj führt, also nur dann, wenn der Knotenpunkt zi zu Q gehört. Das Element a,y ist genau dann gleich 0, wenn der Knotenpunkt zt nicht direkter Vorgänger von Z,- (j * 0) ist. In der j-ten Spalte von mit j = 1, 2, . . ., n + N hat genau ein Element den Wert 1. Dieses stellt den Bogen dar, der Zj als Endpunkt hat.

?H

Abb. 1.5. Dichotomes Büschel und Verbindungsmatrix Nur in der nullten Spalte kommt keine Eins vor. In der ¿-ten Zeile haben genau a Elemente den Wert 1, wenn z ; £ Q; gilt dagegen zi £ E, so kommt keine Eins vor.

1.3.2.

%

0

1

2

3

4

0 1 2 3 4

0 0 0 0 0

1 0 0 0 0

1 0 0 0 0

0 1 0 0 0

0 1 0 0 0

Die V e r b i n d u n g s m a t r i x mit Wahrscheinlichkeitsverteilung

Jedes Büschel A einschließlich seiner Wahrscheinlichkeitsverteilung p(z) kann ebenfalls durch eine Verbindungsmatrix werden. Diese wird aus

36

dargestellt

hergeleitet, indem man für jedes von Null

verschiedene Element der Spalte j an die Stelle von 1 den Wert p (Zj) einsetzt. Die (n + i)-te Spalte, die ein Ereignis von A bedeutet, erhält den Wert p(ijj)

einer gegebenen a-priori-Wahrscheinlichkeit. Das von Null

verschiedene Element der j-ten erhält den Wert p(xj),

Spalte, die eine Frage von A bedeutet,

der die Summe der Wahrscheinlichkeiten der a

Ausgänge von Xj ist. Das ist jeweils die Summe der Elemente der Zeile j : N + IQI-l

/>(*,)=

U m=0

aJm.

(1.1)

% und $( haben gleich viele Zeilen, gleich viele Spalten und an gleichen Stellen eine Null. Die zum Fragebogen A der Abbildung 1.5 gehörige Verbindungsmatrix 3i lautet bei gegebenen Wahrscheinlichkeiten

« p ( y i ) = 0,6 p(y 2) = 0.3 PiVi) = 0,1 P(*l)

1.3.3.

0 1 2

3 4

= 0,4

Permutation eines

Z =

1

2

3

4

0 0 0 0 0

0,4 0 0 0 0

0,6 0 0 0 0

0 0,3 0 0 0

0 0,1 0 0 0

von disjunkten

Unterbüscheln

Büschels

Es seien A = [Z, r] z G Z und

0

D (

ein Büschel und p(z) Wahrscheinlichkeiten, wobei

Q v ^ E .

Durch die Permutation

von disjunkten

Unterbüscheln1

können wir ein

neues Büschel A z,z definieren. Es seien Pz, Tz' die Mengen der Nachfolger zweier beliebiger Knoten z und z'. Ihr Durchschnitt sei leer, p (z) und p (z') seien die Wahrscheinlichkeiten von z und z'. Dann wird A z , z = [Z,

folgendermaßen definiert:

Man nimmt die in z bzw. z' entspringenden Unterbüschel und vertauscht sie. Dabei bleiben die Wahrscheinlichkeiten fest mit den Unter1

P e t o l l a [50] zeigt in der Klasse der Büschel, daß das aus dieser Regel bestellende Regelsystem vollständig ist. Die Widerspruchsfreiheit dieser Regeln, d. h., daß man bei ihrer Anwendung eine gegebene Äquivalenzklasse nicht verläßt, ist trivial. — Anm. d. Ried. 37

büschein verbunden. Man muß jedoch die Wahrscheinlichkeiten der Vorgänger der Zentren z und z der Unterbüschel neu berechnen sowie neue Bezeichnungen für die vertauschten Zentren und ihre Nachfolger einführen. Die anderen Wahrscheinlichkeiten bleiben unverändert. Zur Veranschaulichung dient folgendes Beispiel:

A b b . 1.6. B ü s c h e l A u n d d a r a u s d u r c h P e r m u t a t i o n e n t s t a n d e n e s A z' z'.

A m i t R = 4 u n d Az>z' m i t R =

3

Wenn man die Matrixdarstellung zugrunde legt, wird die Operation der Permutation nach folgendem Verfahren durchgeführt: — Wahl der Zentren z und z', — Vertauschung der Zeilen z und z' (diese entsprechen den Bogen, die von z und z' ausgehen), — Vertauschung der von Null verschiedenen Elemente der Spalten z und z' (diese entsprechen den Bogen, die in z und z' enden), — Korrektur der Wahrscheinlichkeiten der Vorgänger von z und z' nach der Gleichung (1.1) N + |Q| - 1

P (Xj) =

£ m= 0

a

j m

,

indem man bei den direkten Vorgängern von z und z' beginnt, danach die Wahrscheinlichkeiten ihrer direkten Vorgänger berechnet usw. bis zum Zentrum x0, — Neubezeichnung der Ecken von A z , z , die z n t z ' z z u n d / * 2 ' 1 z' gehören. E s seien z = [g, er] und z' = [q',

a

'

AAE"

+ +

tfJ; O„]

und p(z') = p(z');

P(Z)=P(Z), P{U)=P{U),

P(C)=P(C).

Beispiel.

Abb. 1.7. Pcrmutation der in ,x2 bzw. sowie zugehörige Verbindungsmatrizen Gegeben:

entspringenden Unterbüschel

Verbindungsmatrix

l) p (2/2) PW P (y«) P(V

= = = =

0,4 0,3 0,2 0,1

«

0

1

; 2

3

4

0

6

0 1 -»•2 3 4 5 ->6

0 0 0 0 0 0 0

0,9 0 0 0 0 0 0

0 0,7 0 0 0 0 0

0 0 0,4 0 0 0 0

0 0 0,3 0 0 0 0

0 0,2 0 0 0 0 0

0,1 0 0 0 0 0 0

I

39

Verbindungsmatrix 0

n*> ' z

0 I 0 3 4 5 2

1.4.

1

ohne Umnumerierung

6

3

4

5

0,3 0

0

0,1 0

0

0

0

2

0

0

0,2 0

0,4

0,3

0

0,7 0

0

Die mittlere Weglänge homogener Büschel und optimale Büschel

Die Büschel A und A"'" seien durch Permutation der UnterbüscheJ mit den Zentren z und z S =

D (

auseinander hervorgegangen. Wir setzen

E ^ r * = „ , { « ! , u2

us}

und S' =

D f

Ersfz' =

Df

f a , v 2 , . . . , v t ).

Die mittlere Weglänge von A ist L =

27

P ( y ) i ( y ) +

!/6E\(SUS')

und die von v

27/>(«)*(«)+ ues

U p res'

A z' z

=

27 p (?/)* (y) + 2 7 y€E\(SuS') U6S +

p («)

[* («)

- *

(*)

+ *

(*')]

2 7 p w m - i ( z ' ) + i(z)]. ces'

Ihre Differenz ist -

L =

27P(«)

- m

ues

+

27 p w

-

'i 2 ')]-

pes'

Nun ist aber auf Grund von (P 6.1) 2 7 p ( « ) = P(S) ue s

und

27 f W =

p(4

ve s'

woraus sich ergibt. 40

L = [p (z) - p ( / ) ] [Z (z') - i (z)]

(1.2)

Daraus folgt L 2 ' 1 = L, wenn l (z) = l (z') L I,Z

oder

p(z) = p (z);

< L, wenn

[p(*)-pCO] WO-*(*)]p{z')

und

p{z)l{z')

oder l(z) 0 gerade. Es gibt X r = 2 r — 1 Fragen geringerer Länge als die kleinste Länge r eines Ereignisses. Durch die Einführung der Bezeichnungsweise [g, er] der Knoten kann a jede Zahl zwischen 0 und 2r — 1 sein. Jeder optimale dichotome Fragebogen mit N gleichwahrscheinlichen Ereignissen hat die mittlere Weglänge Lo =

k

+

2

-£-

(2-4>

Die mittlere Weglänge eines dichotomen Büschels mit N gleichwahrscheinlichen Ereignissen beträgt höchstens _ N - 1/ Lmax=

N\

(vgl. S. 35). L m a x wächst bedeutend schneller als L 0 . Für N = 1024 ist Lo=10 Für N =

10 6

Lmax=513.

ist

Lo«20 2.3.2.

und und

Lmax«5-105.

Die m i t t l e r e Weglänge nicht optimaler dichotomer

Büschel

B sei ein Büschel, das (I) nicht erfüllt. B habe N Senken: N=2*+0. 57'

Wir betrachten einige Sonderfälle: I.

R = A + 1

1.1. B habe genau eine Senke der Länge g < k und N — 1 Senken der Länge k oder k + 1. Dann muß gelten

In diesem Fall läßt sich ein Fragebogen B finden, welcher enthält: eine Senke der Länge Q, 2k -

a -

2 OL +

(2k-Q

(2k~e + l

+i

-

1) Senken der Länge k,

- 2 ) Senken der Länge k + 1.

Die mittlere Weglänge ist dann L = ^{¡> + [2*—a —(2 f c ~ e + 1 — 1)] A: + [ 2 a + 2 f c _ e + 1 — 2] (A.-+ 1)} = ^ {(2 fc + a ) / f + 2 a + 2 * - e + 1 - / c + ß ,

2q ~N~

=

2*-»+' - ( f c N

Nun gilt aber für den Zähler 2k~Q

+i

e

2}

+ 2) *

-

2) ^

(k-Q+

1, weil k—

Außerdem wächst dieser Ausdruck mit k — g. Daher gilt

Das Gleichheitszeichen ergibt sich für Q = k — 1. 1.2.

B habe i Senken mit den Längen Qt:

so daß für alle natürlichen Zahlen h gilt: Wenn

Qh
• • •,Qi, w o b e i

B habe i Senken m i t den L ä n g e n 1

^

6i Sa Q2 ^ Qa ^

'' • ^

Qi 1, der Menge E von Ereignissen und dem Verteilungsgesetz p auf E gegeben. In der SHANNONschen Informationstheorie wird die von einem Kanal übertragene Information definiert als Differenz der Entropie des Kanaleingangs (der Quelle) X und der Entropie des Eingangs X unter der Bedingung, daß der Kanalausgang Y beobachtet wird bzw. damit gleichwertig als Differenz der Entropie des Ausgangs Y und der Entropie des Ausgangs y unter der Bedingung, daß der Eingang X beobachtet wird, d. h., man setzt I(X,

Y)=mH(X)-UY(X) =

D f

H(Y)-Hx(Y).

Da ein Fragebogen (bzw. ein Unterprogramm) ein determiniert arbeitender Kanal ist, gilt H X ( Y ) = 0 , und somit ist die von diesem Kanal übertragene Information gleich der Entropie des Kanalausgangs; das ist aber die En-

63

tropie des Verteilungsgesetzes p auf E, nämlich H=DfII(Y)=

i/6E

Z-P(y)logaP(y)J

1 Wenn

p(y) = —

für alle y £ E gilt, dann folgt

H=logaN. Dabei benutzen wir als Einheit der Entropie die Unbestimmtheit einer •einzelnen Frage, die a gleichwahrscheinliche Ausgänge hat, d. h., wir verwenden den Logarithmus zur Basis a. Beim Durchlaufen eines Fragebogens gewinnt man von Rang zu Rang (Durchlauf der Iterationsschleife gemäß Abb. 3.2) durch Entropieverminderung einen bestimmten Informationsbetrag. Es wird weiter unten gezeigt, •daß die Summe aller dieser Informationsbeträge gleich H, d. h. gleich •der gesamten übertragenen Information, ist. Beispiel. Wenn ein Unterprogramm aus einer einzigen Frage besteht, •die N = a Ausgänge hat, dann ist die mittlere Weglänge L=

Üp(x)=

p ( * o ) = 1,

und zwar unabhängig von den Wahrscheinlichkeiten der a Ereignisse. Ein solcher Fragebogen ist genau dann ohne Abschwächung, wenn H den Wert 1 hat, d. h., wenn die Ereignisse gleichwahrscheinlich sind; denn es gilt a - 1

¿ 7 ~ P % ) lo gaP(2/y)^ j" 0 H stellt die am Schluß des Unterprogramms gewonnene Information •dar. Nun gilt allgemein, daß die mittlere Anzahl der Fragen, die ausreichen, um unter allen Umständen diese Information zu erhalten, größer oder gleich dieser durch den Kanal übertragenen Information ist. Da die mittlere Anzahl der Fragen mit der mittleren Weglänge des betreffenden Fragebogens übereinstimmt, ist sie offenbar genau dann minimal, wenn der Fragebogen optimal ist. Daraus folgt, daß bei einem optimalen Fragebogen die erhaltenen Antworten nicht noch einmal einer Frage unterworfen werden, die bereits vorher gestellt wurde. Diese Feststellung entI m Anhang gehen wir auf die Definition der Entropie H eines Fragebogens

1

noch genauer ein. — Anm. d. Red.

64

spricht der graphentheoretischen Bedingung, d a ß keine K r e i s e 1 vork o m m e n dürfen. Ferner t r e t e n keine Fragen auf, deren A n t w o r t a priori b e k a n n t ist. In einem solchen Fall würde der W e r t der E n t r o p i e , d a von dieser F r a g e n u r ein B o g e n 2 ausgeht, sich d u r c h das D u r c h l a u f e n des betreffenden Bogens n i c h t ä n d e r n . W ä h r e n d die Graphentheorie die Möglichkeit lieferte, die Theorie der Fragebogen zu erarbeiten, e r l a u b t die Informationstheorie, die gewonnenen Ergebnisse zu interpretieren. J e d e r als U b e r t r a g u n g s k a n a l in — welche hier d u r c h ein spezielles d e u t e t e Fragebogen ist „Störungen", sachen haben, ausgesetzt; außerdem c h u n g " aufweisen.

einer N a c h r i c h t e n ü b e r t r a g u n g s k e t t e U n t e r p r o g r a m m gebildet wird — gedie menschliche oder technische Urk a n n er „ R a u s c h e n " oder „Abschwä-

a) Die menschlichen oder technischen Ursachen von S t ö r u n g e n sind I r r t ü m e r beim Programmieren, Fehler im Rechenteil sowie den Z u f ü h rungs- oder Übertragungseinheiten des b e n u t z t e n R e c h e n a u t o m a t e n . In der vorliegenden Arbeit setzen wir stets voraus, d a ß derartige Störungen nicht v o r k o m m e n . b) Ist F ein Fragebogen, L seine mittlere Weglänge, L o p t die m i t t l e r e Weglänge eines zu F äquivalenten optimalen Fragebogens u n d II schließlich die E n t r o p i e von F , so definieren wir als Abschwächung von F die Differenz L — H u n d als Rauschen von F die Differenz L — L 0 pt- S o m i t l ä ß t sich die Abschwächung wie folgt zerlegen L

_H=(L-L

o p t

)+(L

o p t

-

H).

Weil stets die Abschätzung II^L

o p t

^L

gilt, sind alle a u f t r e t e n d e n Differenzen nichtnegativ. Der erste S u m m a n d wird offenbar u m so größer, j e „ungeschickter" die F r a g e n von F ausgewählt oder angeordnet werden u n d umgekehrt. Der zweite S u m m a n d dagegen k a n n d a d u r c h größer als Null werden, d a ß bei rationalen W a h r scheinlichkeiten L o p t stets rational ist, H jedoch t r a n s z e n d e n t werden 1 I m Anhang diskutieren wir dieses Problem v o m Standpunkt der „interpretierten" Fragebogen genauer. — Anm. d. Red. 2 Das wäre ein Widerspruch zu Voraussetzung 1. Deshalb führt PICARD [62] später „Quasifragebogen" ein (vgl. S. 240). — Anm. d. Red. 5

Picard, Fragebogen

65

kann.

Ist

L > Lopt =

H

rational,

dann

gilt

Lopt = H;

es ist

a b e r i m m e r noch

H möglich.

I n den folgenden Paragraphen werden wir diese Beziehungen genauer untersuchen, insbesondere notwendige und hinreichende Bedingungen dafür angeben, daß Rauschen bzw. Abschwächung verschwinden.

3.2.

E n t r o p i e eines h o m o g e n e n

Fragebogens

Wir b e t r a c h t e n einen Fragebogen als einen Algorithmus zur B e s t i m m u n g einer Folge von Versuchen 0, 1, 2, . . . , q — 1, q, . . . , R — 1, wobei der Versuch q aus der Menge der F r a g e n der Länge q und j e d e m der jeweils zugehörigen

a Ausgänge

besteht.

Man

kann

eine E n t r o p i e

für

jeden

Versuch und jeden R a n g definieren, indem m a n die Begriffe der bedingten Wahrscheinlichkeit und der bedingten E n t r o p i e b e n u t z t . W i r wiederholen die erforderlichen Begriffe und verwenden dabei die [ß,

ff]-Bezeichnung

der K n o t e n p u n k t e der homogenen F r a g e b o g e n .

E s sei p (q, ff) die dem K n o t e n p u n k t [q, ff] zugeordnete

Wahrschein-

lichkeit. W i r setzen voraus, daß [p, ff] eine F r a g e ist, d. h., d a ß [q, ff] £ Q gilt. U n t e r dieser Voraussetzung definieren wir eine (bedingte) keitsverteilung [p +

Wahrscheinlich-

m i t der Bedingung [p, ff] auf der Menge der E n d p u n k t e

1, a cf + i] (i = 0, 1, . . . , a — 1) der von [g, ff] auslaufenden Bogen

wie f o l g t :

, , l, ,

P e a { Q +

Die bedingte

.

a a +

Entropie

,)=Df

p (e + i,«° +

der Antwort

i)

auf die Frage

. [q, ff] l a u t e t d a n n :

o-l He,0(e)=Df U i-0 Bemerkung.

- P e , a i & + i , a a + t)logpe,CT(o+ l , a f f +

¿)-2

F ü r das Folgende ist es zweckmäßig, auch für die E r e i g -

nisse, d. h. für [g, ff] £ E , die Größe H fi 0. Ferner ist zu beachten, daß i bis ß mit ß ^ a — 1 läuft, falls [g, c;] gleich der Frage xn ist, die eventuell weniger als a Ausgänge hat. — Anm. d. Red. Hier und im folgenden wird, wenn nicht ausdrücklich anders festgelegt (wie z. B. in Kap. V), stets der Logarithmus zur Basis a verwendet. — Anm. d. Red.

66

Fragen keine Antwort erfolgen kann, d. h., da diese Knoten Senken unseres Graphen sind, setzen wir in diesem F a l l : H

e

»=

D

fO.

Unter der bedingten

Entropie

eines Ranges Zg in Abhängigkeit

vom

Rang

Z e _ j verstehen wir HB_i(e)=Df

27

[e,a]6Qe

p(e> t f ) H e .a(e)«

wobei Q e die Gesamtheit der Fragen der Länge o ist. He_ife)=

27 27 [e,oJeQe ito

P

(Q+i,aa+i)

Wir definieren schließlich die Entropie

1

Daraus folgt

p(Q + i,ao

H (q) eines Ranges

+ i) , und zwar

induktiv durch die folgende Rekursionsformel: H(0)=lif Z logP(Li) i-0 H(ß+l)=DfH(e)+He(e+l). Beispiel.

Die definierten Funktionen sollen für das in Abb. 3.3 ange-

gebene Beispiel mit a = 4 und N = 10 berechnet werden.

[2,U [2,6]

¿ZS] [1,0]

^

[2M]

Abb. 3.3. Homogener Fragebogen mit a 1

Da die Funktion p auf der Menge Q e im allgemeinen kein Verteilungsgesetz ist, sondern nur

M6Qe gilt,

kann die Größe H

4(g)

nicht immer als mittlere bedingte

Entropie

der Antwort auf eine F r a g e im R a n g Z^ aufgefaßt werden. — Anm. d. R e d .

67

H(0)=

¿ i-0

p{i,i)

\ogp(i,i),

H l l 0 ( l ) = H l i 2 ( i ) = 0,

denn

[1,0],

[1,2] G E,

H m ( I ) = ¿ P i , t ( 2 , 4 + o log p ( 1 ; ^ , £„0 P l^i 4 + l l

H0(l)=

U p(l,(T)Hlj0(l), [MieQ,

H(l)=H(0)+Ho(l) =

¿7

[e,o]6E

-

p (o,ff) l o g p ( ß , a ) .

E s gilt R = 2 und daher H(R)=H(1); denn die acht Knotenpunkte des Ranges Z 2 sind Ereignisse, d. h., es gilt [2, —

und

sowie

Nunmehr schreiben wir Nt N 2 = t 1 i 2 a * '

+ fc' + 2

und unterscheiden folgende F ä l l e : (I) Um der Bedingung auf S. 75 gerecht zu werden, formen wir obige Gleichung etwas um Ni N 2 = ( a l l t 2 ) a k ^

+ 1.

Dann folgt nach Paragraph 3.4.2 a2 tt t2 — 1 während für L l x 2 gilt: Llx2

a —1 = K + 7 7TT" + (a - 1)

Daraus folgt T ; , ; t (ahx x 2 = « 1 + «-2H

/f2

"

+

(a - 1) t2

i)at2 +(at2—1)7 a7 - -t (ar ;— 2

l)ati

und T » . , . ^1x2-^1+^+

"2 h - 1 a2 _ i)atlt2+

( a

t2 + 1 - a (tt + t2) (a-l)atli2

so daß schließlich Li x 2 — L 1 2 + (II)

(a h -

1) (a t2 - 1)

(a — 1) a tt i2

^ f t t j ' c l .

93

Nach P a r a g r a p h 3.4.2 folgt d a n n atlt2 — 1 (a - 1) % t2

Li 2 = kt + k2 + 1 + Andererseits gilt L

1X2= h + h

+

(a ti - 1) i2 + (a t2 - 1)

(a - 1) h t2 t2) + (a tt t2 - 1) + (tt i 2 + 1 - i, - wenn ßi oder ß2 von Null verschieden ist. Es ergibt sich folgende Übersicht u n t e r Zugrundelegung von Ni = hakl

+i

k +1

N 2 = t2a *

= afc'+ d (a -

1) +

ßy,

= a!" + «a (a -

1) +

ß2.

Fallunterscheidung: Wenn ßi = ß2 = cCi a 2 = 0, wenn und

fca*'>0

f'

u n d o^ a 2 =)= 0

94

Lt x 2 = Lt 2;

= ßt = 0 |

wenn ß^ = ß2 = 0

wenn

so

4= 0

oder

' N t - (y + 1) S

°

L l x 2

-

L l 2 +

Li1 12 H so L l x 2 = L

ß2 4= 0,

*2+

so gilt:

T T N

2

(ah - l ) ( a i 2 - 1) 1 ; , wenn t, t2 < — (a — 1) a ij i 2 a (1 _ t^ (1 - i2) 1 (a-l)M2 ' w e n n ^ 2 > ä ; Llx2>L12.

Die Abbildung 4.1 stellt die Änderung des Rauschens F = D f L l x 2 — L 1 2 = B 1 x 2 — B 1 2 als Funktion von geschrieben, und zwar f ü r z u n e h m e n d e s q in der A n o r d n u n g von links nach rechts. Durch dieses Verfahren wird der Höchstw e r t a e — 1 jeder Ziffer von ä am besten dem lokalen W e r t der Maximalbasis a n g e p a ß t . Es bringt aber den Nachteil mit sich, daß ä als Codewort von Q Ziffern geschrieben werden m u ß , ohne d a ß die Möglichkeit besteht, C als eine Zahl zu b e t r a c h t e n , die u n t e r Verwendung einer beliebigen Basis a u s d r ü c k b a r ist. Das im folgenden vorgeschlagene Bezeichnungsverfahren scheint zum Ausgleich dieses Nachteils am besten geeignet zu sein. Wir bestimmen die größte Basis der Fragen des betrachteten Fragebogens. Sie sei a M . Wir drücken n u n m e h r die K n o t e n p u n k t e mit Hilfe von [¡3, ff] aus. Dabei soll ff ein Codewort aus Q Ziffern im System m i t der Basis au sein. Es werden n u r wenige der so möglichen Codewörter a gebraucht, wenn wenige F r a g e n m i t der Basis aM vorhanden sind; denn d a n n werden wenige K n o t e n p u n k t e eine Ziffer mit dem W e r t a M — 1 erhalten. Aber es e n t s t e h t keine Mehrdeutigkeit. Die Ziffernfolge f ü r ff wird auf diese Weise dieselbe wie f ü r ä. Aber die Auffassung von a als einer Zahl im System mit der Basis aM ermöglicht die U m f o r m u n g in andere Zahlensysteme. Bei der Abbildung 5.1 sind die W e r t e flM er + a (z) — 1.

Verbindungsmatrizen. J e d e r heterogene Fragebogen F k a n n d u r c h seine Verbindungsmatrix dargestellt werden. Darin k o m m e n die Wahrscheinlichkeiten der K n o t e n v o r : = [a,j]

mit

aij=mp{zj),

wenn der K n o t e n p u n k t Zj den K n o t e n p u n k t z i zum direkten Vorgänger h a t , u n d andernfalls ety = D f 0.

Abb. 5.1. Heterogener Fragebogen mit a j j = 3 als Basis für a F ü r die in Abbildung 5.1 dargestellten Verhältnisse ergibt sich: a M =- .'5 als Basis f ü r ff u n d z 0 = [0, 0], = [1, 0], z 2 = [1,1], z 3 = [2,10], z 4 = P , 11], z 5 = [2,12] = [ 2 , 1 • 3i + 2 • 3°]. Die V e r b i n d u n g s m a t r i x ist 31

0

1

2

3

4

5

0 1 2 3 4 5

0 0 0 0 0 0

0,9 0 0 0 0 0

0,1 0 0 0 0 0

0 0,2 0 0 0 0

0 0,3 0 0 0 0

0 0,' 0 0 0 0

103

Zu jeder Zeile u n d jeder Spalte der Matrix gehört ein

bestimmter

K n o t e n p u n k t des Fragebogens. Die Anzahl der von Null verschiedenen E l e m e n t e einer Zeile ist gleich der Basis des betreffenden K n o t e n p u n k t e s . Wir bezeichnen sie m i t a (g, er). Alle Ereignissen entsprechenden Zeilen e n t h a l t e n n u r Nullen. J e d e Spalte, ausgenommen die der Quelle x0 zugeordneten, e n t h ä l t genau ein von Null verschiedenes E l e m e n t . Die P e r m u t a t i o n von d i s j u n k t e n Unterbüscheln ist f ü r beliebige, also auch f ü r heterogene Fragebogen vorher definiert worden.

5.3.

Die mittlere Weglänge heterogener Büschel u n d ihre Verkleinerung

Die Differenz der mittleren Weglängen zweier Fragebogen, die durch Perm u t a t i o n auseinander hervorgegangen sind, genügt derselben Gleichung wie im homogenen F a l l : L = [p(z) - p(z)]

[l(z) -

l(z)].

(1.2)

Die beiden Regeln R 1 u n d R 2 über die Verringerung der Größe L bleiben f ü r heterogene Fragebogen gültig. Auf diese beziehen sich die Eigenschaften P 9 u n d P 10. U m die Gültigkeit von P 10 zu demonstrieren, genügt es, den Beweis f ü r den homogenen Fall m i t kleinen Änderungen zu wiederholen. Die U m g r u p p i e r u n g der K n o t e n p u n k t e eines Büschels innerhalb ein u n d desselben Ranges m u ß anders als im homogenen Fall a u s g e f ü h r t werden. Es seien z u n d z' Fragen der Länge Q — 1 m i t der kleinsten Basis a(z) bzw. der größten Basis a(z') = a g _ 1 . Die K n o t e n p u n k t e der Länge Q mit geringster Wahrscheinlichkeit werden d e r a r t u m g r u p p i e r t , daß im neuen Fragebogen diese K n o t e n p u n k t e die a (z) direkten Nachfolger von z bilden. Ebenso werden die a (z') direkten Nachfolger von z' die K n o t e n p u n k t e der Länge Q mit größter Wahrscheinlichkeit bilden. W e n n nach dieser Änderung die Wahrscheinlichkeiten von z u n d z' so beschaffen sind, daß P(Vi

104

J

0>P(»)

mit

z ( I V ) _t

=/(«)+ 1

gilt, dann kann dieses Büschel noch im Hinblick auf eine neue Reduktion der mittleren Weglänge durch R 1 und R 2 umgeformt werden. Die neue R e g e l R ' 3 lautet demnach: Nach Reduktion durch Permutationen vom Typ R 1 oder R 2 ordne man die Knotenpunkte eines Büschels in jedem Rang in der Weise um, daß die Knotenpunkte in der Reihenfolge wachsender Wahrscheinlichkeiten geordnet sind. Die Knotenpunkte mit geringster Wahrscheinlichkeit sollen dann die Ausgänge einer Frage der Länge Q — 1 mit kleinster Basis und die Knotenpunkte mit größter Wahrscheinlichkeit die Ausgänge einer Frage der Länge Q — i mit größter Basis bilden. Die homogenen Fragebogen mit ß > 0 sind ein Spezialfall der heterogenen Fragebogen. Bei ihrem Studium haben wir gesehen, daß die Frage mit der Basis ß -f- 1 eine Länge hat, die mindestens gleich derjenigen jeder anderen Frage ist. Diese Eigenschaft gilt allgemein. Wenn a (z') > a (z) und l(z") > l(z) ist, können die Permutationen von Unterbüscheln, deren Zentren Nachfolger von z und z' sind, die geringste Anzahl der Nachfolger von z', die a(z') ist, nicht ändern. Die Permutation der Unterfragebogen mit den Quellen z und z — mit nachfolgender Permutation von Unterbüscheln, deren Quellen Nachfolger von z und z' sind — erlaubt dagegen, die Anzahl der Knotenpunkte zu verringern, deren Länge mindestens l(z') + 1 ist. Dadurch wird auch L verkleinert. «(z') > a ( z ) und Z(z') > l(z) sowie |/"V| > |/'z| erlauben eine Permutation der Unterbüschel mit den Quellen z und z', die die Anzahl der Ereignisse großer Länge reduziert. Danach kann durch Anwendung der Regeln R 1, R 2 und R ' 3 die Länge L von neuem reduziert werden. Nun gilt aber: Wenn die Länge aller Wege, die von z und z ausgehen und in E enden, den Wert l hat, ist die Maximalanzahl der Ereignisse, die zr nachfolgen, {a{z))l>

{a{z))\

Infolgedessen muß in optimalen Fragebogen die Frage z' mit der Basisa(z') eine geringere Länge haben als die Frage z mit der Basis a(z). Da die Längen der Wege, die von z und z' nach der Permutation ausgehen,, sodann durch Permutationen verändert werden können, die nur die Nachfolger von z und z' betreffen, können wir feststellen 1 : 1

Eine genauere Darstellung dieses Verfahrens findet man bei PETOLLA [50]. — Anm. (1. Red.

105

R e g e l R 4. Die mittlere Weglänge eines heterogenen Fragebogens kann folgendermaßen reduziert werden: Man ordne den Knotenpunkten geringerer Länge die größeren Basen zu. Wenn a(z') > a(z) und Z(z') > l(z) ist, besteht immer Veranlassung, die Unterbüschel mit den Quellen z und z' zu permutieren. Daraus folgt: E i g e n s c h a f t P 15. Für alle optimalen eine mit den Basen

und Längen

verträgliche

Knoten, d. h., die wie folgt definierte binäre z' =

z ist eine lineare

Dfa(z)

heterogenen

Fragebogen

gibt es

lineare Quasilialbordnung

der

Relation

^ a(z') und l(z) 5S l(z'),

Quasihalbordnung.

Bei der Untersuchung der optimalen homogenen Fragebogen war es möglich, nach Anwendung der Regel R 3 eine Reduktion wieder mit R 1 und R 2 zu versuchen. Ein Optimum war erreicht, wenn keine der •drei Regeln zur Reduktion von L beitragen konnte. Im Falle der heterogenen Fragebogen muß man zuerst R 4 anwenden, dann R 1 und R 2 und schließlich R ' 3. Im Verlaufe der Anwendung von R 2 darf man — nach Regel R 4 — keine Permutation ausführen, die der Eigenschaft P 15 widerspricht. Aus diesem Grunde kommt es darauf an, mit Unterbüscheln bzw. Jireignissen einermöglichst großen Länge zu beginnen. Falls die Anwendung der Regeln R 1, R 2, R ' 3 und R 4 es nicht mehr erlaubt, die mittlere Weglange L zu reduzieren, ist der Fragebogen optimal. Dieser erfüllt die gleichen Bedingungen wie die homogenen Fragebogen. T h e o r e m . Jeder heterogene Fragebogen mit minimaler mittlerer IYcglänge N

für die Trennung

von N Ereignissen

durch

^J

qa Fragen

ist ein

Büschel

a= 2

mit der Quelle x0, wobei gilt N - l =

¿ ( a - l ) q

a

.

a-2

Der Unterschied der Längen der Knotenpunkte gleicher Wahrscheinlichkeit ist niemals größer als 1. Es gibt eine mit den Basen, den Wahrscheinlichkeiten und den Längen verträgliche lineare Quasiordnung aller Knotenpunkte z G Z, d. h. die wie folgt definierte binäre Relation z 0 (Q) = Df

U ¿=o

[q, et] mit der

% o) p8j(J {q + 1, a M a +

~ Pe.a (Q +

i).

Die bedingte Entropie eines Ereignisses [ q , o ] ist Null; denn es ist |/,fe,

a2.

Die Anzahl |Qi| b z w . |Q2| der F r a g e n steht m i t N^ bzw. N 2 in der B e ziehung Nt =

(a ± — 1) IQil +

1

bzw. N

2

=(«

2

-1)|Q

|+1,

2

und die Anzahl der Ereignisse des Produkts ist Nt N 2 =

(fll -

1) |Qt| +

N2 Ni =

N2 (fll -

N t (a2 -

1) |Q2| +

1

1) |Q2| +

1.

bzw. 1) [Qi| +

(o 2 -

Es f o l g t , daß der P r o d u k t f r a g e b o g e n A j x 2 |Qt| F r a g e n m i t der Basis at und N j |Q2| F r a g e n m i t der Basis a2 hat, während der P r o d u k t f r a g e b o g e n l

IQil F r a g e n mit der Basis a^ und |Q2| Fragen m i t der Basis a 2 h a t . 1

Z u m Beispiel «1=4,

sei f ü r A t IQd =

3,

N

i =

1Q2| =

2,

N

2

1 0

und für A 2 a

2

= 2,

=3.

Man erhält daraus N t N 2 = 30.

A l x 2 hat 3 F r a g e n m i t der Basis 4

und 20 Fragen m i t der Basis 2, während in A 2 x l 9 F r a g e n m i t der Basis 4 und 2 Fragen m i t der Basis 2 v o r k o m m e n .

1

A J x 2 und A 2 x l sind also nicht s-äquivalent. — Anm. d. Red.

111

Außerdem haben in A 2 x l die Fragen mit der kleineren Basis o 2 im allgemeinen eine geringere Länge — zumindest einmal — als die Fragen mit a2 der Fragebogen A * x l .

5.6.

Semihomogene Fragebogen

Def i n i t i o n . Ein Büschelfragebogen heißtgenau dann semihomogen, die Fragen in jedem Rang dieselbe Basis haben.

wenn

Solche Fragebogen können eingeführt werden, wenn die Anzahl der Ereignisse die Form N=77a ¿=o

f

hat und die Anzahl der Fragen mit gegebener Basis nicht vorgeschrieben ist — oder wenn vorausgesetzt ist, daß nur Fragen gleicher Basis in derselben Untersuchungsphase gestellt werden. 1

Diese Überlegungen sind nur in einer umfassenderen Aquivalenzklnsse sinnvoll, z. B . in der Vereinigung der durch A j klassen. — Anm. d. Red.

112

x 2

und A 2

x

i definierten s-Aquivalenz-

E i g e n s c hk a f t . Das Produkt vonssemihomogenen j mit Nj = Jj[ ai Ereignissen ¿-o

ist ein semihomogener

Fragebogen A j , A 2 , . . . , A s Fragebogen

Alx2x...

xs

s

mit N =

J^J Ny Ereignissen, j-1 Die mittlere Weglänge von A l x 2 x — x s unabhängig von der Reihenfolge, in der die Basen den Rängen zugeordnet sind, wenn in allen Büschelfragebogen Aj die Ereignisse aus dem Maximalrang sind. s

In der Tat haben dann die Ereignisse die Länge R = ^J kj, und die j-i mittlere Weglänge ist — unabhängig von der Reihenfolge der Basen — L = R.

8

Picard, Fragebogen

113

SECHSTES

KAPITEL

Anwendungen der Theorie der Fragebogen

Einige Anwendungen auf bekannte und auch auf neue Probleme erlauben, die Bedeutung der Theorie der Fragebogen herauszuarbeiten. Eine offensichtliche Schwierigkeit bei der Lösung von Unterhaltungsaufgaben aus der Logik beruht oft darauf, daß man die untere Grenze der mittleren Weglänge nicht kennt. Die Kenntnis dieser Grenze ist für die Entscheidung bezüglich Optimalität nützlich. Man kann sie berechnen, indem man Informationstheorie und Logik verbindet. Vereinbarungen

über die Darstellung.

Die Knoten der Büschel, die wir

im weiteren untersuchen, werden im allgemeinen mit den Testfragen belegt, die an der betreffenden Stelle gestellt werden sollen. 1 Um die Lektüre zu erleichtern, werden die Knotenpunkte der Fragebogen meist in folgender Form dargestellt: 2 Fragen durch einen Kreis, der die zu stellende Frage ohne Fragezeichen enthält, und Ereignisse

durch einen Punkt, neben dem das identifizierte

Ereignis angedeutet wird. Die Bogen, die ohne Pfeil dargestellt werden, haben ihren Anfangspunkt links und ihren Endpunkt rechts. Bei a = 2 bedeuten steigende Bogen die Antwort j a oder 1. Die abwärts führenden Bogen bedeuten die Antwort nein oder 0. Weiterhin können die Wahrscheinlichkeiten

der Knoten-

punkte — unter Verwendung eines naheliegenden Faktors — durch einen Zahlenwert angegeben werden, der links neben dem Knotenpunkt über den einlaufenden Bogen geschrieben wird. Ebenso ist es möglich, Bewertungen anzubringen. 1

Wie wir schon früher bemerkten, werden hier implizit „ i n t e r p r e t i e r t e " F r a g e bogen eingeführt. Zum besseren Verständnis vergleiche m a n P a r a g r a p h 8 . 3 .

2

— Anm. d. Red. Im Anhang dagegen weicht die Darstellung der F r a g e b o g e n e t w a s davon ab. — A n m . d. Red.

114

6.1.

D a s P r o b l e m der „ S t ä d t e der L ü g n e r u n d der e h r l i c h e n

Leute"

W i r untersuchen das P r o b l e m N r . 18 von A . M . JAGLOM und I. M. JAGLOM [9]: Ein

Beobachter X besucht eine von den drei Städten A , B, C. Jeder

wohner von A sagt immer die Wahrheit. die Unwahrheit.

Jeder Einwohner

die Unwahrheit.

Ein

Jeder Einwohner

von B sagt

Einimmer

von C sagt abwechselnd die Wahrheit

und

X will feststellen,

in welcher Stadt er sich

befindet und in welcher Stadt sein Gesprächspartner

wohnt. Wie groß ist die

Mindestanzahl sein Partner

Beobachter

der Fragen,

die er stellen muß, wenn angenommen

nur mit ja oder nein

wird,

daß

antwortet?

W i r verändern die Aufgabenstellung v o n JAGLOM-JAGLOM in f o l g e n d e r W e i s e : Welches ist im Mittel

die geringste Anzahl

von Fragen,

die er stellen

muß . . .? Abschließend werden wir dasselbe P r o b l e m behandeln, indem wir voraussetzen, daß die Einwohner der drei Städte i m m e r die W a h r h e i t sagen. JAGLOM-JAGLOM berücksichtigen, daß jedes Büschel, das der B e o b a c h t e r aufstellen muß, um erfahren zu können, w o er sich befindet, drei A u s g ä n g e A , B , C besitzt und daß jedes Büschel, um erfahren zu können, m i t w e m er spricht, ebenfalls drei Ausgänge hat, — a f ü r einen E i n w o h n e r v o n A , ß für einen E i n w o h n e r v o n B , y0 f ü r einen E i n w o h n e r v o n C. F ü r alle möglichen Kombinationen von Städten und Einwohnern ergibt sich ein Fragebogen m i t 9 Ereignissen. Die genannten Autoren teilen j e d o c h eine Lösung m i t , die 12 Ereignisse aufweist. In der T a t kann der E i n w o h n e r von

in einer R e i h e n f o l g e geben,

daß

wahre A n t w o r t e n eine ungerade N u m m e r und falsche A n t w o r t e n

C wahre und falsche A n t w o r t e n

eine

gerade N u m m e r erhalten — oder umgekehrt. W i r bezeichnen f o l g e n d e r m a ß e n : y ist ein Einwohner v o n C, der m i t einer richtigen A n t w o r t beginnt. Es gilt die Reihenfolge W F W F . . . y ist ein Einwohner

v o n C, der m i t einer falschen A n t w o r t beginnt.

Es gilt die Reihenfolge F W F W . . . Man erkennt, daß sich drei Fälle unterscheiden lassen: W e n n der Gesprächspartner Einwohner von C ist, kann er erstens v o m T y p y oder v o m T y p y sein, zweitens kann er nur v o m T y p y sein, drittens nur v o m T y p y. Man kann die beiden letzten Fälle dadurch ausdrücken, daß man sagt: Der Einwohner v o n C gibt einem F r e m d e n , der das D a t u m

8*

115

kennt, an ungeraden Tagen des Monats zuerst eine wahre Anwort und an geraden Tagen des Monats zuerst eine unwahre Antwort. Wir werden die Fragebogen nach folgender Fallunterscheidung studieren: I. Dichotome Fragebogen mit Gleichverleilung 1. 12 Ereignisse (A, B, C) (a, ß, y, y). Das ist die Lösung von JAGLOM-JAGLOM. 2. 9 Ereignisse (A, B, C) (oc, ß, y). 3. 9 Ereignisse (A, B, C) (a, ß, y). 2. und 3. lassen sich aus 1. herleiten, indem man überflüssig gewordene Fragen streicht. 4. Ein zu 2. äquivalentes optimales Büschel. 5. Ein zu 3. äquivalentes optimales Büschel. II. Dichotome Fragebogen mit nicht gleichwahrscheinlichen

Ereignissen

6. Ein Fall 1 entsprechendes Büschel unter Berücksichtigung verschiedener Wahrscheinlichkeiten. 7. Ein Fall 4 entsprechendes optimales Büschel unter Berücksichtigung verschiedener Wahrscheinlichkeiten. 8. Ein Fall 5 entsprechender optimaler Fragebogen unter Berücksichtigung verschiedener Wahrscheinlichkeiten. I I I . Behandlung des Problems unter der Voraussetzung, daß die Einwohner von A, B, C immer die Wahrheit sagen Das gibt Anlaß zu den Fällen: 9. Darstellung als Produkt von Fragebogen mit Gleichverteilung. 10. Ein zu 9. äquivalenter optimaler Fragebogen mit Gleichverteilung. 1. Die von JAGLOM-JAGLOM vorgeschlagene Lösung wird durch die beigefügte Tabelle beschrieben. Die Spalten des Schemas betreffen die Fragen. Die Werte 0 und 1 in der Tabelle bedeuten die Antworten auf die Fragen in Abhängigkeit von dem betreffenden Ereignis, das am Anfang der Zeile genannt ist. In der Spalte 4 sind 2i — 12 = 4 Ereignisse durch Klammern gekennzeichnet, für deren Identifizierung nur drei Fragen notwendig sind. Die Abbildung 6.1 zeigt den zugehörigen Fragebogen. E r hat den Typ A 0 und befriedigt die Forderungen des von JAGLOM-JAGLOM gestellten Problems. Mit diesem Fragebogen braucht ein Beobachter nie mehr als 4 Fragen zu stellen. Die mittlere Anzahl der Fragen des Beobachters beträgt Li= 3+ 116

2-^=3,66.

Ereignisse aA aB aC ßA ßB ßC yA y B yC yk y B yC

Fragen 1 Stadt A oder B?

2 3 Stadt Einwohner C? 7o?

4 Stadt A?

1 1 0 0 0 1 1 1 0 0 0 1

0 0 1 1 1 0 1 1 0 0 0 1

1 0 (0) 0 1

0 0 0 1 1 1 1 1 1 0 0 0

(1) 0 1 (1) 1 0 (0)

[e»o] 4,9 4,8 3,2 4,6 4,7 3,5 4,14 4,15 3,1 4,1 4,0 3,6

Falls der Beobachter für einen Aufenthalt in jeder Stadt die Chance 1 : 3 hat und — unabhängig davon — die Möglichkeit, mit einem Einwohner a, ß, y oder y zu sprechen, 1 : 4 beträgt, haben alle Kombinationen von Städten

und Einwohnern (Ereignisse) die Wahrscheinlichkeit — • — = — . Durch diesen dichotomen Fragebogen vom Typ A 0 mit 12 gleichwahrscheinlichen Ereignissen ist unsere Frage nach einer minimalen mittleren Anzahl der Fragen beantwortet.

117

2. Wenn die Einwohner von C zuerst die Wahrheit sagen — zum Beispiel an ungeraden Tagen des Monats — und wenn der Beobachter weiß, daß die Antworten des Einwohners von C in der Reihenfolge W F W F . . . erfolgen, dann können drei Ereignisse aus der Tabelle nicht eintreten, und

(AoderB

Abb. 6.2. Fragebogen mit 9 gleichwahrscheinlichen Ereignissen und Einwohnern vom Typ y zwar diejenigen, die y enthalten. Der Fragebogen 1 reduziert sich in diesem Fall auf 9 gleichwahrscheinliche Ereignisse. Es werden dabei Fragen gestrichen oder früher gestellt, und die Länge einiger Ereignisse verringert sich. Die mittlere Weglänge beträgt L,=

1.2 + 4-3 + 4-4

3,33.

3. Man erhält einen analogen Fragebogen, wenn n u r der Typ y als Einwohner von C zugelassen wird.

Abb. 6.3. Fragebogen mit 9 gleichwahrscheinlichen Ereignissen und Einwohnern vom Typ y 118

4. und 5. Da die Büschel 2 und 3 Ereignisse enthalten, deren Längendiflerenz 2 ist, können sie minimisiert werden. Die Formulierung

der

Fragen ist dann nicht mehr allein vom Rang, sondern vom vorher durchlaufenen W e g abhängig. Die optimalen Fragebogen 4 und 5 haben die mittlere Weglänge 2 • 1 L

4

= 3 + —

=3,22.

Die Büschel 4 und 5 sind in den Abbildungen 6 . 4 und 6.5 dargestellt.

Abb. 6.4. Fragebogen vom Typ A 0 mit 9 gleichwahrscheinlichen Ereignissen und Einwohnern vom Typ y

Abb. 6.5. Fragebogen vom Typ A 0 mit 9 gleichwahrschcinlichen Ereignissen und Einwohnern vom Typ y 6. Wir betrachten noch einmal den Fragebogen 1. W i r ordnen den Einwohnern von C vom T y p W F W F . . . und denen v o m T y p F W F W . . . die gleiche Wahrscheinlichkeit zu. W e n n wir weiter voraussetzen, daß die Chancen, daß sich der B e o b a c h t e r in A, B oder in C befindet und m i t

119

a, ß oder y bzw. y zusammentrifft, gleich sind, dann ergeben sich als Wahrscheinlichkeiten für die 12 Ereignisse p{aM}=p{/JM}=i p{yM}=

p{yM}

=

1

wobei M = A, B oder C ist.

-

Die Optimierung des Fragebogens 1 erfordert eine Veränderung der gestellten Fragen derart, daß die Länge der 6 Ereignisse mit kleinster Wahrscheinlichkeit mindestens gleich der der 6 anderen Ereignisse ist. Außerdem darf die Anwendung der Regeln R 2 und R 3 keine Reduktion der mittleren Weglänge ergeben. Ein optimales Büschel für Fall 6 ist in der Abbildung 6.6 dargestellt. Es hat die mittlere Weglänge L = 3,55. Sie ist kleiner als im Fall 1.

Abb. 6.6. Fragebogen mit 12 Ereignissen unterschiedlicher Wahrscheinlichkeit. Die Bogen [s, z'] tragen einen zu p(z) proportionalen Fluß

7. und 8. Wenn man voraussetzt, daß die eine Hälfte der Bevölkerung von C vom Typ y und die andere Hälfte vom Typ y ist und der Beobachter sich nur an Einwohner vom Typ y wendet und die Einwohner vom Typ y unbeachtet läßt, dann kann man folgende Wahrscheinlichkeiten 120

annehmen: 1

1

p(yM) = - p ( a M ) = - p ( / ? M )

sowie

p(y M) = 0 für M = A, B, C.

Dann ist p ( « M ) = pü8M) =

^

und p(yM) =

1 -.

Diese Werte werden in der Abbildung 6.7 verwendet. Die Fragebogen 4 und 5 sind bei diesen Wahrscheinlichkeiten nicht mehr optimal, denn die Knotenpunkte aus Rang Z4 haben größere Wahrscheinlichkeiten als gewisse Knotenpunkte aus Rang Z 3 . Eine Optimierung nach den Regeln R 1, R 2, R 3 führt auf zwei neue äquivalente Fragebogen, in denen die vier Arten von Fragen nach JAGLOMJAGLOM durch neue Fragen — in Abbildung 6.7 und 6.8 — ersetzt sind. Die mittlere Weglänge wird dadurch auf 3,133 reduziert.

Abb. 6.7. Fragebogen vom Typ A 0 mit 9 Ereignissen und Einwohnern vom Typ y

9. Abschließend wollen wir den Aufenthaltsort des Beobachters und die Heimatstadt des Gesprächspartners unter der Voraussetzung bestimmen, daß der Gesprächspartner als Einwohner von A, B oder C immer wahrheitsgemäß antwortet. Demzufolge können wir die Einwohner von C durch y bezeichnen.

121

A b b . 6.8. Fragebogen v o m T y p A 0 mit 9 Ereignissen und Einwohnern v o m T y p y

Die Möglichkeiten des Aufenthaltsortes des Beobachters A, B oder € und die Möglichkeiten der Heimatstadt des Gesprächspartners 1?. Man stellt dann fest, daß die drei Ereignisse 4, 13 und 22 die einzigen sind, die zu einem Unterbüschel gehören können, das durch X 2 < 1 und Y 2 < 1 bestimmt ist. 4 und 22 werden von 13 durch die Frage Z 2 > 1? getrennt. Die Frage Z > 0? sichert den Ereignissen 4 und 22 mit der Wahrscheinlichkeit 2~4 die Länge 4. Wie die Abbildung 6.13 zeigt, läßt sich ein Büschel leicht konstruieren, wenn man von diesen ersten Elementen ausgeht.

A b b . 6 . 1 3 . Optimaler Fragebogen m i t nicht gleichwahrscheinlichen Ereignissen zur Lösung des S u c h p r o b l e m s , wobei P(Q,O) = ohne A b s c h w ä c h u n g

Dieser Fragebogen hat folgende Eigenschaft: Sämtliche Knotenpunkte aus RangZ f haben die Wahrscheinlichkeit 2~E. Es handelt sich daher um einen optimalen Fragebogen ohne Abschwächung. Die mittlere Weglänge beträgt 1-3-2-3 + 6-4-2-4 + 12-5-2-5+ 8-6-2-6. 132

Das ergibt L op t = 4,5. Der Fragebogen 6.13 ist das Produkt von drei optimalen Fragebogen ohne Abschwächung A x , A Y , A z . Dabei hat jedes der drei Büschel drei 1 1 1 , . Ereignisse mit den Wahrscheinlichkeiten —, —, — und den zugehörigen Längen 1, 2, 2, wie der Graph in Abbildung 6.14 zeigt. Bewertung. Man kann die Ausgänge jeder Frage bewerten. Wir beginnen mit dem elementaren Fragebogen A x . In diesem gehören die Ereignisse 1

X>1

Abb. 6.14. Unterbüschel mit Wahrscheinlichkeiten und Bewertungen

zu Bereichen, deren Nummern sich um 1 unterscheiden. Den Ausgängen der ersten Frage kann man den Wert 0 zuordnen, wenn X 2 > 1 ist, und den Wert 1, wenn X 2 < 1 ist; den Ausgängen der zweiten Frage den Wert 0, wenn X < 0 ist, und den Wert 2, wenn X > 0 ist. Auf diese Weise ergeben sich die Nummern der Bereiche durch Addition der Bewertungen der Antworten auf die Fragen aus Bang Z0 und Zj. In Abbildung 6.14 stehen unter den Bogen die zugehörigen Bewertungen. Ebenso kann man für die Fragebogen A Y und A z verfahren, und zwar jeweils unter Verwendung einer arithmetischen Zahlenfolge, die mit 3 fortschreitet, wenn X und Z konstant sind, oder mit 9, wenn X und Y konstant sind, wie aus der entsprechenden Tabelle ablesbar ist. Die Bezeichnungen der Ausgänge der Fragen sind dann eindeutig von deren Inhalt abhängig und nicht von dem zugehörigen Bang im Fragebogen. Neben den Wahrscheinlichkeiten, die zu jedem Knotenpunkt des Fragebogens gehören, kann man auf diese Weise jedem Bogen des Fragebogens einen Koeffizienten zuordnen. Zwei Bogen, die derselben Antwort — j a oder nein — entsprechen und von einer Frage gleichen Inhalts ausgehen, erhalten, wie in Abbildung 6.13 zu sehen ist, denselben Koeffizienten. 133

Die N Wege, die von der Quelle ausgehen, werden durch eine E n d z a h l c h a r a k t e r i s i e r t , die gleich der S u m m e der Zahlen an den durchlaufenen B o g e n ist. W i r können feststellen, daß die Zahlenangaben in der nachfolgenden T a b e l l e erlauben, die 27 B e r e i c h e des R a u m e s in gleicher Weise wie im anfangs vorgeschriebenen S c h e m a zu numerieren. Frage

Ausgang

Bewertung

Länge

X2 > 1

Ja nein

0 1

0

X

> 0

ja nein

2 0

1

Y2 > 1

ja nein

0 3

.1 oder 2

Y > 0

ja nein

6 0

2 oder 3

Z2 > 1

ja nein

0 9

2, 3 oder 4

Z

ja nein

18 0

3, 4 oder 5

>0

I m besonderen kann diese B e w e r t u n g s y s t e m a t i s c h nach M a ß g a b e der Versuchsphase angewendet werden. Die S u m m e der Zahlen längs eines Weges liefert dann a u t o m a t i s c h die Zahl des in F r a g e k o m m e n d e n E r eignisses ( S e n k e ) .

Man k a n n dann wie JAGLOM-JAGLOM sagen, daß die

F r a g e n „ u n m i t t e l b a r g e r i c h t e t " sind [9, S. 79] — oder d a ß die durch die fortlaufende Bezeichnung der Ausgänge erhaltene I n f o r m a t i o n im Hinblick auf ihren späteren G e b r a u c h u n m i t t e l b a r gespeichert worden ist [13]. Diese B e w e r t u n g s m e t h o d e ist n i c h t m i t den Besonderheiten des behandelten Beispiels v e r k n ü p f t . Sie kann j e d o c h n i c h t i m m e r systematisch angewendet werden.

6.4.

Verschiedene Probleme

Die Theorie der Fragebogen kann in verschiedenen Gebieten, die kurz g e n a n n t werden sollen, angewendet werden. 134

Die Bedeutung von Fragebogen im Hinblick auf statistische Auswertung. Die Arbeit bei der Aufstellung einer Statistik könnte für die befragten und fragenden Personen vereinfacht werden, wenn Permutationen von Unterbüscheln wie im Paragraphen 1.2.3 bei der Aufstellung der Fragebogen benutzt würden. Im Paragraphen 3.5.3 ist angedeutet worden, daß die Wahrscheinlichkeiten der Knotenpunkte durch Flüsse ersetzt werden können. Diese Flüsse sind den Bogen, die in die zugehörigen Knotenpunkte einlaufen, zuzuordnen. Es läßt sich dann ein Graph bilden, der einen einzigen Eingang und einen einzigen Ausgang hat. Man fügt zu diesem Zweck an den Fragebogen zu den vorhandenen Knotenpunkten noch einen Knotenpunkt ze mit dem vorderen Halbgrad N an. Jeder der dadurch geschaffenen N neuen Bogen soll als Anfangspunkt ein Ereignis y haben und als Fluß den in y eintretenden Fluß. Man gewinnt auf diese Weise ein Transportnetz, in welchem die Bogen gesättigt sind [2], Die Theorie der Fragebogen kann zur Lösung solcher Transportprobleme beitragen, für die der Fahrplan, das heißt die Anordnung der Empfänger, beliebig ist.

135

S I E B E N T E S KAPITEL

Probleme der Informationsverarbeitung

7.1.

Allgemeine Bemerkungen

Bekanntlich ist die automatische

Informationsverarbeitung

eine Disziplin,

deren praktische Seite sich viel schneller als ihr theoretischer Aspekt entwickelt hat, insbesondere auf Grund ihrer sehr zahlreichen Anwendungen in Forschung und Produktion, wobei seit einigen J a h r e n immer mehr nichtnumerische

Probleme behandelt werden.

Die Informationstheorie zeigte im Rahmen der Diskussion der Theorie der homogenen und heterogenen Fragebogen, wie das Problem der Auswahl eines Ereignisses — ein Problem der Informationsverarbeitung — es ermöglicht, Kriterien für die Minimierung der Anzahl der Operationen, die wir bisher Fragen nannten, zu formulieren. Um die Informationsverarbeitung tiefer zu durchdringen, ist es erforderlich, die Grundelemente zu berücksichtigen, die dem Programmierer bei der Programmierung eines Problems zur Verfügung stehen. In der T a t ist die Minimierung der Anzahl dichotomer Fragen nur nützlich, wenn diese mit einem wirklichen Gewinn in bezug auf die Zeit für Speicherung und Bereitstellung oder die übliche Rechenzeit verbunden ist. Die Sicherheit der möglichen Beobachtung aller Ereignisse soll dabei als absolut gegeben vorausgesetzt werden. Nun ist aber im Kapitel I I I gezeigt worden, daß jedes Auswahlproblem der

Informationsverarbeitung

einem

Informationsübertragungsproblem

entspricht; denn der Empfänger erhält selbst eine I n f o r m a t i o n , d i e ihm ohne Verarbeitung nicht zugänglich ist. Die Arbeitsweise eines Automaten besteht also gleichzeitig in Informationsverarbeitung und -Übertragung. Dabei vermehrt die erste tatsächlich die Informationen des Empfängers. Ein Schlüsselproblem der Informationsverarbeitung ist die Herstellung von Algorithmen, die möglichst wenig Operationen und Tests aufweisen, also die Optimierung von Algorithmen. Es ist zweckmäßig, die zugehörigen Flußbilder unter Verwendung einer möglichst großen Anzahl von Kreisen aufzustellen. Man wird also in jedem R a n g die größtmögliche

136

Anzahl von Fragen gleicher Formulierung verwenden. 1 Nun haben aber die Beispiele zum Problem der „Städte der Lügner und der ehrlichen Leute" gezeigt, daß die optimalen Fragebogen einen Unterschied in der Formulierung der Fragen erfordern können, und zwar im Zusammenhang mit dem Weg, der von der Quelle eines Büschels aus, das heißt hier vom Start des Programms an, verfolgt wird. Die Beschränkungen durch die Praxis widersprechen der Verwirklichung eines Programms, das als optimaler Fragebogen aufgestellt wurde, indem man nur solche Operationen, die auf eine Auswahl oder auf einen bedingten Sprung führen, zählt. Trotz dieser Beschränkungen kann die Theorie der Fragebogen häufig in Theorie und Praxis angewendet werden (vgl. Kapitel IX).

7.2.

Suchoperationen in Tabellen

Nach einer klassischen Methode kann man am Ende einer ersten Stufe ein Codewort mit einem der Werte 0, 1, . . ., N — 1 bekommen und zu Beginn einer dritten Stufe dieses nacheinander mit 0, . . ., N — 1, den Indizes der Ereignisse, vergleichen, um auf das zu durchlaufende Unterprogramm überzugehen, sobald die Nummer des Ereignisses mit dem Codewort übereinstimmt. Die Theorie der Fragebogen zeigt, daß dieses Vorgehen nicht wie oben mit Null beginnen, sondern von der Mitte aus seinen Anfang nehmen sollte, um dann auf dem Wege der dichotomen Aufteilung (unter Benutzung der Relation „i£") fortzuschreiten (binäres Suchen). Unter der Mitte ist eine Zahl zu verstehen, die zwischen den minimalen und den maximalen Werten Ni und N — N^ liegt, — wie es in der Formel (A), Paragraph 3.5.2, S. 83, angegeben ist. Auf diese Weise wird im Falle gleichwahrscheinlicher Ereignisse die Anzahl der Tests gleich L 0 sein, während die klassische Methode (sequentielles Suchen), die mit Null beginnt, L m a x liefert. Dieser Wert kann aber wesentlich größer als L 0 sein, wie in P* 8, Paragraph 2.3.1, S. 57, ausgeführt wurde (vgl. Paragraph 9.4). Beim Durchmustern von Tabellen zur Ermittlung von Funktionswerten y(x) können wir diese Methoden anwenden. Ein entsprechender Fragebogen, der imstande ist, das Problem in minimaler Zeit zu lösen, wird 1

Man wird dabei Wertzuweisungsoperatoren benutzen. — Anm. d. Red.

137

dicliotom sein — unabhängig davon, ob er gleichwahrscheinliche Ereignisse hat oder nicht, weil die Fragen Vergleiche mit genau zwei Ausgängen, nämlich gleich oder ungleich bzw. größer-gleich oder kleiner, sind. Dabei tritt auch folgendes klassisches Problem der Informationsverarbeitung auf: Minimierung des Rechenaufwandes. Es sollen also „redundante" Programme vermieden werden. Die Behandlung des Suchproblems für Bereiche mit unterschiedlichen Wahrscheinlichkeiten am Schluß von Paragraph 6.3 ist ein Beispiel dafür. Dort wurden die Ereignisse und die Antworten so codiert, daß man durch Addition der Codes der Antworten den Code des identifizierten Ereignisses erhält. Unabhängig von der Theorie der Fragebogen wurden bereits an anderer Stelle [13] ähnliche Bemerkungen zu dem genannten Problem gemacht. Sie führten dazu, zwei fundamentale Prinzipien der Informationsverarbeitung auszusprechen: Das Prinzip der logischen Steuerung der Informationsverarbeitung. Das Prinzip der Informationsspeicherung. Ein Zwischenresultat soll mit um so höherer Wahrscheinlichkeit abgespeichert werden, je a) häufiger es benötigt wird,

b) höher der Rechenaufwand zu seiner Gewinnung ist.

7.3.

Die beiden größten Zahlen

Wir werden zunächst das Problem der Ermittlung eines Maximums behandeln und dabei zeigen, in welcher Beziehung die dabei verwendeten Prinzipien zur Theorie der Fragebogen stehen. Die Ermittlung des Maximums von N Zahlen entspricht dem Verfahren, •einen Fragebogen für N Ereignisse aufzustellen. Die genannte Aufgabe führt a priori dazu, N — 1 dichotome Fragen zu stellen. Wenn diese Fragen beliebig gestellt werden dürfen, kann man eine Folge von Fragen bilden, die sich gegenseitig ausschließen. Zum Beispiel Fragen von der Art: „Gehört das Maximum zu den ersten N^ Zahlen?", wobei einen in Formel (A), Paragraph 3.5.2 definierten Wert annimmt. Wie auch der Ausgang der Frage beschaffen ist — ob die Antwort j a oder nein lautet —, immer wird es möglich sein, einen Fragebogen von k oder k + 1 Fragen aufzustellen, um das Maximum unter N = 2k + a Zahlen zu bestimmen. 138

E i n e F r a g e der obigen A r t e n t s p r i c h t a b e r k e i n e r e l e m e n t a r e n O p e r a t i o n eines A u t o m a t e n . D e s h a l b m ü s s e n wir die Menge der T e s t a t t r i b u t e einen

einzigen

Vergleich

beschränken„Ist

A größer

auf

als B ? " Dieser er-

m ö g l i c h t zwei Ausgänge. U n t e r diesen B e d i n g u n g e n h a t J .

VTT.T.F.

[21] ge-

zeigt, d a ß es in j e d e m Fall n o t w e n d i g ist, N — 1 F r a g e n zu stellen, weil m a n das M a x i m u m noch n i c h t k e n n t , w e n n m a n die in F r a g e k o m m e n d e Zahl n u r m i t N — 2 a n d e r e n Zahlen verglichen h a t . E i n F r a g e b o g e n z u r E r m i t t l u n g des M a x i m u m s v o n 5 Z a h l e n ist in d e r A b b i l d u n g 7.1 als G r a p h d a r g e s t e l l t w o r d e n , in d e m die F r a g e n zwei direkte Vorgänger haben können. Die A u s w e r t u n g dieses G r a p h e n e r l a u b t die u n m i t t e l b a r e

Festlegung

e i n e s P r o g r a m m s zur E r m i t t l u n g des M a x i m u m s v o n N Zahlen.

A / ^ C a>d)

Ça>e )

Aber

(b>c )

Ca>¿Q

« c

1/5 e

Abb. 7.1. Fragebogen zur Ermittlung des Maximums von 5 Zahlen

dieser G r a p h liefert n i c h t die Möglichkeit, j e d e I n f o r m a t i o n u n m i t t e l b a r zu v e r w e r t e n , die d u r c h die N — 1 F r a g e n längs eines Weges e r h a l t e n w u r d e . I m Falle v o n 5 Zahlen e r l a u b e n die beiden i n n e r e n Wege, die a b w e c h s e l n d e i n e n Bogen j a u n d einen Bogen nein aufweisen, die 5 Z a h l e n zu o r d n e n . 1

Es dürfen also nur „einfache" Tests verwendet werden (vgl. S. 181 und S. 227 f.). Anm. d. Red.

139

Dagegen ermöglichen die beiden äußeren Wege, die 4 Ausgänge j a und 4 Ausgänge nein annehmen, keine Auskunft ü b e r die Reihenfolge der v e r bleibenden 4 Zahlen. Das

Prinzip der logischen

Steuerung

der

Informationsverarbeitung

ebenso wie die Theorie der F r a g e b o g e n führen dazu, den Graph als ein Büschel darzustellen. Da 5 Zahlen gegeben sind, e r h ä l t m a n 5 ! = = 120' P e r m u t a t i o n e n der 5 Zahlen, die den 1 2 0 Ereignissen beim Sortieren der Zahlen entsprechen. J e d e r innere W e g , der dazu führt, die Zahlen in 4 Vergleichen zu ordnen, h a t für unsere Ziele eine W a h r s c h e i n l i c h k e i t von 1 . . . . 1 ——, während j e d e r äußere W e g eine Wahrscheinlichkeit von — h a t . 120 5 Der Fragebogen in der Abbildung 7.2 l ä ß t die 16 W e g e von der Quelle zu einem Ereignis erkennen, die im Graphen durchlaufen weiden, und z e i g t

Abb. 7.2. Büschelfragebogen zur Ermittlunio des Maximums von 5 Zahlen die erhaltenen Ordnungsbeziehungen am E n d e der 4 Vergleiche an, z u s ä t z lich die Wahrscheinlichkeiten der 16 Ereignisse. Mit diesem Büschelfragebogen kann m a n das M a x i m u m von 5 Zahlen durch 4 F r a g e n erhalten. U m die größte der verbleibenden 4 Zahlen zu. 140

e r m i t t e l n , b e n ö t i g t m a n im F r a g e b o g e n 7.1 drei Vergleiche. W i r wollen feststellen, welche A n z a h l v o n Vergleichen f ü r die E r m i t t l u n g d e r zweitg r ö ß t e n Zahl n o t w e n d i g ist, w e n n die m i t Hilfe des B ü s c h e l f r a g e b o g e n s 7.2 e r h a l t e n e O r d n u n g b e r ü c k s i c h t i g t wird. W i r bezeichnen zu diesem Zweck die Wege, die die Quelle m i t den Ereignissen v e r b i n d e n , d u r c h ein Codewort a u s 4 b i n ä r e n Ziffern. G e m ä ß d e n A n t w o r t e n j a oder nein v e r w e n d e n wir f ü r die R ä n g e in d e r R e i h e n folge 0 bis 3 die zugehörigen Ziffern 1 bzw. 0. M a n k a n n sich auf diese Weise eine U b e r s i c h t ü b e r die 120 verschiedenen

Möglichkeiten

ver-

schaffen: In 48 Fällen bei B e n u t z u n g eines d e r W e g e 0000 u n d 1111 sind 3 z u s ä t z liche Vergleiche n o t w e n d i g . I n 24 Fällen bei B e n u t z u n g eines der Wege 0001, 0010, 0101, 0110 u n d 1110, 1101, 1010, J 0 0 1 sind keine zusätzlichen

Vergleiche

notwendig.. I n 24 Fällen bei B e n u t z u n g eines d e r W e g e 0011, 0100 u n d 1100, 1011 ist ein z u s ä t z l i c h e r Vergleich n o t w e n d i g . I n 24 Fällen bei B e n u t z u n g eines d e r W e g e O l l i u n d 1000 sind zwei zusätzliche Vergleiche n o t w e n d i g . In der T a t wird in d e n beiden ersten G r u p p e n die m a x i m a l e A n z a h l v o n Vergleichen bzw. kein Vergleich b e n ö t i g t , w ä h r e n d i n d e r d r i t t e n G r u p p e ein Vergleich, z u m Beispiel d > e f ü r 0011 u n d b > c f ü r 0100, d u r c h g e f ü h r t w e r d e n m u ß . Die auf d e m W e g e O l l i e r h a l t e n e O r d n u n g ist in d e r A b b i l d u n g 7.2 d u r c h b > (a, c, d, e) u n d e > a a n g e g e b e n . Die zugehörigen U n g l e i c h u n g e n l a u t e n 6 > a , 6 > c , 6 > e u n d e > a. Sie e r f o r d e r t die Vergleiche c > d u n d e n t w e d e r c > e o d e r d > e. E s sind also i m M i t t e l 24 • 1 + 24 • 2 + 48 • 3 120

=

1,8

zusätzliche Vergleiche n o t w e n d i g . Mit d e m in A b b i l d u n g 7.2 d a r g e s t e l l t e n B ü s c h e l f r a g e b o g e n k a n n m a n also v o n 5 Zahlen die beiden g r ö ß t e n bei einer m i t t l e r e n W e g l ä n g e v o n 5,8 b e s t i m m e n — i m G e g e n s a t z zu 7 (Vergleichen) in zwei G r a p h e n . Aber der a n g e g e b e n e F r a g e b o g e n ist n o c h n i c h t o p t i m a l . W e n d e t m a n den A l g o r i t h m u s v o n HUFFMAN auf Ereignisse an, welche die gleichen W a h r s c h e i n l i c h k e i t e n wie die in d e r A b b i l d u n g 7.2 h a b e n , so

141

zeigt sich in der Tat, daß die mittlere Weglänge noch reduziert werden kann. F ü r die Ermittlung des Maximums von 5 Zahlen ergibt sich anstelle von 4 der Wert 3,508. Weil aber die Realisierung jedes Fragebogens hier erfordert, nur von „einfachen" 1 Vergleichsoperationen auszugehen, wie sie ein Rechner bewältigen kann, können wir 3,508 nicht erreichen. Das Verfahren zur Ermittlung der zweitgrößten von N Zahlen mit Hilfe der bisher beim Feststellen des Maximums gewonnenen Ergebnisse selbst ist relativ gut. Aber die unmittelbare Anwendung der Theorie der Fragebogen ist wirkungsvoller. Bemerkung.

Wir schließen aus, daß die betrachteten Variablen gleiche

Werte annehmen. Dieser Fall hat eine unbedeutende Wahrscheinlichkeit, wenn die Mantissen der Zahlen umfangreich sind, zum Beispiel, wenn diese aus 9 Ziffern bestehen und wenn die Zahlen a, b, c, d, e selbst eine Wahrscheinlichkeit von 10~ 10 dafür haben, daß irgendein Wert aus einem Intervall angenommen wird. Das vorgelegte Problem kann unmittelbar durch Produkte

von

Frage-

bogen gelöst werden. Das Maximum von n Zahlen alt a2, • •

an kann man aus dem Pro-

dukt von n— 1 Fragebogen mit j e einer einzigen Frage erhalten. Sie lautet: öj > M? und wird für i = 2, 3, . . . , n gestellt. Wenn die Antwort auf die gestellte Frage j a lautet, dann nehmen wir für M den Wert ai, andernfalls behalten wir M bei. Zu Beginn setzen wir M =

Df

at.

Die beiden größten Zahlen erhält man ebenfalls aus einem Produkt von n — 1 Fragebogen. Der erste gleichwahrscheinliche Fragebogen besteht aus einer einzigen Frage: a^ > a 2 ? Es sei M die größere und S die kleinere Zahl. Es folgen dann n— 2 Fragebogen für i= 3, 4 , . . . , n. Die erste Frage lautet: ai > S . Wenn nein, dann behalten M und S ihre Werte, wenn ja, dann ist die zweite Frage zu stellen. Die zweite Frage lautet: at > M. 1

PICARD setzt voraus, daß die Kompliziertheit der Testfragen 1 ist. 3,508 kön-

nen wir nur unter Verwendung von komplizierteren Fragen erzielen. — Anm. d. Red. 142

Wenn nein, dann gilt S < a t < M, und es tritt der Wert von ai an die Stelle des Wertes der Variablen S ; wenn ja, dann weisen wir der Variablen M bzw. S den Wert von aj bzw. den vorherigen Wert der Variablen M zu. Die Wahrscheinlichkeiten der Ereignisse jedes dieser elementaren Fragebogen seien: P {a« < S} = — — und p {S
M} = 4 ;

. . . . . 2 dabei ist die mittlere W eglänge Lj = 1 + — und die Entropie Ht. = log2 i

i- 2

log2 (i - 2).

Die Abschwächung des Produktfragebogens beträgt daher:

i-3

L

1

1

J

Im einzelnen ergibt sich für n = 5 : H = 5,456

und

L = 5,567.

Man kann überlegen, daß die Permutation der Reihenfolge der beiden Fragen aj > S und > M für alle i bei gleicher Struktur der Fragebogen eine mittlere Weglänge

ergeben würde. Das ist für n = 5 der Wert L ' = 6,217, der noch größer als der Wert 5,8 ist, der zu Beginn des vorliegenden Paragraphen ermittelt wurde. Die „verarbeitete" Information 1 H setzt sich additiv aus zwei Bestandteilen zusammen: a) aus der geforderten Information, die zur gesonderten Bestimmung des Maximums und der zweitgrößten Zahl erforderlich ist. — Das ist log 2 n und log2 (n — 1). — Man erhält für n = 5 den Wert H d = 4,322; 1

PICAED [57] unterscheidet zwischen der ,.übertragenen" Information H und der „verarbeiteten", die mittels bedingter Wahrscheinlichkeiten berechnet wird. Bei Büscheln stimmen beide überein. — Anm. d. Red.

143

b) aus einer zusätzlichen Information, die in gewisser Beziehung überflüssig ist, weil sie nicht gebraucht wird. Diese Information H s entspricht den Aussagen, die der Fragebogen über die Reihenfolge der kleineren Zahlen erlaubt. Diese Reihenfolge ergibt sich aus den Ausgängen der Fragen, bei denen ein neues Maximum oder eine neue zweitgrößte Zahl gefunden wurde. Wir werden später ein zu diesem ähnliches Verfahren T I D studieren (Tri par Insertion Dichotomique, das heißt Ordnung durch dichotomes Einfügen). Es bezieht sich auf das vollständige Ordnen und ist in gewisser Beziehung eine Verallgemeinerung unseres SOUMAXVerfahrens (sous-maximum, das heißt zweitgrößte Zahl). Dann wird H s vollkommen benutzt, und Rauschen braucht nicht aufzutreten. In ALGOL läßt sich das Verfahren SOUMAX folgendermaßen programmieren : procedure SOUMAX (m, s, j, k, a, n)\ value n\ real m, s; real array a; integer j, k, n\ comment die ganzen Zahlen j und k zeigen die Stellung des Maximums m und der zweitgrößten Zahl s in dem Feld a an, das n Elemente hat. Die Ermittlung des Minimums und der zweitkleinsten Zahl kann in gleicher Weise durchgeführt werden, wenn man in einigen Ungleichungen das Zeichen > durch das Zeichen < ersetzt; begin integer ¿; boolean e; if n < 2 then begin m : = s : = a [ l ] ; j : = k : = 1;

goto ALONE end;

e : = a [2] >«[!]; m : = if e then a [2] else a [ l ] s : = if e then a [1] else a [2] j : = if e then 2 else 1 1 else 2 k : = if e then for i : = 3 step 1 until n do begin i f a [ t ] > s then begin if a [i] > m then begins : = m; m : = a[i]; k : = j ; j : = i end else begin s : = a [£]; k : = i end; end; ALONE: end 144

end;

7.4.

Das Problem des Sortierens von Zahlen

7.4.1.

Einführung

Wir betrachten jetzt das Problem, wie reelle Zahlen, die sich zum Beispiel in der Speichereinheit eines elektronischen Rechners befinden, nach bestimmten Prinzipien sortiert werden können. Wir werden mit Wörtern über dem Alphabet der Ziffern operieren. Das Ordnen von Wörtern über dem Alphabet der Buchstaben kann auf gleiche Weise vollzogen werden. Mengen von Wörtern eine Ordnung zu geben läßt sich auf die vorhergenannten Fälle zurückführen. Wir suchen ein optimales Ordnungsverfahren, wobei „optimal" minimale mittlere Weglänge bedeutet. Wir können sie durch das Stellen anderer Fragen verändern. Dabei vernachlässigen wir das Übertragen von Zahlen. Zum Sortieren von n Zahlen können wir einen Fragebogen mit n! = N Ereignissen konstruieren, die als gleichwahrscheinlich angesehen werden dürfen. Die Ereignisse sind die n \ möglichen Permutationen der n Zahlen, wobei zwischen den benachbarten die Relation < besteht. Wir müßten mehr als n ! Ereignisse berücksichtigen, wenn wir die Gleichheit von einigen Zahlen zulassen würden. Diese hat aber in der Praxis — wie in Paragraph 7.3 angedeutet wurde — eine geringe Wahrscheinlichkeit. Mit Ililfe der Relation < sollen die Fragen formuliert werden. Wenn der Fall a < b vorliegt, dann ist die Antwort auf die Frage a < 6? j a bzw. 1 und im Falle a^ib nein bzw. 0, wobei a = b wegen der geringen Wahrscheinlichkeit vernachlässigt wird. Deshalb erübrigt sich die Frage a= b? Man braucht zur Identifizierung eines von nl = N = 2 & -f- a gleichwahr2a scheinlichen Ereignisses im Mittel mindestens L 0 = k + — dichotome Entscheidungen. Das Sortierproblem soll durch Aufstellung eines Fragebogens gelöst werden, der n Zahlen in ihrer natürlichen Reihenfolge anordnet und dessen mittlere Weglänge sich von L 0 möglichst wenig unterscheidet. 7.4.2.

Neuere

Näherungsverfahren:

Ordnen und

Information

1 9 6 2 hat H I B B A K D [ 7 ] eine Methode vorgeschlagen, die auf einer Theorie der „Such- und Sortierbüschel" beruht. Damit kann man die natürliche Reihenfolge von n Zahlen herstellen, wobei die Anzahl der im Mittel durch10

Picard, Fragebogen

145

zuführenden „Frageoperationen" durch 1,4 log (n -f- 1) nach oben abgeschätzt werden kann und 0,7 log (n -f- 1) Hilfsspeicherbereiche benötigt werden. Wie der Leser leicht nachrechnet, ist diese Zahl kleiner als H. Das h a t folgende Ursache: HlBBARD faßt mehrere unserer < Vergleiche zu einer Frageoperation zusammen, genauer: jede Klasseneinteilung (s. u.) ist eine Frageoperation. Außerdem enthalten die Büschel n + 1 Senken. Wenn man aber die Vergleiche einzeln zählt, i s t L H größer als L 0 . Das wird durch die Beispiele weiter unten veranschaulicht. Jedoch ist die Methode von HlBBARD eine gute Näherung zur Lösung des Sortierproblems. Sie führt auf folgendes Verfahren: Der Algorithmus von HlBBAKD (vgl. Paragraph 9.4.3). a) Es ist die erste Zahl b0 der gegebenen ungeordneten Menge mit allen anderen Zahlen zu vergleichen und eine Einteilung in zwei Klassen vorzunehmen : Jo

=Df{&

: b

< bo)

u n d

S0 =

Df

{ i : 6 > 60}.

b) Die Zahl b0 ist im Speicher an die ([I0( + l ) - t e n Stelle einzuordnen. Die Elemente von I 0 bzw. SQ sind „unterhalb" bzw. „oberhalb" von b0 zu speichern. c) Es ist das erste Element % von I 0 zu nehmen und wie in a) zu verfahren, und zwar bezüglich der Menge I 0 . Es sind dann nacheinander die ersten Elemente der entstehenden Mengen I zu nehmen. Sie sind ihrer Reihenfolge entsprechend zu speichern. d) In gleicher Weise ist mit den Elementen der nacheinander sich ergebenden Mengen S zu verfahren. Bei Anwendung dieses Algorithmus erhielten w i r : Für n = 4 und 4 l(y) 6 L h = 4,83 Für rc = 5

im Vergleich zu

L 0 = 4,66.

und

L H = 7,4

im Vergleich zu

LQ = 6,92.

Übrigens nimmt HlBBARD an, daß es vorteilhaft ist, die Differenz N — 2 f t = a genauer zu studieren, wenn N in der Nähe von 2k oder 2k + i liegt, um auf diese Weise mit Hilfe des Algorithmus von HUFFMAN eine Bedingung für optimale Klasseneinteilungen bei Suchverfahren herleiten zu können. Die dazu erforderlichen Überlegungen sind im Paragraphen 3.5.2 dargestellt worden. 146

1962 sind auch von FALKOFE [5] Algorithmen vorgeschlagen worden, um

unter

Verwendung

verschiedener

Relationen

in

„parallel-search-

memories" Untersuchungen durchzuführen: zur E r m i t t l u n g von größeren, kleineren, m a x i m a l e n , benachbarten, zwischen Grenzen liegenden

Ele-

menten und zur E r m i t t l u n g der Reihenfolge. FAUCOFF h a t eine Hierarchie von Abhängigkeiten zwischen diesen Algorithmen gefunden. E r h a t indessen

w i e in d e n V e r f a h r e n v o n SHANNON u n d F A N O [19] d i e

immer in zwei gleichgroße Teile zerlegt.

Klassen

FALKOFF gibt außerdem eine

Definition des Begriffs „ F r a g e " an, d a s heißt er definiert einen Fragebegriff, der sich von dem unseren ein wenig unterscheidet: „ E i n Suchen, d a s auf der Gleichheit oder Ungleichheit als spezifischer Relation beruht, heißt einfaches Suchen, ,simple search', und jeder S u c h a b s c h n i t t , d a s heißt j e d e neue Aufteilung des Speicherinhalts, wird ,Frage' g e n a n n t . E i n S u c h e n , d a s auf einer anderen Relation

(z. B . M a x i m u m von . . .) beruht, soll

komplexes Suchen genannt werden. D a s Ziel jedes Suchens ist, den Ort der gewünschten Information zu finden."

7.4.3.

Optimales Verfahren für das Ordnen von n

Zahlen

F ü r n = 3 mit L 0 = 2,66 sind die optimalen F r a g e b o g e n u n m i t t e l b a r einsichtig: Durch zwei F r a g e n läßt sich d a s M a x i m u m b e s t i m m e n . Wenn festgestellt worden ist, daß eine der drei Zahlen zwischen den zwei anderen liegt, erlauben die F r a g e n , die Reihenfolge anzugeben. In vier von sechs Fällen ist es notwendig, 3 Vergleiche durchzuführen. Die zugehörigen b „Zweiwertig" besagt, daß wir unserem Aufbau zwei Wahrheitswerte, nämlich 1 (wahr) und 0 (falsch) zugrunde legen. Die gewählten Wahrheitswerte 1 und 0 fassen wir zu einer Menge M zusammen. Eindeutige Abbildungen von der Menge {1, 0} n aller n-Tupel von Elementen aus {1, 0} in {1, 0} heißen (n-stellige) zweiwertige aussagenlogische Wahrheitsfunktionen. Aus der Erfahrung entnehmen wir, daß sich die aufgezählten Konnektoren zweiwertig und extensional verhalten, d. h. erstens, daß Aussagen, die aus zweiwertigen Aussagen durch Zusammensetzung mit diesen Konnektoren entstehen, wieder zweiwertig sind, und 11*

163

zweitens, daß der Wahrheitswert einer zusammengesetzten Aussage nur von den Wahrheitswerten der Bestandteile, nicht jedoch von den Bestandteilen selbst, abhängt. Daraus folgt, daß das logische Verhalten dieser Konnektoren durch zweiwertige aussagenlogische Wahrheitsfunktionen erfaßt werden kann, und zwar, wiederum auf Grund der Erfahrung, in der vorliegenden Reihenfolge durch die aussagenlogischen Wahrheitsfunktionen non, et, vel, seq, aeq, wobei diese Funktionen durch die folgenden Tabellen definiert sind.

1 0

j

non

1 1

0

[1, 1] [1,0] [0,1] [0, 0]

1

et

vel

seq

aeq

1 0 0 0

1 1 1 0

1 0 1 1

1 0 0 1

Zum Aufbau der Ausdrücke des klassischen zweiwertigen Aussagenkalküls gehen wir von dem folgenden Alphabet ¿ = D I ? I * I ~ I A

aus:

IV

Beliebige endliche lineare Zeichenreihen, gebildet aus Buchstaben A, deuten wir durch Z (evtl. mit Indizes) an.

von

Wir definieren als erstes induktiv Aussagenvariablen. 1. q ist eine Aussagenvariable. 2. Ist die Zeichenreihe Z eine Aussagenvariable, so ist auch Z * eine Aussagenvariable. 3. Keine weitere Zeichenreihe ist eine Aussagenvariable. Die Aussagenvariablen q, q*, q**, . . . bezeichnen wir in der angegebenen Reihenfolge durch q0, qit q2, . . . allgemein durch qj. Manchmal werden die ersten vier auch einfach durch a, b, c, d angedeutet. Als nächstes definieren wir Ausdrücke. 1. Alle Aussagenvariablen sind Ausdrücke. 2. Sind die Zeichenreihen Z^ und Z 2 Ausdrücke, so sind auch ~ Z t , [ZL A Z 2 ), (Z4 V Z 2 ), (Zl - * Z 2 ) und (Zt -o- Z 2 ) Ausdrücke. 3. Keine weitere Zeichenreihe ist ein Ausdruck. Beliebige Ausdrücke werden durch H (evtl. mit Indizes) bezeichnet. Die definierten Ausdrücke werden jetzt interpretiert. Unter einer aussagenlogischen Belegung g verstehen wir eine eindeutige Abbildung von der Menge aller Aussagenvariablen in die Menge {1, 0} 164

der Wahrheitswerte. Ist qj eine Aussagenvariable, so wird der Wahrheitswert, der qj durch g zugeordnet ist, durch g (qj) bezeichnet. Wir definieren jetzt den Wahrheitswert, den ein Ausdruck H bei der aussagenlogischen Belegung g annimmt (angedeutet durch Wert ( H , g)), und zwar induktiv über die Kompliziertheit von H. 1. Wert {qj, g) = D ( g (qj) 2. Wert (~II, g) = Df non ( Wert (Ii, g)) WertdHt A H2),g) =Df et (WertiH^g), Wert(H2,g)) Wert ((H± V H2),g) = Divel(Wert(H1,g),Wert(H2,g)) Wert {(H^H^g) = j)f seq (WertiH^g), Wert(H2,g)) Wert ((HL^H2),g) = Df aeq ( Weri (H^g), Wert (H2,g)). Wir nennen schließlich einen Ausdruck H allgemeingültig bzw. Ausdrücke Hl und Ii2 semantisch äquivalent genau dann, wenn für jede aussagenlogische Belegung g Wert(H,g)

= 1

bzw. Wert (H^,g) = Wert(H2,g). gilt. Wir gehen jetzt zu mehrwertigen Interpretationen der definierten Ausdrücke über. Die bei der zweiwertigen Interpretation benutzten Mengen von Wahrheitswerten und aussagenlogischen Wahrheitsfunktionen fassen wir zum Begriff der aussagenlogischen Matrix oder aussagenlogischen Algebra f.i2 zusammen, indem wir das folgende Siebentupel bilden: = Df [{!> 0}. {!}, non, et, vel, seq, aeq]. Das angegebene fi 2 nennt man genauer klassische zweiwertige aussagenlogische Algebra. Diese Begriflsbildung wird nun wie folgt verallgemeinert. Gegeben seien eine beliebige nichtleere Menge V, Menge der Wahrheitswerte genannt, sowie eine beliebige Teilmenge V* von V, die Menge der ausgezeichneten Wahrheitswerte. Ferner seien eine eindeutige Abbildung it