v., (ook: mathematische communicatietheorie), wiskundige theorie die probeert het begrip informatie een concrete, quantitatieve betekenis toe te kennen.
(e) De informatietheorie die ontwikkeld werd door o.a. C.E.Shannon en N.Wiener houdt zich bezig met informatie in de ruimste zin.
Het overbrengen van informatie van de ene naar een andere plaats, met een communicatiemiddel, heeft alleen zin als er verschillende berichten mogelijk zijn. Het neen van iemand die altijd op alles neen zegt, brengt geen informatie over. Kan hij ja of neen zeggen, dan is daaraan een hoeveelheid informatie verbonden, die men afhankelijk kan stellen van de verwachting hoe vaak ja dan wel neen geantwoord zal worden. Immers bij iemand die meestal neen antwoordt, zal ja veel zeggen, neen echter weinig. Aan de situatie waarin slechts twee antwoorden mogelijk zijn die even vaak voorkomen, is de eenheid van hoeveelheid informatie, de bit, verbonden. In de meeste gevallen is het aantal mogelijke berichten veel groter: hoe groter dit aantal mogelijkheden, des te meer informatie zal men ontvangen als van al die berichten een bepaald bericht doorkomt.
Vraagt men b.v. welke dag van de week het is, dan zijn er zeven mogelijke antwoorden. Luidt het antwoord nu dinsdag, dan is daarmee uit die zeven mogelijkheden een bepaalde keus gedaan, en daarmee is een hoeveelheid informatie overgebracht, die groter is dan in het vorige geval, en die door een ja-neen-mechanisme onmogelijk in één keer doorgeseind zou kunnen worden. De hoeveelheid informatie wordt dus groter naarmate het aantal mogelijkheden van het bericht groter is. Men zou kunnen overwegen, de hoeveelheid informatie direct evenredig te stellen met dit aantal mogelijkheden, maar dit zou niet tot een doelmatige beginselbepaling leiden. Neem het geval dat iemand in een gezelschap een door de anderen overeengekomen ding moet raden door vragen te stellen, waarop uitsluitend met ja en neen geantwoord mag worden. Het antwoord ja of neen betekent dan op zijn eerste vraag een informatie van 1 bit.
Beschouwt men nu de antwoorden op drie gestelde vragen als één bericht, dan zijn er 23 = 8 verschillende berichten mogelijk (tabel). Gaat men over tot vier vragen, dan kan elk van de genoemde 23 mogelijkheden met een vierde ja of met een vierde neen gecombineerd worden, waardoor het aantal twee maal zo groot wordt, dus 2 x 23 = 24. Bij vijf vragen is het 25 enz., bij n vragen zijn er 2" verschillende berichten mogelijk. Het intuïtieve begrip van hoeveelheid informatie zegt dat men na vijf antwoorden vijfmaal zoveel weet als na één antwoord, dus dat de hoeveelheid informatie na vijf antwoorden 5 bits is. Blijkbaar is dit niet aangegeven door het aantal mogehjke berichten, 32, maar door de 5, die de macht van 2 aanduidt. Samenvattend: als N berichten mogelijk zijn, dan is de hoeveelheid informatie, verbonden aan het doorkomen van één bepaald bericht, gelijk aan 2log N bits.
Dit aantal bits is slechts in uitzonderingsgevallen een geheel getal. Is b.v. het aantal mogelijke berichten N = 100, dan is de aan een bepaald bericht verbonden hoeveelheid informatie 2log 100 = 6,64 bits.
In het voorafgaande zijn steeds gevallen besproken, waar het aantal mogelijke berichten eindig is. Er zijn ook gevallen, waar men aanvankelijk de indruk krijgt, dat het oneindig groot is. Iemand, die b.v. weet, dat het tussen 8 uur en 10 min over 8 is, wil precies weten hoe laat het is, en kijkt op de klok. Nu kan de grote wijzer tussen de genoemde grenstijdstippen oneindig veel verschillende standen hebben, en er zijn dus oneindig veel verschillende berichten denkbaar die de klok hem zou kunnen zenden. Intussen is het zo dat zelfs bij een ideaal lopende klok de aflezing maar met een beperkte nauwkeurigheid kan geschieden, b.v. tot op een tiende minuut, en daardoor is er toch weer een beperkt aantal inlichtingen mogelijk. Tot nu toe is steeds verondersteld, dat de N mogelijke berichten een gelijke waarde hebben doordat ze betrekking hebben op toestanden die even vaak optreden.
Dit is echter niet altijd het geval. Beschouwt men nog eens het genoemde ja-neen gezelschapsspel. Hier is stilzwijgend aangenomen, dat elke keer de kans op ja even groot is als de kans op neen. Het is echter duidelijk dat, vooral bij onhandig vragen, de toestand heel anders kan zijn. Als b.v. de proefpersoon die totaal onkundig is van het door hem te raden ding, begint met de vraag: is het het linkeroor van Napoleon?, dan zal het antwoord neen, dat daarop volgt, voor hem praktisch geen betekenis hebben. De hoeveelheid informatie is dan niet 1 bit, maar nauwelijks van 0 verschillend.
Uiteraard leent een dergelijk voorbeeld zich niet voor berekeningen. Dit is wel het geval bij het volgende: op een dagkalender zijn de cijfers voor de zondagen rood, alle andere zwart. Iemand kijkt hiernaar van zo grote afstand, dat hij alleen de kleur ziet, maar geen cijfers of letters kan onderscheiden. Op de vraag: is het vandaag zondag?, geeft de kalender een duidelijk antwoord: rood is ja, zwart is neen. Maar het is duidelijk, dat de antwoorden ja en neen nu niet dezelfde informatieinhoud hebben. Is het ja dan is de hoeveelheid informatie 2log 7 bits.
Is het neen, dan weet men alleen, dat het geen zondag is, maar niet, welke dag wel. De hoeveelheid informatie is nu minder. Hoeveel minder? Zoveel, als de ontbrekende informatie waard is. Dat is dus het aanwijzen van een bepaalde dag uit de zes mogelijke niet-zondagen. Dit is 2log 6 bits. We houden dus over:
2log 7 2log 6 = 2log 7/6 bits.
De gemiddelde verwachte hoeveelheid informatie (ook wel entropie genoemd) bij een enkele ja-neen beslissing is, rekening houdend met het feit, dat het neen zesmaal zo vaak voorkomt als het ja, gelijk aan:
(1/7) 2log 7 + (6/7) 2log (7/6) = ca. 0,6.
De entropie, die dus verkregen wordt door de hoeveelheid informatie voor iedere toestand te vermenigvuldigen met de kans van optreden daarvan en de uitkomsten op te tellen, is een maatstaf voor de overdrachtswaarde van een boodschappensysteem. Men kan laten zien dat de hoogste waarde bereikt wordt door toestanden te onderscheiden die alle een gelijke kans hebben. Bij het vragen naar een bepaalde dag in de week zou men daarom het meest gebaat zijn met een mechanisme dat de vraag ineens kan beantwoorden:
(1/7) 2log 7 + ... + (1/7) 2log 7 = 2log 7 = 2,8.
De informatietheorie wordt ook vaak op levende stelsels toegepast; men tracht dan een indruk te krijgen over het aantal bits, dat een zenuwvezel kan transporteren in een zekere tijd, en over het aantal bits informatie, dat met oog of oor kan worden opgenomen. Wat dit laatste betreft heeft men weer te maken met gevallen, waar strikt genomen oneindig veel berichten mogelijk zijn, die echter niet alle onderscheidbaar zijn. Bij het zien kan men het beeldvlak in oneindig veel stukjes verdelen, die elk licht van bepaalde kleur en intensiteit naar het oog zenden. Er is dan echter een grens aan de fijnheid van de verdeling en aan de onderscheidbaarheid van kleur en lichtsterkte, zodat men toch op een, weliswaar zeer groot, maar toch eindig aantal mogelijkheden terecht komt. Een soortgelijke overweging geldt bij het horen, waar het aantal verschillende toonhoogten en ook het aantal verschillende geluidssterkten onbeperkt is, waarbij echter het aantal onderscheidbare toonhoogten eindig is (men stelt het op ongeveer 1400) terwijl dit ook gezegd kan worden van het aantal onderscheidbare geluidssterkten, dat afhankelijk is van de toonhoogte en gemiddeld op ruim 200 wordt gesteld. Dergelijke toepassingen op levende stelsels moeten evenwel met de nodige voorzichtigheid behandeld worden.
LITT. C.E.Shannon en W.Weaver, The mathematical theory of communication (1949); Van Peursen,Bertels, Nauta, Informatie (1968).
