Volgens de informatietheorie is dit een logaritmische maatstaf voor het aantal beslissingen, nodig om een bepaalde gebeurtenis uit een eindig aantal onderling exclusieve gebeurtenissen te selecteren. In dit verband dient men de aanduiding ’gebeurtenis’ te zien in het kader van de waarschijnlijkheidsleer.
Zo kan een gebeurtenis de aanwezigheid van een bepaald element van een reeks of een bepaald teken of woord op een gegeven positie van een bericht zijn.
