Qu'est-ce que "l'information"?

"La quantité d'information dans un message est inversement proportionnelle à la probabilité d'apparition de ce message."

Ce n'est pas moi qui le dit mais Claude Shannon, l'inventeur en 1949 de la seule grande théorie de l'information, celle qui a créé le bit et donné naissance à l'informatique.
Si je sais à l'avance ce que tu vas me dire, il n'y a pas d'info! C'est pas beau?
Shannon a même trouvé la formule (ci-dessus) en calculant l'entropie ou logon.L’entropie exprimée en bits est égale à moins la somme des probabilités des diverses éventualités possibles multipliées par le logarithme de base 2 de ces probabilités.Exemple : si je tire à pile ou face, la probabilité p de pile (comme celle de face) est de ½, l’entropie H sera :H = - (1/2 log ½ ) + (1/2 log ½ ) = - 2 (1/2 log ½ ) = - log ½ = 1 bit.Le bit est donc tout simplement la quantité d’information qui émerge dans la réponse « oui » ou « non » à une question ; d’où la naissance de l’informatique qui adore ce genre de réponse par oui ou par non, par 0 ou 1 : dans tel circuit, dans tel composant, le courant passe ou ne passe-t-il pas ? On peut aller très loin dans la réflexion intellectuelle par la succession de réponses en oui ou non ... A suivre...

Comments

[Rédigé par : Baron]

C'est bien joli mais c'est quoi au juste la différence entre communication et information ? Merci de me répondre dans les meilleurs délais, car je suis concernée, voire même impliquée (clin d'oeil)