Задачи и решение по теме количество информации

Урок "Вероятностный подход к определению количества информации".  

 

Количество информации в случае различных вероятностей событий определяется

по формуле Шеннона:
 

  задачи и решение по теме количество информации

 

 

 

где Pi – вероятность i-го события,

N – количество возможных событий

 

 

Формула была предложена в 1948 г.

Клод Шеннон

американский учёный,

(30 апреля 1916 - 24 февраля 2001)

 

 

 

        Существует множество ситуаций, когда возможные события имеют различные вероятности реализации. Рассмотрим примеры таких событий.

1.      При случайном падении бутерброда вероятность падения его маслом вниз (более тяжёлой стороной) больше, чем маслом вверх.

2.      В коробке 20 карандашей, из них 15 красных и 5 чёрных. Вероятность вытащить наугад красный карандаш больше, чем чёрный.

 

        Количество информации в сообщении о некотором событии зависит от его вероятности. Чем меньше вероятность события, тем больше информации оно несёт.
решение         P = K/N, где К – количество случаев реализации одного из исходов события, N – общее число возможных исходов одного из событий  2i = log2(1/p), где i – количество информации, p – вероятность события

 

Задача 1. В коробке 50 шаров, из них 40 белых и 10 чёрных. Определить количество информации в сообщении о вытаскивании наугад белого шара и чёрного шара.

Решение: Вероятность вытаскивания белого шара - P1 = 40/50 = 0,8

Вероятность вытаскивания чёрного шара P2 = 10/50 = 0,2

Количество информации о вытаскивании белого шара  i1 = log2(1/0,8) = log21,25

= log1,25/log2 » 0,32 бит

Количество информации о вытаскивании чёрного шара  i2 = log2(1/0,2) = log25 = log5/log2 » 2,32 бит                                          

Ответ: 0,32 бит;  2,32 бит

 

Задача 2. В озере живут караси и окуни. Подсчитано, что карасей 1500, а окуней - 500. Сколько информации содержится в сообщениях о том, что рыбак поймал карася, окуня, поймал рыбу?

Решение: События поимки карася или окуня не являются равновероятными, так как окуней в озере меньше, чем карасей.

Общее количество карасей и окуней в пруду 1500 + 500 = 2000.

Вероятность попадания на удочку карася

p1 = 1500/2000 = 0,75, окуня p2 – 500/2000 = 0,25.

I1 = log2(1/p1), I1 = log2(1/p2), где I1 и I2 – вероятности поймать карася и окуня соответственно.

I1 = log2(1 / 0,75) » 0,43 бит, I2 = log2(1 / 0,25) » 2 бит – количество информации в сообщении поймать карася и поймать окуня соответственно.

Количество информации в сообщении поймать рыбу (карася или окуня) рассчитывается по формуле Шеннона

I = - p1log2p1 - p2log2p2

I = - 0,75log20,75 - 0,25log20,25 = - 0,75(log0,75/log2)-0,25(log0,25/log2) = 0,604 бит » 0.6 бит.

Ответ: в сообщении содержится 0,6 бит информации

 

 

Вычисление количества информации для равновероятных событий

определяется по формуле Хартли:
 

 

Формула Хартли - частный случай формулы Шеннона

для равновероятных событий:

 

 

где N – число возможных событий,

i – количество информации в битах.

 

 

Формула была предложена Р. Хартли в 1928 г.

 

Ральф Хартли

американский инженер,

30 ноября 1888 г - 1 мая 1970 г

 

 

 

Задача 1. В коробке 32 карандаша, все карандаши разного цвета. Наугад вытащили красный. Какое количество информации при этом было получено?

Решение: Так как вытаскивание карандаша любого цвета из имеющихся в коробке 32 карандашей является равновероятным, то число возможных событий равно 32.

N = 32, i =?        N = 2i, 32 = 25, i = 5 бит.

Ответ: 5 бит.

 

Задача 2. В школьной библиотеке 16 стеллажей с книгами, на каждом – по 8 полок. Ученику сообщили, что нужный учебник находится на 2-ой полке 4-го стеллажа. Какое количество информации получил ученик?

Решение.

1) Число стеллажей (случаев) – 16.

          N1 = 16, N1 = 2I, 16 = 2I, 16 = 24, I1= 4 бита.

2) Число полок на каждом стеллаже (случаев) – 8,

         N2 = 8, N2 = 2I, 8 = 23, I2 = 3 бит.

3) i = i1 + i2,         i = 4 бита + 3 бита = 7 бит.

Ответ: 7 бит.

 

Задача 3. Загадывают число в диапазоне от 1 до 200. Какое наименьшее количество вопросов надо задать, чтобы наверняка отгадать число. На вопросы можно отвечать только «Да» или «Нет».

Решение: Правильная стратегия состоит в том, чтобы количество вариантов каждый раз уменьшалось вдвое.

Например, загадано число 152.

1 вопрос: Число >100?  Да.

2 вопрос: Число < 150? Нет.

3 вопрос: Число > 175? Нет. и т.д.

……………………………………………

Количество событий в каждом варианте будет одинаково, и их отгадывание равновероятно. N = Ii, 200 = 2i, 7 < i < 8. Т.к. количество вопросов нецелым числом быть не может, то необходимо задать не более 8 вопросов.

Ответ: 8 вопросов


 


Источник: http://informatika.edusite.ru/lezione10_07i.htm



Вероятностный подход к определению количества информации Русский язык пименова 7 класс гдз 2009 год

Задачи и решение по теме количество информации Задачи и решение по теме количество информации Задачи и решение по теме количество информации Задачи и решение по теме количество информации Задачи и решение по теме количество информации Задачи и решение по теме количество информации Задачи и решение по теме количество информации Задачи и решение по теме количество информации