Ответы на вопросы и задания по Лекции 4
1. Перечислить основные единицы измерения количества информации и 

    соотношения между ними.
     - Бит - наименьшая (элементарная) единица количества информации,

        соответствующая одному разряду двоичного кода.
     - Байт - основная единица количества информации в компьютерной технике,

        соответствующая восьми битам: 1 байт = 8 бит.
     Единицы измерения информации:

     - 1 б (1 байт);

     - 1 Кб (1 килобайт или часто просто 1 К);

     - 1 Мб (1 мегабайт или часто просто 1 М);

     - 1 Гб (1 гигабайт).

     Между ними существуют следующие соотношения:
     1 Кб = 210 б = 1024 б =~ 1000 б.
     1 Мб = 220 б = 1024 Кб = 1048576 б =~ 1 000 000 б.
     1 Гб = 230 б = 1024 Мб =~ 109 б = 1 000 000 000 б.

2. Определить понятия «глубина сообщения» и «длина сообщения».
     - Глубина сообщения q - количество различных элементов (символов, знаков),

       принятых для представления сообщений. В каждый момент времени реализуется

       только один какой-либо элемент.
     - Длина сообщения n - количество позиций, необходимых и достаточных для

       представления сообщений заданной величины.

3. Как оценивается количество информации по Хартли?
     Чтобы измерить количество информации, содержащееся в сообщении или сигнале, можно воспользоваться так называемой аддитивной мерой Хартли, где N = q n

4. Как оценивается количество информации по Шеннону?
     Количество информации определяется по формуле:
     I= - сумма pi log2 pi,
         где I - количество информации,
     N - количество возможных событий,
     pi - вероятности отдельных событий.

5. Заполнить пропуски числами:
     1) Кбайт= 1024 байт= 8192 бит;
     2) 1,5 Кбайт= 1536 байт= 12288 бит;
     3) Кбайт= 1024 байт=213 бит;
     4) 4 Кбайт= 4096 байт= 32768 бит;
     5) 2 Кбайт=2048 байт=16384 бит;
     6) 0, 001 Кбайт= 1байт= 8 бит.

6. На странице должно быть 30 строк по 60 символов в каждой. Определить

    информационный объем 1 страницы и сколько листов бумаги потребуется для

    распечатки текстового файла размером 50 Кбайт.
     Решение.
     Объем одной страницы равен количеству строк умножить на количество символов

     в строке умножить на информационный вес одного символа:
     V=30*60*1*51200байт= 92160000байт
     Ответ: 92160000байт

7. Сколько страниц текста поместится на дискету объемом 1,44 Мбайт, если на

    странице помещается 38 строк, а в каждой строке 60 символов?
     Решение.
     Объем одной страницы равен количеству строк умножить на количество символов

      в строке умножить на информационный вес одного символа:
     V=38*60*1*1байт=2280 байт
     Для того чтобы найти количество страниц текста, которые уместятся на дискету,

    нужно объем дискеты разделить на информационный объем одной страницы:
    662,26»В=1,44*1024*1024 байт/2280 байт страниц
     Ответ: 662 целых страницы

8. Сообщение занимает 3 страницы по 25 строк. В каждой строке записано по 60

    символов. Сколько символов в использованном алфавите, если все сообщение

    содержит 1125 байтов?
     Решение.
     Для того чтобы найти количество символов в алфавите, необходимо знать

     информационный вес одного символа: А=2i, где A - алфавит, i – информационный

     вес символа.
     Информационный вес символа можно найти, зная объем сообщения и количество

     символов в нем: V=k*i, V – объем сообщения, k – количество символов в

     сообщении.
     Количество символов найдем, зная количество страниц в сообщении, количество

     строк на странице и количество символов в строке.
     1) k=3*25*60=4500 - символов в сообщении.
     2) i=V/k=1125*8 бит/4500=2 бита
     3) А=22=4.
     Ответ: 4 символа в алфавите.

9. В коробке лежат 7 цветных карандашей. Какое количество информации

    содержит сообщение, что из коробки достали красный карандаш?
     Решение.
     Так в коробке все карандаши разные, то события доставания карандашей разного

     цвета равновероятны между собой. Значит, можно воспользоваться формулой:

     I=log2N.
     N – количество карандашей, равно 7.
     3»I=(log27) бит = 2,80735 бит =  бит
     Ответ: 3 бит

10. Сообщение о том, что Петя живет на 10 этаже, несет 4 бита информации.

      Сколько этажей в доме?
      Решение.
      Так как номер этажа, на котором живет Петя в задаче неважен (события

       равновероятны) то, можно воспользоваться формулой: I=log2N.
      I по условию задачи равно 4 бита. N – количество этажей.
      Выразим N=2I = 24=16
      Ответ: в доме 16 этажей

11. Сообщение о том, что Петя живет во втором подъезде, несет 3 бита

       информации. Сколько подъездов в доме?
      Решение.
      Так как номер подъезда, в котором живет Петя в задаче неважен (события

       равновероятны) то, можно воспользоваться формулой: I=log2N.
      I по условию задачи равно 3 бита. N – количество подъездов.
      Выразим N=2I = 23=8
     Ответ: в доме 8 подъездов.

12. На книжном стеллаже 16 полок. Книга может быть поставлена на любую из

      них. Сколько информации содержит сообщение о том, где находится книга?
     Решение:
     1) N= 2 следовательно I=4 бит
     Ответ: 4 бита

13. В алфавите некоторого языка три буквы «А», «Б» и «В». Все слова на этом

      языке состоят из 4 букв. Каков словарный запас этого языка, т.е. сколько

      слов он содержит?
      Решение.
      По условию задачи нам дано: глубина сообщения q – 3 буквы и длина сообщения n

      – 4 буквы. Количество всех возможных сообщений N при заданной глубине и

      длине сообщения определяется по формуле: N=qn.
     Отсюда находим: N=34=81
     Ответ: Словарный запас содержит 81 слово.

14. В алфавите некоторого языка три буквы «А», «Б» и «В». Все слова на этом

      языке состоят из 5 букв. Каков словарный запас этого языка, т.е. сколько

      слов он содержит?
      Решение.
      По условию задачи нам дано: глубина сообщения q – 3 буквы и длина сообщения n

      – 5 буквы. Количество всех возможных сообщений N при заданной глубине и

     длине сообщения определяется по формуле: N=qn.
     Отсюда находим: N=35=243
     Ответ: Словарный запас содержит 243 слова.

15. Информационное сообщение объемом 1,5 килобайта содержит 3072 символа.

      Сколько символов содержит алфавит, при помощи которого было записано

      это сообщение?
      Решение:
     1)1.5 кб=1,5*1024*8=12288 бит
         I
     2) N=2 , V=KI, следовательно, N= 2 = 2 = 16 символов.
     Ответ: 16 символов.

16. В корзине лежат 14 черных и 2 белых шара. Сколько информации несет

      сообщение о том, что из корзины достали белый шар?
     Решение:
     1) N=14+2=16
     2) 2 = следовательно pб.= Kб.:N=2:16= 0,125, следовательно I= 3 бита
     Ответ: 3 бита

17. В корзине лежат белые и черные шары. Белых четыре штуки. Сообщение о

      том, что достали белый шар, несет 3 бита информации. Сколько всего шаров

      в корзине?
      Решение:
     1) 2 = , p=k/N, следовательно, p/1=k/N, следовательно, pN=k и N=k/p
     2) p= поэтому N=4/0,125=32
     Ответ: всего 32 шара

18. Из кошелька с восьмью монетами взяли наугад одну монету. Она оказалась

      достоинством в 1 рубль. И это событие содержит 2 бита информации. Сколько

      в кошельке рублевых монет?
      Решение.
      Вероятность события, что из кошелька вытащили монету достоинством в 1 рубль

      определяется формулой р= , где N- общее число монет в кошельке, k – количество

      рублей в кошельке. Из этой формулы выразим .
      Всего монет в кошельке 8. Для того чтобы найти количество монет достоинством в

      1 рубль, нужно найти вероятность события о том, что достали монету в 1 рубль.
      Найдем вероятность события, что достали монету в 1 рубль. Для этого

      воспользуемся формулой I=log2(1/p). Выразим из этой формулы р: р= , где i –

      количество информации, содержащиеся в сообщении о том, что достали монету в 1

      рубль. По условию задачи i = 2 бита. Найдем р= .
      Теперь подставим найденную вероятность в формулу: k=
      Ответ: в кошельке 2 монеты достоинством в 1 рубль.

19. Чему равно количество бит информации в сообщении "пойманная в пруду

      рыба - карп" если всего в пруду 256 карасей, 44 щуки и 100 карпов?
     Решение.
     Так как количество рыб в пруду разное, то для вычисления количества информации

     воспользуемся формулой, связывающей вероятность события р и количество

     информации в сообщении о нем: I=log2(1/p).
     Всего рыб в пруду 400 .
     1) Найдем вероятности сообщения о том, что пойманная рыба - карп:
         p =
     2) Определим количество информации в данном сообщении: I=log2(1/(1/4))=

         log2(4)=2 бита.
     Ответ: 2 бита.

20. К остановке подходят автобусы с разными номерами. Сообщение о том, что

      подошел автобус №1, несет 5 бит информации. Вероятность появления на

      остановке автобуса №2 в два раза меньше, чем вероятность появления

      автобуса №1. Сколько бит информации несет сообщение о появлении

      автобуса №2?
      Решение.
      Так как вероятности прихода автобусов с номерами 1 и 2 разное, то для

      вычисления количества информации воспользуемся формулой, связывающей

      вероятность события р и количество информациив сообщении о нем: I=log2(1/p).

      Выразим из этой формулы р: р=
     1) Найдем вероятность сообщения о том, что подошел автобус номер 1:
         p1=
     2) Найдем вероятность сообщения о том, что подошел автобус с номером 2. По

         условию задачи известно, что она в 2 раза меньше, чем появление автобуса с

         номером 1. P2=
     3) Определим количество информации в сообщении о том, что подошел автобус с

          номером 2: I=log2(1/(1/64))= log2(64)=6 бит.
     Ответ: 6 бит.