zinet home
home home
home ИНТЕЛЛЕКТ-ПОРТАЛ
home Стартовал прием материалов в сборник XХХIX-й научной конференции. Требования к публикациям - в разделе "Объявления".

На главную | Объявления | Отчеты предыдущих конференций | История Украины | Контакты

РЕСУРСЫ ПОРТАЛА:

Тридцать восьмая научно-практическая конференция
(23 - 28 мая 2016 г.)


Тридцать седьмая научно-практическая конференция
(19 - 22 апреля 2016 г.)


Тридцать шестая научно-практическая конференция
(29 декабря 2015 - 5 января 2016 г.)


Тридцать пятая научно-практическая конференция
(24-27 ноября 2015 г.)


Тридцать четвертая научно-практическая конференция
(13-17 октября 2015 г.)


Тридцать третья научно-практическая конференция
(20-27 мая 2015 г.)


Тридцать вторая научно-практическая конференция
(2-7 апреля 2015 г.)


Тридцать первая научно-практическая конференция
(25 февраля - 1 марта 2015 г.)


Тридцатая научно-практическая конференция
(19-25 января 2015 г.)


Двадцать девятая международная научно-практическая конференция
(19-25 ноября 2014 г.)


Двадцать восьмая международная научно-практическая конференция
(08-13 октября 2014 г.)


Двадцать седьмая научно-практическая конференция
(20-25 мая 2014 г.)


Двадцать шестая научно-практическая конференция
(7-11 апреля 2014 г.)


Двадцать пятая юбилейная научно-практическая конференция
(3-7 марта 2014 г.)


Двадцать четвертая научно-практическая конференция
(20-25 января 2014 г.)


Двадцать третья научно-практическая конференция
(10-15 декабя 2013 г.)


Двадцать вторая научно-практическая конференция
(4-9 ноябя 2013 г.)


Первая международная научно-практическая конференция
(14-18 мая 2013 г.)


Двадцать первая научно-практическая конференция
(14-18 мая 2013 г.)


Двадцатая научно-практическая конференция
(20-28 апреля 2013 г.)


Девятнадцатая научно-практическая конференция
(26 февряля - 3 марта 2013 г.)


Восемнадцатая научно-практическая конференция
(22-26 декабря 2012 г.)


Семнадцатая научно-практическая конференция
(22-26 октября 2012 г.)


Шестнадцатая научно-практическая конференция
(09-14 апреля 2012 г.)


Пятнадцатая научно-практическая конференция
(01 - 07 марта 2012 г.)


Четырнадцатая научно-практическая конференция
(12-20 декабря 2011 г.)


Тринадцатая научно-практическая конференция
(28 октября - 09 ноября 2011 г.)


Двенадцатая научно-практическая конференция
(28 мая - 06 июня 2011 г.)


Одинадцатая научно-практическая конференция
(26 апреля - 04 мая 2011 г.)


Десятая научно-практическая конференция
(15-23 марта 2011 г.)


Девятая научно-практическая конференция
(27-31 декабря 2010 г.)


Восьмая научно-практическая конференция
(05-12 декабря 2010 г.)


Седьмая научно-практическая конференция
(28 мая - 7 июня 2010 г.)


Шестая научно-практическая конференция
(1-15 апреля 2010 г.)


Пятая научно-практическая конференция
(20-27 мая 2009 г.)


Четвертая научно-практическая конференция
(10-17 апреля 2009 г.)


Третья научно-практическая конференция
(20-27 декабря 2008 г.)


Вторая научно-практическая конференция
(1-7 ноября 2008 г.)


Первая научно-практическая конференция
(10-15 мая 2008 г.)



НАШИ ПАРТНЕРЫ:

Студия веб-дизайна www.zinet.info



Студия ландшафтного дизайна Флора-МК


Уникальное предложение!



Сайт-визитка - теперь
всего за 200 грн!

подробнее>>>



АНАЛІЗ ЕНТРОПІЇ НОРМАЛЬНОГО РОЗПОДІЛУ

 

Казак В.Л.

Україна, м.Чернівці,

Буковинський державний фінансово-економічний університет

 

В статті наведені результати дослідження ентропії нормального розподілу стохастичних величин при використанні ймовірнісної міри на множині інтервалів числової прямої. Отримано та проаналізовано диференціальні та інтегральні функції розподілу інтервалу дискретизації та ентропії нормального розподілу випадкових величин. Визначені основні характеристики отриманих функцій.

 

Кількість інформації, що припадає на одне повідомлення, дістала назву ентропії [1] і визначається законом розподілу стохастичних елементів повідомлення.. При фіксованому значенні дисперсії нормальний розподіл є найбільш випадковим, в тому сенсі, що йому відповідає максимальна ентропія, а при заданій ентропії нормальний розподіл має найменшу серед всіх розподілів випадкової величини дисперсію [2]. Ентропія є основною характеристикою даних отриманого повідомлення . Величина ентропії характеризує степінь невизначеності появи повідомлення [3]. В основі статистичного підходу до визначення величини ентропії може бути постулат про безструктурність елементів - відліків, як складових повідомлення [4]. Безструктурність означає, що один елемент повідомлення відрізняється від іншого тільки порядковим номером.

Дослідження ентропії [5], виявлення її ролі і можливостей використання, є однією з найбільш актуальних проблем, зокрема в теорії вимірювань, математичній статистиці, економіко-математичному моделюванні. Чим більше елементів дискретизації входить в повідомлення, тим більше ентропія. Питання про те, яким має бути елемент дискретизації, щоб грати роль безструктурного елементу , в даний час потребує детального аналізу. Отже проблема в цілому полягає в необхідності проведення математичного аналізу елемента дискретизації та ентропії для забезпечення можливості дослідження як дискретних так і безперервних розподілів стохастичних величин і, в першу чергу, нормального розподілу, як найбільш поширеного в різних галузях.

Для визначення кількості інформації  повідомлення із  елементів використовується [6] логарифмічна функція:

                                                              (1)

Якщо є повна група  дискретних спостережуваних даних  від  до  з відповідними ймовірностями від  до , то кількість інформації, що припадає на одне значення випадкової величини  є ентропія і вона є математичним сподіванням логарифму ймовірності:

.                                           (2)

Розмірність ентропії визначається як математичне сподівання кількості одиниць інформації (біт) на одне значення випадкової величини . Щоб знайти певне значення  із всіх можливих  значень випадкової величини  потрібно витратити кількість інформації в одиницях біт, що визначається формулою (1) або (2). Приймемо, що  дорівнює кількості інтервалів дискретизації  на інтервалі від  до  . Тоді ентропія є мірою, що характеризує всю сукупність значень від  до  з точки зору невизначеності отримання того чи іншого значення . Чим більшою є невизначеність отримання певного , тим більшою буде ентропія. Невизначеність максимальна коли ймовірності вибору кожного  рівні, тобто при :

,                                           (3)

в цьому випадку  , що співпадає з (1).

Ентропія неперервних процесів і явищ розглядається як граничний випадок ентропії дискретного розподілу. Ймовірність того, що  прийме те чи інше значення, характеризується функцією щільності ймовірності - диференціальною функцією розподілу . Кількісну оцінку ентропії при неперервній зміні  отримуємо граничним переходом від суми (3) до інтеграла: 

                                           (4)

де  - елемент ймовірності,  - інтервал змінної , з точністю до якої вона може бути визначена.

Ентропія  є математичним сподіванням логарифма ймовірності , отже після інтегрування для всіх видів розподілу  завжди можна виділити , що є загальною особливістю функцій ентропії різних розподілів . Дійсно, із (4) отримуємо, що повна ентропія дорівнює:

==

==,             (5)

Із (5) слідує, що для всіх законів розподілу випадкової величини  повна ентропія  дорівнює диференціальній ентропії, що залежить тільки від :

,                                             (6)

плюс деякій сталій . Не має сенсу надавати  значення менше рівня шумів, або менше похибки вимірювань, тому що інформація всередині такого інтервалу буде недостовірною [7].

Нормальний розподіл випадкової величини  характеризується щільністю ймовірності:

.                                                  (7)

Параметри  та  є відповідно математичним сподіванням і середнім квадратичним відхиленням випадкової величини Х. Повна ентропія нормального розподілу, згідно (4), дорівнює:

=.             (8)

Якщо ймовірність отримання певних значень  зменшується, то і кількість інформації – ентропії на одне значення  буде зменшуватися, що відповідає зменшенню ймовірності  в (2) та зменшенню елемента ймовірності  в (4). Ентропія , згідно (8), дорівнює мірі невизначеності, нижче якої вона не може бути зменшена, внаслідок неможливості отримання достовірної інформації при певних умовах вимірювання. Ентропія визначається кількістю  інтервалів , що вкладаються на певній довжині  при певному значенні . Значення  випадкової величини , в силу прийнятих умов, знаходяться всередині дискретних інтервалів . Для нормального розподілу: . Якщо , то ентропія згідно (8) дорівнює нулю і це означає, що встановлення  дасть значення ентропії рівне, або менше нуля.

Для нормованого нормального розподілу, коли  та , ймовірність того, що певне  знаходиться в межах діапазону  дорівнює:=, звідки ймовірність того, що випадкова величина приймає значення за межами цього інтервалу дорівнює . Ймовірність того, що випадкова величина перевищує значення , або менше значення  дорівнює половині цієї ймовірності, тобто , що згідно принципу неможливості малоймовірних подій підтверджує практичну відсутність інформації від значень випадкової величини  за межами вказаного діапазону.

При наявності певної вибірки спостережуваних даних  та певній вибірковій дисперсії величина  в (8) може випадково приймати всі можливі значення, що належать проміжку . Подія, яка полягає в тому, що випадкова величина  прийме значення на цьому проміжку достовірна, отже ймовірність цієї події рівна одиниці. Геометрично це означає, що площа криволінійної трапеції, обмеженою віссю  та кривою функції щільності ймовірності  інтервалу дискретизації , дорівнює одиниці:

=.

Знайдемо функцію , для чого спочатку обчислимо значення постійної :

===.

Отже функція щільності ймовірності інтервалу дискретизації  має такий вигляд:

.                   (9)

Тепер можна знайти функцію розподілу ймовірностей  для нормального розподілу:

==.   (10)

Графіки функцій  і  нормального розподілу представлено на рис.1 і рис.2.

 

Рис.1. Функції  для

нормального розподілу випадкової величини.

Рис.2. Функції  для

нормального розподілу випадкової величини .

 

Проаналізуємо функції (9) і (10). Додатні значення  належать діапазону : . Математичне сподівання  дорівнює:

.                                         (11)

Дисперсія  дорівнює:

=.                              (12)

Функція  відповідає всім вимогам щодо функції розподілу. Значення функції належать діапазону : . Функція  зростаюча, тобто , якщо >. Ймовірність того, що випадкова величина  прийме значення в інтервалі , дорівнює приросту функції розподілу  на цьому інтервалі: . Ймовірність того, що  прийме одне визначене значення  дорівнює нулю. Але в результаті дослідження  неодмінно прийме одне із можливих значень і це значення, зокрема, може бути . Якщо всі можливі значення  належать деякому інтервалу , то  при  і  при .

Знайдемо тепер вираз функції  - щільності ймовірності ентропії для нормального розподілу випадкової величини .Спочатку запишемо вираз для функції , оберненої до функції : .       

Значення  можуть мінятися від нуля до . Тоді , та щільність ймовірності ентропії дорівнює =. Знайдемо . . Інтеграл . Отже . Таким чином функція щільності ймовірності ентропії нормального розподілу має такий вигляд:

==.                     (13)

Отримана функція щільності ймовірності ентропії (13) нормально розподіленої випадкової величини  має експоненціальний характер і, очевидно, справедлива для різних розподілів випадкових величин. Це диференціальна функція ймовірності ентропії. Вона приймає значення від = при , до  при . Функція  визначена в першому квадранті, тому інтегральна функція розподілу ймовірності ентропії повинна визначатися як . Після інтегрування отримуємо:

.                               (14)

Інтегральна функція (14) розподілу ймовірності ентропії приймає такі значення:

=                                        (15)

Функція щільності ймовірності ентропії  і функція розподілу ентропії  представлені на рис.3.

 

                            ,

h

Рис 3. Функція щільності ймовірності ентропії  і функція розподілу ентропії .

 

Математичне сподівання ентропії дорівнює:

=.               (16)

Тобто математичне сподівання , або середнє значення  при достатньо великій кількості випробувань, дорівнює .

Дисперсія ентропії дорівнює:

=

=2,081369.                                                                                                                     (17)

Середнє квадратичне відхилення .

Експоненціальна функція  описує випадковий процес Пуассона. Найпростіший пуассонівський процес володіє властивостями стаціонарності, відсутності післядії та ординарності [8]. Інтенсивністю потоку подій в теорії масового обслуговування називають середнє число подій , які зявляються за одиницю часу. Згідно (13) і (14) інтенсивність потоку подій  і дорівнює середньому числу подій, які потрапляють на одиничний інтервал – інтервал дискретизації. Згідно закону експоненціального розподілу вираз (13) означає, що проміжок  між двома послідовними значеннями ентропії, є випадкова величина. Значення функції  на інтервалі  не залежить від попередніх значень , а залежить тільки від величини . Це є характеристична властивість експоненціального закону щільності ймовірності ентропії.

Знайдемо ймовірність  попадання в інтервал  неперервної випадкової величини - ентропії , згідно закону розподілу, що заданий функцією (14):

          (18)

Результат (18) отримуємо і шляхом інтегрування функції щільності ймовірності (13):

Виконаємо перетворення, використовуючи вираз (8):  Отже , звідки:

                                                        (19)

Із отриманого виразу (19) слідує, що добуток інтервалу дискретизації  та , при заданому , є величиною сталою: . Оскільки при заданому , область існування додатної ентропії для нормального розподілу це інтервал [,], то дана константа дорівнює .

Згідно (13): , . Підставимо ці значення в ( 19 ) і отримаємо:

.                                                            (20)

Отримане співвідношення (20) означає, що відношення інтервалів дискретизації дорівнює відношенню відповідних значень функцій щільності ймовірності ентропії.

 

Література

1.      Shannon C.E. A Mathematical Theory of Communication // Bell System Technical Journal. — 1948. — V. 27. — P. 379-423, 623–656. / Шеннон К. Математическая теория связи // К. Шеннон. Работы по теории информации и кибернетике / К. Шеннон. - М.: ИИЛ, 1963. – С.243-332.

2.      Голдман С. Теория информации // С. Голдман. - М.: ИИЛ, 1957.- С. 154-155.

3.      Жураковський Ю.П., Полторак В.П. Теорія інформації та кодування. - Київ: Вища школа, 2001. – C.30.

4.      Уровень организованности перевозочной системы. [Електронный ресурс].- Режим доступа: gruzam.ru/refer/130_10192.php.

5.      Коваленко І.І., Бідюк П.І., Гожий О.П. Інформаційний підхід до систематизації показників узгодженості експертних оцінок. [Електронний ресурс].- Режим доступа: http://lib.kma.mk.ua/pdf/posibnuku/199/23.pdf

6.      Hartley R.V.L. Transmission of Information // BSTJ.- 1928. - V.7 - №3. P.535-536.

7.      Хартли Р.В. Передача информации. // В сб.: Теория информации и ее приложения / Р.В. Хартли. - М.: Физматгиз, 1959. - С. 5-35.

8.      Порфирьев Л.Ф. Основы теории преобразования сигналов в оптико-электронных системах.- Л.: Машиностроение. 1989.- С.52.

9.      Гмурман В.Е. Теория вероятности и математическая статистика / В.Е. Гмурман. - М.: Высшая школа, 2001.- С.214-215.

10.  Лукьянов В.Г. Электронный учебно-методический комплекс: Теоретические основы измерительных и информационных систем. [Электронный ресурс].- Режим доступа: http://it.fitib.altstu.ru/neud/toiit/index.php?doc=teor&module=2

11.  Похибки при вимірах. [Электронный ресурс].- Режим доступа: http://ua-referat.com/%.

12.   Групування даних як метод робастної статистики. [Электронный ресурс].- Режим доступа: Робастність у статистиці Вікіпедія. uk.wikipedia.org/.../Робастність.



Первая научно-практическая конференция
"Инновационный потенциал украинской науки - ХХI век"
(10-15 мая 2008 г.)


(отчет)
Вторая научно-практическая конференция
"Инновационный потенциал украинской науки - ХХI век"
(1-7 ноября 2008 г.)
(отчет)
Третья научно-практическая конференция
"Инновационный потенциал украинской науки - ХХI век"
(20-27 декабря 2008 г.)
(отчет)
Четвертая научно-практическая конференция
(10-17 апреля 2009 г.)
(отчет)
Пятая научно-практическая конференция
(20-27 мая 2009 г.)
(отчет)
Шестая научно-практическая конференция
(1-15 апреля 2010 г.)
(отчет)
Седьмая научно-практическая конференция
(28 мая - 7 июня 2010 г.)
(отчет)
Восьмая научно-практическая конференция
(05-12 декабря 2010 г.)
(отчет)
Девятая научно-практическая конференция
(27-31 декабря 2010 г.)
(отчет)
Десятая научно-практическая конференция
(15-23 марта 2011 г.)
(отчет)
Одинадцатая научно-практическая конференция
(26 апреля 04 мая 2011 г.)
(отчет)
Двенадцатая научно-практическая конференция
(28 мая - 06 июня 2011 г.)
(отчет)
Тринадцатая научно-практическая конференция
(28 октября - 09 ноября 2011 г.)
(отчет)
Четырнадцатая научно-практическая конференция
(12-20 декабря 2011 г.)
(отчет)
Пятнадцатая научно-практическая конференция
(01-07 марта 2012 г.)
(отчет)
Шестнадцатая научно-практическая конференция
(09-14 апреля 2012 г.)
(отчет)
Семнадцатая научно-практическая конференция
(22-26 октября 2012 г.)
(отчет)
Восемнадцатая научно-практическая конференция
(22-26 декабря 2012 г.)
(отчет)
Девятнадцатая научно-практическая конференция
(26 февраля - 3 марта 2013 г.)
(отчет)
Двадцатая научно-практическая конференция
(20-28 апреля 2013 г.)
(отчет)
Двадцать первая научно-практическая конференция
(13-18 мая 2013 г.)
(отчет)
Первая международная научно-практическая конференция
"Перспективные направления отечественной науки - ХХI век"
(13-18 мая 2013 г.)
(отчет)
Двадцать вторая научно-практическая конференция
(4-9 ноября 2013 г.)
(отчет)
Двадцать третья научно-практическая конференция
(10-15 декабря 2013 г.)
(отчет)
Двадцать четвертая научно-практическая конференция
(20-25 января 2014 г.)
(отчет)
Двадцать пятая юбилейная научно-практическая конференция
(3-7 марта 2014 г.)
(отчет)
Двадцать шестая научно-практическая конференция
(7-11 апреля 2014 г.)
(отчет)
Двадцать седьмая научно-практическая конференция
(20-25 мая 2014 г.)
(отчет)
Двадцать восьмая научно-практическая конференция
(08-13 октября 2014 г.)
(отчет)
Двадцать девятая научно-практическая конференция"
(19-25 ноября 2014 г.)
(отчет)
Тридцатая научно-практическая конференция
(19-25 января 2015 г.)
(отчет)
Тридцать первая научно-практическая конференция
(25 февраля - 1 марта 2015 г.)
(отчет)
Тридцать вторая научно-практическая конференция
(2 - 7 апреля 2015 г.)
(отчет)
Тридцать третья научно-практическая конференция
(20 - 27 мая 2015 г.)
(отчет)
Тридцать четвертая научно-практическая конференция
(13 - 17 октября 2015 г.)
(отчет)
Тридцать пятая научно-практическая конференция
(24 - 27 ноября 2015 г.)
(отчет)
Тридцать шестая научно-практическая конференция
(29 декабря 2015 - 5 января 2016 г.)
(отчет)
Тридцать седьмая научно-практическая конференция
(19 - 22 апреля 2016 г.)
(отчет)
Тридцать восьмая научно-практическая конференция
(23 - 25 мая 2016 г.)
(отчет)

На главную | Объявления | Отчеты предыдущих конференций | История Украины | Контакты

Copyright © Zinet.info. Разработка и поддержка сайта - Студия веб-дизайна Zinet.info