Інформація та її характеристики Ентропія. Ентропія (теорія інформації). Перешкодостійке кодування. Коди Хеммінгу
Інформаційна ентропія- міра невизначеності або непередбачуваності деякої системи (у статистичній фізиці або теорії інформації), зокрема невизначеність появи будь-якого символу первинного алфавіту. В останньому випадку за відсутності інформаційних втрат ентропія чисельно дорівнює кількості інформації на символ повідомлення.
Наприклад, у послідовності літер, що становлять якусь пропозицію російською, різні літери з'являються з різною частотою, тому невизначеність появи для деяких літер менша, ніж для інших. Якщо ж врахувати, що деякі поєднання літер (у цьому випадку говорять про ентропію n (\displaystyle n)-го порядку, див.) зустрічаються дуже рідко, то невизначеність зменшується ще сильніше.
Поняття інформаційної ентропії можна проілюструвати за допомогою демона Максвелла. Концепції інформації та ентропії мають глибокі зв'язки один з одним [ які?] , але, незважаючи на це, розробка теорій у статистичній механіці та теорії інформації зайняла багато років, щоб зробити їх відповідними один одному [ ] .
Ентропія- Це кількість інформації, що припадає на одне елементарне повідомлення джерела, що виробляє статистично незалежні повідомлення.
Енциклопедичний YouTube
1 / 5
✪ Уявлення про ентропію
✪ Що таке Ентропія?
✪ Інформаційна ентропія
✪ Ентропія та другий закон термодинаміки (відео 3) | Енергія| Біологія
✪ Що таке ентропія? Джефф Філліпс #TED-Ed
Субтитри
Отже, ми дали два визначення ентропії як змінного стану. Ентропія позначається буквою S. Відповідно до термодинамічного визначення, зміни в ентропії рівні тепла, що додається, поділеного на температуру, при якій це тепло додається. При цьому якщо температура буде змінюватися в міру додавання тепла (що зазвичай і відбувається), то нам доведеться провести деякі обчислення. І це можна розглядати як математичне, чи статистичне, чи комбінаторне визначення ентропії. Відповідно до цього визначення, ентропія дорівнює помноженому на постійне число натуральному логарифму кількості станів, які може приймати система. І в такому випадку всі стани мають однакову ймовірність. Якщо ми говоримо про неймовірно велику кількість молекул, які можуть мати ще більшу кількість станів, ми можемо припустити, що вони будуть відрізнятися приблизно рівною ймовірністю. Є й трохи складніше визначення – для випадків із ймовірністю різного порядку, проте зараз ми його не стосуватимемося. Тепер, коли ми розглянули ці два визначення, саме час розповісти вам про другий закон термодинаміки. Ось він. Це досить простий закон, який водночас пояснює дуже широкий спектр різноманітних явищ. Відповідно до цього закону, зміни в ентропії у Всесвіті при здійсненні будь-якого процесу завжди будуть більшими за 0 або рівні йому. Тобто коли у Всесвіті щось відбувається, результатом цього стає збільшення ентропії. Це дуже важливий висновок. Давайте подивимося, чи зможемо ми докласти цього закону до конкретних ситуацій і, таким чином, зрозуміти його сенс. Допустимо, у мене є два пов'язані один з одним резервуари. Ось у мене T1. Нехай це буде гарячий резервуар. А ось у нас T2. Це буде холодний резервуар. Що ж, з досвіду ми знаємо… Що відбувається, якщо посудина з гарячою водоюмає спільну стінку із посудиною з холодною водою? Що відбувається у такому разі? Так, температура води у них вирівнюється. Якщо ми говоримо про одну і ту ж речовину, то процес зупиниться приблизно посередині, якщо вони знаходяться в одній фазі. Таким чином, ми маємо справу з передачею тепла від гарячішої речовини до холоднішої. У нас є тепло, Q, яке передається від більш гарячої речовини до холодної. Звичайно, у повсякденній реальності ви не побачите, щоб тепло передавалося від холоднішої речовини до гарячішої. Якщо ви покладете кубик льоду, скажімо, у гарячий чай, то, звичайно, лід не стане холоднішим, а чай – гарячим. Температура обох речовин стане приблизно рівною, тобто по суті – чай віддасть частину тепла льоду. Також ми говоримо про два резервуари, і я припускаю, що їхня температура залишається постійною. Це може статися тільки в тому випадку, якщо обидва вони є нескінченно більшими, чого, звичайно, у реальному світі не існує. В реальному світі T1 знижуватиметься, а T2 – підвищуватиметься. Але давайте подивимося, чи це має відбуватися, згідно з другим законом термодинаміки. Отже, що відбувається тут? Яка чиста зміна ентропії для T1? Згідно з другим законом термодинаміки, зміна ентропії для Всесвіту більша за 0. Але в даному випадку воно одно зміні ентропії для T1, плюс зміна ентропії для… хоча не зовсім так… замість T1 давайте назвемо це просто 1… для системи 1, тобто, ось для цієї гарячої системи плюс зміна ентропії для системи 2. Отже, яка ж зміна ентропії для системи 1? Вона втрачає Q1 за високої температури. Виходить мінус Q (бо система віддає тепло), поділене на T1. Потім ми маємо врахувати тепло, додане системі T2. Отже, додамо Q, поділеного на Т2. У нас вийде зміна ентропії для системи 2, чи не так? Цей резервуар, який має температуру 1, більш високу, втрачає тепло. А резервуар, у якого нижча температура 2 тепло отримує. Чи не буде це вище 0? Давайте трохи подумаємо. Якщо ми розділимо… дозвольте, я перепишу це… Я запишу інакше: Q, поділене на Т2, мінус ось це. Я просто переставляю показники... Мінус Q, поділений на T1. І який же показник тепер більший? T2 чи T1? Що ж, T1 більше, вірно? Тепер, коли ми маємо вищий показник… Якщо ми використовуємо слово «вище», ми маємо на увазі певне порівняння. Отже, T1 вище від цього. При цьому в чисельнику в обох випадках ми маємо те саме число, так? Тобто якщо я візьму, скажімо, 1/2 мінус 1/3, то отримаю показник більший за 0. Цей показник більший від цього, тому що цей має більший знаменник. Ви поділяєте на більшу кількість. Над цим варто подумати. Ви ділите Q на ось це число, а потім віднімає Q, поділене на більше число. Таким чином, ось цей дріб матиме більш низьке абсолютне значення. І вона буде більшою за 0. Відповідно, другий закон термодинаміки підтверджується нашим спостереженням, згідно з яким тепло переходить від гарячого тіла до холодного. Тепер ви можете сказати - гей, Сел, я можу довести, що ти неправий. Ви можете сказати, якщо я поставлю кондиціонер у кімнату… Ось кімната, а ось що зовні. І ви скажете – подивіться, що робить кондиціонер! У кімнаті вже холодно, а надворі вже спекотно. Але що робить кондиціонер? Він робить холодне ще холоднішим, а гаряче – ще гарячішим. Він забирає якесь Q і рухається ось у цьому напрямі. Правильно? Він забирає тепло з холодної кімнати та випускає його в гаряче повітря. І ви кажете – це порушує другий закон термодинаміки. Ви щойно спростували його. Ви заслуговуєте на Нобелівську премію! Але я вам скажу – ви забуваєте один маленький факт. Усередині цього кондиціонера є компресор та двигун, які активно працюють і створюють такий результат. І ось цей двигун, я виокремлю його рожевим, теж випускає тепло. Давайте назвемо Q двигуна. Таким чином, якщо ви хочете розрахувати загальну ентропію, що створюється для всього Всесвіту, це буде ентропія холодної кімнати плюс зміна ентропії для вулиці. Ентропія холодної кімнати плюс зміна ентропії на вулиці. Помітимо тут кімнату... Ви можете сказати – гаразд. Дана зміна ентропії для кімнати, яка віддає тепло, припустимо, що в кімнаті протягом хоча б однієї мілісекунди зберігається постійна температура. Кімната віддає деяке Q за певної температури T1. І потім тут треба поставити мінус потім вулиця отримує деяке тепло при певній температурі T2. І ви скажете: цей показник менший від цього. Тому що знаменник вищий. Тоді це буде негативна ентропія, і ви можете сказати, що це порушує другий закон термодинаміки. Ні! Тут ми повинні врахувати ще один момент: вулиця також отримує тепло від двигуна. Тепло від двигуна, поділеного на вуличну температуру. І я гарантую, що ця змінна, прямо зараз цифр наводити не буду, зробить все це позитивним. Ця змінна перетворить загальну чисту ентропію для Всесвіту на позитивну. А тепер давайте трохи подумаємо, що таке ентропія з точки зору термінології. Під час уроків хімії вчитель нерідко може сказати, що ентропія дорівнює безладу. Це не помилка. Ентропія дорівнює безладу. Це не помилка, адже ентропія – це справді безладдя, але ви повинні бути дуже обережними з визначенням безладдя. Тому що один із найчастіших прикладів говорить: візьмемо чисту кімнату - припустимо, ваша спальня чиста, але потім вона стає брудною. І вони кажуть – погляньте, Всесвіт став безладнішим. У брудній кімнаті більше безладу, ніж у чистій. Але це збільшення ентропії. Так що це не дуже добрий приклад. Чому? Та тому, що чиста та брудна – це лише стан кімнати. А ми пам'ятаємо, що ентропія – це макрозмінні стани. Ви використовуєте її для опису системи, коли у вас немає настрою сидіти тут і розповідати мені, що робить кожна частка. І це макрозмінна, яка показує, скільки часу потрібно, щоб розповісти мені про те, що робить кожна частка. Ця змінна вказує на те, скільки станів існує в даному випадку або скільки інформації про стани я хотів би від вас отримати. У випадку з чистою та брудною кімнатою у нас є лише два різні стани однієї і тієї ж кімнати. Якщо в кімнаті тримається однакова температура і є однакова кількість молекул і так далі, вона матиме однакову ентропію. Отже, коли кімната стає бруднішою, ентропія не збільшується. Наприклад, маю брудна холодна кімната. Допустимо, я увійшов до цієї кімнати і доклав чимало зусиль, щоб забратися в ній. Так я додаю в систему порцію тепла, і молекули мого поту розлітаються по всій кімнаті - відповідно, в ній з'являється більше вмісту, і вона стає теплішою, перетворюючись на гарячу, чисту кімнату з крапельками поту. Цей вміст можна скомпонувати великою кількістю способів, і оскільки в кімнаті жарко, кожна молекула в ній може прийняти більше станів, так? Оскільки середня кінетична енергія висока, можна спробувати з'ясувати, якою кількістю кінетичних енергій може мати кожна молекула, а потенціалі ця кількість може бути досить великим. По суті це і є збільшення ентропії. Від брудної, холодної кімнати – до гарячої та чистої. І це досить добре узгоджується з тим, що нам відомо. Тобто коли я входжу в кімнату і починаю забиратися в ній, я приношу тепло. І Всесвіт стає більшим... Вважаю, ми можемо сказати, що ентропія збільшується. То де ж тут безладдя? Допустимо, у мене є м'яч, і він падає на землю і вдаряється об неї. І тут ми маємо поставити питання, яке постійно задається з часів відкриття першого закону термодинаміки. Щойно м'яч ударився об землю… М'яч ударяється об землю, чи не так? Я його покинув: у його верхній частині є певна потенційна енергія, яка потім перетворюється на кінетичну енергію, і м'яч ударяється об землю, а потім зупиняється. Ось тут і виникає цілком закономірне питання – а що сталося з усією цією енергією? Закон збереження енергії. Куди вона поділася? Просто перед тим, як ударитися об землю, м'яч мав кінетичну енергію, а потім зупинився. Здається, що енергія зникла. Але це не так. Коли м'яч падає, у нього дуже багато... як відомо, все має своє тепло. А що щодо землі? Її молекули вібрували з певною кінетичною енергією та потенційною енергією. А потім і молекули нашого м'яча стали трохи вібрувати. Але їхній рух був, в основному, спрямований вниз, так? Рух більшості молекул м'яча було спрямовано вниз. Коли ж він ударяється об землю, то… дозвольте, я намалюю поверхню м'яча, що стикається із землею. Молекули м'яча в його передній частині будуть виглядати таким чином. І їх чимало. Це тверде тіло. Ймовірно – з ґратчастою структурою. І потім м'яч ударяється об землю. Коли це відбувається… земля – це ще одне тверде тіло… Добре, ось у нас мікростан. Що ж станеться? Ось ці молекули вступлять у взаємодію з цими і передадуть свою кінетичну енергію, спрямовану донизу... Вони передадуть її частинкам землі. І зіткнуться з ними. А коли, скажімо, ось ця частка зіткнеться ось із цією, то вона може рушити в цьому напрямку. А ця частка почне вагатися ось так, туди і назад. Ось ця частка може відштовхнутися від цієї і рушити в цьому напрямку, а потім зіткнутися з цією і рушити ось сюди. А потім, оскільки ось ця частка врізається сюди, ось ця - врізається ось сюди, і оскільки ця ударила ось тут, ось ця - вдаряє тут. З точки зору м'яча, відбувається відносно спрямований рух, але при зіткненні з молекулами землі він починає виробляти кінетичну енергію і створювати рух у різних напрямках. Ось ця молекула зрушить цю ось сюди, а ось ця – рушить сюди. Тепер уже рух не буде спрямованим, якщо у нас буде так багато молекул… я позначу їх іншим кольором… так от, якщо у нас буде багато молекул і всі вони рухатимуться точно в тому самому напрямку, то мікростан буде виглядати як макростан. Все тіло виявиться ось у цьому напрямку. Якщо ж у нас є дуже багато v і всі вони рухаються в різних напрямках То мій м'яч в цілому залишатиметься на місці. У нас може бути така ж кількість кінетичної енергії на молекулярному рівні, але всі вони стикатимуться один з одним. І в даному випадку ми можемо описати кінетичну енергію як внутрішню енергію або як температуру, яка є середньою кінетичною енергією. Таким чином, коли ми говоримо, що світ стає більш безладним, ми думаємо про порядок швидкостей або енергій молекул. Перед тим, як вони будуть упорядковані, молекули можуть трохи вібрувати, але переважно вони будуть падати вниз. Але коли вони зіткнуться із землею, вони все-таки почнуть вібрувати в різних напрямках трохи більше. І земля теж починає вібрувати у різних напрямках. Отже – на рівні мікростану – все стає набагато безладнішим. Є ще одне досить цікаве питання. Існує ще одна ймовірність… Ви можете подумати: «Дивіться, цей м'яч упав і вдарився об землю. Чому він просто не ... чи не може статися так, що молекули землі самі поміняють свій порядок так, щоб належним чином вдарити молекули м'яча? Існує певна ймовірність того, що завдяки безладному руху в якийсь момент часу всі молекули землі просто вдарять молекули м'яча таким чином, щоб він знову підстрибнув вгору». Так це так. Завжди є нескінченно малий шанс того, що це станеться. Існує ймовірність того, що м'яч просто лежатиме на землі… і це дуже цікаво… Вам, ймовірно, доведеться чекати сто мільйонів років, щоб це сталося, якщо це взагалі колись відбудеться… і м'яч може просто підстрибнути вгору. Існує дуже невелика можливість того, що ці молекули безладно вібрують таким чином, щоб упорядкуватися на секунду, а потім м'яч підстрибне. Але ймовірність цього практично дорівнює 0. Отже, коли люди говорять про порядок і безлад, безлад посилюється, тому що тепер ці молекули будуть рухатися в різних напрямках і приймати більшу кількість потенційних станів. І ми це побачили. Як відомо, на певному рівні ентропія виглядає як магічне, але на інших рівнях вона представляється цілком логічною. В одному ролику… гадаю, це був останній ролик… у мене була велика кількість молекул, а потім з'явився цей додатковий простір тут, після чого я прибрав стінку. І ми побачили, що ці молекули… зрозуміло, що були якісь молекули, які відштовхувалися від цієї стінки раніше, бо з цим був пов'язаний певний тиск. Потім, як тільки ми приберемо цю стінку, молекули, які б вдарилися об неї, продовжать рухатися. Зупинити їх нема чому. Рух здійснюватиметься у цьому напрямку. Вони можуть стикатися з іншими молекулами та з цими стінками. Але що стосується цього напрямку, то ймовірність зіткнення, особливо для цих молекул, в принципі дорівнює 0. Тому відбуватиметься розширення і заповнення ємності. Отже, все цілком логічно. Але що найголовніше, другий закон термодинаміки, як ми побачили в цьому ролику, говорить про те саме. Тобто про те, що молекули будуть рухатися та заповнювати ємність. І дуже мала ймовірність того, що всі вони повернуться в упорядкований стан. Звичайно, є певна можливість того, що безладно рухаючись, вони повернуться до цього положення. Але ця ймовірність дуже мала. Більше того, я хочу звернути на це особливу увагу, S – це макростан. Ми ніколи не говоримо про ентропію стосовно окремої молекули. Якщо ми знаємо, що робить окрема молекула, ми не повинні турбуватися про ентропію. Ми маємо думати про систему загалом. Так що якщо ми будемо розглядати всю систему і не звертатимемо уваги на молекули, ми не дізнаємося, що насправді сталося. При цьому ми можемо звернути увагу лише на статистичні властивості молекул. Скільки молекул у нас є, якою є їх температура, їх макродинаміка, тиск… і знаєте що? Ємність, в яку поміщені ці молекули, має більше станів, ніж дрібніша ємність зі стінкою. Навіть якщо раптом усі молекули випадково зберуться ось тут, ми й не дізнаємося, що це сталося, тому що ми не дивимося на мікростан. І це дуже важливо мати на увазі. Коли хтось каже, що брудна кімната відрізняється вищою ентропією, ніж чиста, ми повинні розуміти, що вони розглядають мікростану. А ентропія – це насамперед поняття, пов'язане з макростаном. Ви можете сказати, що кімната відрізняється певним обсягом ентропії. Тобто поняття ентропії пов'язане з кімнатою в цілому, але воно буде корисним лише тоді, коли ви точно не знаєте, що в ній відбувається. У вас є лише загальне уявлення про те, чим заповнена кімната, яка в ній температура, який тиск. Усе це загальні макровластивості. Ентропія ж розповість нам, скільки макростанів може мати ця макросистема. Або скільки інформації, адже існує поняття інформаційної ентропії, скільки інформації я повинен вам надати, щоб ви склали точне уявлення про мікростан системи у відповідний момент часу. Приблизно так. Сподіваюся, це обговорення виявилося хоч трохи корисним для вас і прояснило деякі помилки щодо ентропії, а також допомогло скласти уявлення про те, що це таке насправді. До наступного ролика!
Формальні визначення
Інформаційна двійкова ентропіядля незалежних випадкових подій x (\displaystyle x)з n (\displaystyle n)можливими станами, розподіленими з ймовірностями ( i = 1,. . . , n (\displaystyle i=1,...,n)), розраховується за формулою
H (x) = − ∑ i = 1 n p i log 2 p i . (\displaystyle H(x)=-\sum _(i=1)^(n)p_(i)\log _(2)p_(i).)Ця величина також називається середньою ентропією повідомлення. Величина H i = − log 2 pi (\displaystyle H_(i)=-\log _(2)(p_(i)))називається приватною ентропією, Що характеризує тільки i (\displaystyle i)-e стан. У загальному випадку основа логарифму у визначенні ентропії може бути будь-яким, більшим 1; його вибір визначає одиницю виміру ентропії. Так, найчастіше (наприклад, завдання математичної статистики) зручнішим може бути застосування натурального логарифма.
Таким чином, ентропія системи x (\displaystyle x)є сумою з протилежним знаком усіх відносних частот появи стану (події) з номером i (\displaystyle i), помножених на їх двійкові логарифми . Це визначення для дискретних випадкових подій можна формально розширити для безперервних розподілів, заданих щільністю, розподілу можливостей, однак отриманий функціонал матиме дещо інші властивості (див. диференціальна ентропія).
Визначення за Шенноном
Визначення ентропії Шеннона пов'язане з поняттям термодинамічної ентропії. Больцман і Гіббс виконали велику роботу зі статистичної термодинаміки, яка сприяла прийняттю слова «ентропія» в інформаційну теорію. Існує зв'язок між термодинамічною та інформаційною ентропією. Наприклад, демон-Максвелла також протиставляє термодинамічну ентропію інформації, і отримання будь-якої кількості інформації одно втраченої ентропії.
Визначення за допомогою власної інформації
Також можна визначити ентропію випадкової величини, ввівши попередньо поняття розподілу випадкової величини X (\displaystyle X), що має кінцеву кількість значень:
PX (xi) = pi , pi ⩾ 0 , i = 1 , 2 , … , n (\displaystyle P_(X)(x_(i))=p_(i),\quad p_(i)\geqslant 0,\ ;i=1,\;2,\;\ldots ,\;n) ∑ i = 1 n p i = 1 (\displaystyle \sum _(i=1)^(n)p_(i)=1) I (X) = − log P X (X) . (\displaystyle I(X)=-\log P_(X)(X).)Тоді ентропія визначається як:
H (X) = E (I (X)) = − ∑ i = 1 n p (i) log p (i) . (\displaystyle H(X)=E(I(X))=-\sum _(i=1)^(n)p(i)\log p(i).)Від основи логарифму залежить одиниця виміру кількості інформації та ентропії: біт, нат, тріт або хартлі.
Властивості
Ентропія є кількістю, визначеною у контексті ймовірнісної моделі для джерела даних. Наприклад, кидання монети має ентропію:
У джерела, що генерує рядок, що складається лише з літер «А», ентропія дорівнює нулю: − ∑ i = 1 ∞ log 2 1 = 0 (\displaystyle -\sum _(i=1)^(\infty )\log _(2)1=0), а кількість можливих станіводно: 2 0 = 1 (\displaystyle 2^(0)=1) можливий стан(значення) («А») та від підстави логарифму не залежить.
Це також інформація, яку теж треба враховувати. Прикладом запам'ятовуючих пристроїв у яких використовуються розряди з ентропією рівною нулю, але з кількістю інформаціїрівним 1 можливому стану, тобто. не рівним нулю, є розряди даних, записаних у ПЗУ , в яких кожен розряд має тільки одне можливий стан.
Так, наприклад, досвідченим шляхом можна встановити, що ентропія англійського тексту дорівнює 1,5 біт на символ, що звичайно варіюватиметься для різних текстів. Ступінь ентропії джерела даних означає середнє число бітів елемент даних, необхідних її зашифровки без втрати інформації, при оптимальному кодуванні.
- Деякі біти даних можуть не нести інформації. Наприклад, структури даних часто зберігають надмірну інформацію або мають ідентичні секції незалежно від інформації в структурі даних.
- Кількість ентропії який завжди виявляється цілим числом бітів.
Математичні властивості
- Невід'ємність: H (X) ⩾ 0 (\displaystyle H(X)\geqslant 0).
- Обмеженість: H (X) = − E (log 2 pi) = ∑ i = 1 npi log 2 1 pi = ∑ i = 1 npif (gi) ⩽ f (∑ i = 1 npigi) = log 2 n (\displaystyle H(X)=-E(\log _(2)p_(i))=\sum _(i=1)^(n)p_(i)\log _(2)(\frac (1)(p_ (i)))=\sum _(i=1)^(n)p_(i)f(g_(i))\leqslant f\left(\sum _(i=1)^(n)p_(i )g_(i)\right)=\log _(2)n), що випливає з нерівності Йенсена для увігнутої функції f (g i) = log 2 g i (\displaystyle f(g_(i))=\log _(2)g_(i))і g i = 1 p i (\displaystyle g_(i)=(\frac (1)(p_(i)))). Якщо все n (\displaystyle n)елементів з X (\displaystyle X)рівноймовірні, H (X) = log 2 n (\displaystyle H(X)=\log _(2)n).
- Якщо незалежні, то H (X ⋅ Y) = H (X) + H (Y) (\displaystyle H(X\cdot Y)=H(X)+H(Y)).
- Ентропія - опукла догори функція розподілу ймовірностей елементів.
- Якщо X, Y (\displaystyle X,\;Y)мають однаковий розподіл ймовірностей елементів, то H(X) = H(Y) (\displaystyle H(X)=H(Y)).
Ефективність
Алфавіт може мати імовірнісний розподіл, далекий від рівномірного. Якщо вихідний алфавіт містить n (\displaystyle n)символів, тоді його можна порівняти з «оптимізованим алфавітом», імовірнісний розподіл якого є рівномірним. Співвідношення ентропії вихідного та оптимізованого алфавіту - це ефективністьвихідного алфавіту, яка може бути виражена у відсотках. Ефективність вихідного алфавіту з n (\displaystyle n)символи можуть бути також визначені як його n (\displaystyle n)-Арна ентропія.
Ентропія обмежує максимально можливе стиснення без втрат (або майже без втрат), яке може бути реалізовано при використанні теоретично - типового набору або, на практиці, - кодування Хаффмана, кодування Лемпеля - Зива - Велча або арифметичного кодування.
Варіації та узагальнення
b-арна ентропія
У загальному випадку b-арна ентропія(де bодно 2, 3, …) джерела S = (S , P) (\displaystyle (\mathcal (S))=(S,\;P))з вихідним алфавітом S = ( a 1 , … , a n ) (\displaystyle S=\(a_(1),\;\ldots ,\;a_(n)\))та дискретним розподілом ймовірності P = ( p 1 , … , p n ) , (\displaystyle P=\(p_(1),\;\ldots ,\;p_(n)\),)де p i (\displaystyle p_(i))є ймовірністю ( p i = p (a i) (\displaystyle p_(i)=p(a_(i)))), визначається формулою:
H b (S) = − ∑ i = 1 n p i log b p i . (\displaystyle H_(b)((\mathcal (S)))=-\sum _(i=1)^(n)p_(i)\log _(b)p_(i).)Зокрема, при b = 2 (\displaystyle b=2), ми отримуємо звичайну двійкову ентропію, що вимірюється в бітах. При b = 3 (\displaystyle b=3), ми отримуємо тринарну ентропію, яка вимірюється в тритах (один трит має джерело інформації з трьома рівноймовірними станами). При b = e (\displaystyle b = e), ми отримуємо інформацію, що вимірюється в натах.
Умовна ентропія
Якщо слідування символів алфавіту не незалежно (наприклад, у французькій мові після літери «q» майже завжди слідує «u», а після слова «передовик» у радянських газетах зазвичай слідувало слово «виробництва» або «праці»), кількість інформації, яку несе послідовність таких символів (а, отже, і ентропія), очевидно, є меншою. Для врахування таких фактів використовується умовна ентропія.
Умовною ентропієюпершого порядку (аналогічно для Марківської моделі першого порядку) називається ентропія для алфавіту, де відомі ймовірності появи однієї літери після іншої (тобто, ймовірності дволітерних поєднань):
H 1 (S) = − ∑ ipi ∑ jpi (j) log 2 pi (j) , (\displaystyle H_(1)((\mathcal (S)))=-\sum _(i)p_(i) \sum _(j)p_(i)(j)\log _(2)p_(i)(j),)де i (\displaystyle i)- це стан, що залежить від попереднього символу, і p i (j) (\displaystyle p_(i)(j))- це ймовірність j (\displaystyle j)за умови, що i (\displaystyle i)був попереднім символом.
Наприклад, для російської без літери «е» H 0 = 5 , H 1 = 4,358 , H 2 = 3 , 52 , H 3 = 3 , 01 (\displaystyle H_(0)=5,\;H_(1)=4(,)358,\;H_( 2) = 3 (,) 52, \; H_ (3) = 3 (,) 01) .
Через приватну та загальну умовні ентропії повністю описуються інформаційні втрати при передачі даних у каналі з перешкодами. Для цього застосовуються так звані канальні матриці. Для опису втрат з боку джерела (тобто відомий посланий сигнал) розглядають умовну ймовірність отримання приймачем символу за умови, що був відправлений символ a i (\displaystyle a_(i)). При цьому канальна матриця має такий вигляд:
| b 1 (\displaystyle b_(1)) | b 2 (\displaystyle b_(2)) | … | b j (\displaystyle b_(j)) | … | b m (\displaystyle b_(m)) | |
|---|---|---|---|---|---|---|
| a 1 (\displaystyle a_(1)) | p (b 1 ∣ a 1) (\displaystyle p(b_(1)\mid a_(1))) | p (b 2 ∣ a 1) (\displaystyle p(b_(2)\mid a_(1))) | … | p (b j ∣ a 1) (\displaystyle p(b_(j)\mid a_(1))) | … | p (b m ∣ a 1) (\displaystyle p(b_(m)\mid a_(1))) |
| a 2 (\displaystyle a_(2)) | p (b 1 ∣ a 2) (\displaystyle p(b_(1)\mid a_(2))) | p (b 2 ∣ a 2) (\displaystyle p(b_(2)\mid a_(2))) | … | p (b j ∣ a 2) (\displaystyle p(b_(j)\mid a_(2))) | … | p (b m ∣ a 2) (\displaystyle p(b_(m)\mid a_(2))) |
| … | … | … | … | … | … | … |
| a i (\displaystyle a_(i)) | p (b 1 ∣ a i) (\displaystyle p(b_(1)\mid a_(i))) | p (b 2 ∣ a i) (\displaystyle p(b_(2)\mid a_(i))) | … | p (b j ∣ a i) (\displaystyle p(b_(j)\mid a_(i))) | … | p (b m ∣ a i) (\displaystyle p(b_(m)\mid a_(i))) |
| … | … | … | … | … | … | … |
| a m (\displaystyle a_(m)) | p (b 1 ∣ a m) (\displaystyle p(b_(1)\mid a_(m))) | p (b 2 ∣ a m) (\displaystyle p(b_(2)\mid a_(m))) | … | p (b j ∣ a m) (\displaystyle p(b_(j)\mid a_(m))) | … | p (b m ∣ a m) (\displaystyle p(b_(m)\mid a_(m))) |
Очевидно, ймовірності, розташовані по діагоналі, описують ймовірність правильного прийому, а сума всіх елементів будь-якого рядка дає 1. Втрати, що припадають на сигнал, що передається a i (\displaystyle a_(i)), описуються через приватну умовну ентропію:
H (B ∣ a i) = − ∑ j = 1 m p (b j ∣ a i) log 2 p (b j ∣ a i) . (\displaystyle H(B\mid a_(i))=-\sum _(j=1)^(m)p(b_(j)\mid a_(i))\log _(2)p(b_( j)\mid a_(i)).)Для обчислення втрат під час передачі всіх сигналів використовується загальна умовна ентропія:
H (B ∣ A) = ∑ i p (a i) H (B ∣ a i) . (\displaystyle H(B\mid A)=\sum _(i)p(a_(i))H(B\mid a_(i)).)H (B ∣ A) (\displaystyle H(B\mid A))означає ентропію з боку джерела, аналогічно розглядається H (A ∣ B) (\displaystyle H(A\mid B))- ентропія з боку приймача: замість p (b j ∣ a i) (\displaystyle p(b_(j)\mid a_(i)))всюди вказується p (a i ∣ b j) (\displaystyle p(a_(i)\mid b_(j)))(підсумовуючи елементи рядка можна отримати p (a i) (\displaystyle p(a_(i)))а елементи діагоналі означають ймовірність того, що був відправлений саме той символ, який отриманий, тобто вірогідність правильної передачі).
Взаємна ентропія
Взаємна ентропія або ентропія об'єднанняпризначена для розрахунку ентропії взаємопов'язаних систем (ентропії спільної появи статистично залежних повідомлень) та позначається H (AB) (\displaystyle H(AB)), де A (\displaystyle A)характеризує передавач, а B (\displaystyle B)- Приймач.
Клод Елвуд Шеннон (1916-2001)американський інженер та математик,
засновник теорії інформації,
тобто. теорії обробки, передачі
та зберігання інформації
Клод Шеннонпершим почав інтерпретувати повідомлення і шуми в каналах зв'язку з точки зору статистики, розглядаючи як кінцеві, так і безперервні безлічі повідомлень. Клода Шеннона називають «батьком теорії інформації».
Однією з найвідоміших наукових праць Клода Шеннона є його стаття "Математична теорія зв'язку", Опублікована в 1948 році.
У цій роботі Шеннон, досліджуючи проблему раціональної передачі через зашумлений комунікаційний канал, запропонував ймовірнісний підхід до розуміння комунікацій, створив першу, істинно математичну, теорію ентропії як міри випадковості і ввів міру дискретного розподілу pймовірності на безлічі альтернативних станів передавача та приймача повідомлень.
Шеннон поставив вимоги до вимірювання ентропії і вивів формулу, яка стала основою кількісної теорії інформації:
H(p)
.
Тут n- Число символів, з яких може бути складено повідомлення (алфавіт), H - інформаційна двійкова ентропія .
На практиці значення ймовірностей p iу наведеній формулі замінюють їх статистичними оцінками: p i - відносна частота i-го символу в повідомленні, де N- Число всіх символів у повідомленні, N i- Абсолютна частота i-го символу у повідомленні, тобто. число зустрічальності i-го символу у повідомленні.
У вступі до своєї статті «Математична теорія зв'язку» Шеннон зазначає, що у цій статті він розширює теорію зв'язку, основні положення якої містяться у важливих роботах Найквістаі Хартлі.
Гаррі Найквіст (1889-1976) американський інженер шведського
походження, один із піонерів
теорії інформації
Перші результати Найквіста з визначення ширини частотного діапазону, необхідного передачі інформації, заклали основи подальших успіхів Клода Шеннона у створенні теорії інформації.
У 1928 році Хартлі ввів логарифмічну міру інформації H = K· log 2 N, яку часто називають хартлієвською кількістю інформації
Хартлі належить така важлива теорема про необхідну кількість інформації: якщо в заданій множині M, що складається з Nелементів, міститься елемент x, Про яке відомо тільки те, що він належить цій множині M, те, щоб знайти x, необхідно отримати про цю множину кількість інформації, що дорівнює log 2 Nбіт.
До речі, зазначимо, що назва БІТсталося від англійської абревіатури BIT - BInary digiT. Цей термін вперше був запропонований американським математиком Джоном Тьюкі 1946 року. Хартлі та Шеннон використовували біт як одиницю виміру інформації.
Взагалі, ентропія Шеннона - це ентропія безлічі ймовірностей p 1 , p 2 ,…, p n.
Ральф Вінтон Лайон Хартлі (1888-1970) - американський вчений-електронник
Строго кажучи, якщо X p 1 , p 2 ,…, p n- ймовірності всіх її можливих значень, то функція H (X)задає ентропію цієї випадкової величини, причому, хоча Xі не є аргументом ентропії, можна записувати H (X).
Аналогічно, якщо Y- Кінцева дискретна випадкова величина, а q 1 , q 2 ,…, q m - ймовірності всіх її можливих значень, то цієї випадкової величини можна записувати H (Y)
.
Джон Уайлдер Тьюкі (1915-2000) - американський математик. Тьюкі обрав
біт для позначення одного розряду
у двійковій системі числення
Шеннон назвав функцію H(X)ентропією за порадою Джона фон Неймана.
Нейман переконував: цю функцію слід назвати ентропією «З двох причин. Насамперед, Ваша функція невизначеності була використана в статистичній механіці під цим ім'ям, так що вона вже має ім'я. На другому місці, і що важливіше, ніхто не знає, що таке ентропія насправді, тому в дискусії Ви завжди матимете перевагу».
Слід гадати, що ця порада Неймана не була простим жартом. Швидше за все, і Джон фон Нейман і Клод Шеннон знали про інформаційну інтерпретацію ентропії Больцмана як величину, що характеризує неповноту інформації про систему.
У визначенні Шеннона ентропія- це кількість інформації, що припадає на одне елементарне повідомлення джерела, яке виробляє статистично незалежні повідомлення.
7. Ентропія Колмогорова
Андрій Миколайович Колмогорів (1903-1987) -
радянський учений, один із найбільших
математиків ХХ століття
О.М. Колмогоровимбули отримані фундаментальні результати в багатьох галузях математики, у тому числі в теорії складності алгоритмів та теорії інформації.
Зокрема, йому належить ключова роль у перетворенні теорії інформації, сформульованої Клодом Шенноном як технічної дисципліни, у сувору математичну науку, й у побудові теорії інформації на принципово інший, відмінний від шенноновской, основі.
У своїх роботах з теорії інформації та у галузі теорії динамічних систем О.М. Колмогоров узагальнив поняття ентропії на випадкові ергодичні процеси через граничний розподіл ймовірностей. Щоб зрозуміти зміст цього узагальнення, необхідно знати основні визначення та поняття теорії випадкових процесів.
Значення ентропії Колмогорова (ще званої K-ентропією) задає оцінку швидкості втрати інформації та може інтерпретуватися як міра «пам'яті» системи, або міра швидкості «забуття» початкових умов. Її можна також розглядати як міру хаотичності системи.
8. Ентропія Реньї
Альфред Реньї (1921-1970) - угорський математик, творець
Математичного інституту в Будапешті,
що нині носить його ім'я
Запровадив однопараметричний спектр ентропій Реньї.
З одного боку, ентропія Реньї є узагальнення ентропії Шеннона. А з іншого боку, одночасно з цим вона є узагальненням відстані (розбіжності) Кульбака-Лейблера. Зазначимо, що саме Реньї належить повний доказ теореми Хартлі про необхідну кількість інформації.
Відстань Кульбака-Лейблера(інформаційна дивергенція, відносна ентропія) - це несиметрична міра віддаленості один від одного двох ймовірнісних розподілів.
Зазвичай один із порівнюваних розподілів є «істинним» розподілом, а другий розподіл - передбачуваним (перевіреним) розподілом, що є наближенням першого.
Нехай X, Y- це кінцеві дискретні випадкові величини, для яких області можливих значень належать заданій множині та відомі функції ймовірності: P (X = a i) = p iі P (Y = a i) = q i.
Тоді значення DKL відстані Кульбака-Лейблера обчислюється за формулами
D KL (X, Y) =, D KL (Y, X) = .
У разі абсолютно безперервних випадкових величин X, Y, заданих своїми щільностями розподілу, у формулах для обчислення значення відстані Кульбака-Лейблера суми замінюються на відповідні інтеграли.
Відстань Кульбака-Лейблера завжди є невід'ємною кількістю, при цьому вона дорівнює нулю D KL(X, Y) = 0 тоді і тільки тоді, коли для заданих випадкових величин майже всюди справедлива рівність X = Y.
У 1960 Альфред Реньї пропонує своє узагальнення ентропії.
Ентропія Реньї є сімейством функціоналів для кількісної різноманітності випадковості системи. Реньї визначив свою ентропію як момент порядку α міри ε-розбиття (покриття).
Нехай α - задане дійсне число, яке відповідає вимогам α ≥ 0, α ≠ 1. Тоді ентропія Рені порядку α визначається формулою H α = H α ( X)
, де p i = P (X = x i) - ймовірність події, що полягає в тому, що дискретна випадкова величина Xвиявиться дорівнює своєму відповідному можливому значенню, n- загальна кількість різних можливих значень випадкової величини X.
Для рівномірного розподілу, коли p 1 = p 2 =…= p n =1/n, всі ентропії Реньї рівні H α ( X) = ln n.
Інакше значення ентропій Реньї слабо зменшуються при зростанні значень параметра α. Ентропії Реньї відіграють важливу роль в екології та статистиці як індекси різноманітності.
Ентропія Реньї також важлива в квантовій інформації, вона може бути використана як міра складності.
Розглянемо деякі окремі випадки ентропії Реньї для конкретних значень порядку α:
1. Ентропія Хартлі : H 0 = H 0 (X) = ln n, де n- потужність області можливих значень кінцевої випадкової величини X, тобто. кількість різних елементів, що належать безлічі можливих значень;
2. Інформаційна ентропія Шеннона : H 1 = H 1 (X) = H 1 (p) (визначається як межа при α → 1, яку нескладно знайти, наприклад, за допомогою правила Лопіталя);
3. Кореляційна ентропія або зіткнення ентропії: H 2 = H 2 (X)= - ln ( X = Y);
4. Min-ентропія : H ∞ = H ∞ (X).
Зазначимо, що для будь-якого невід'ємного значення порядку (α ≥ 0) завжди виконуються нерівності H ∞ (X) ≤ H α ( X). Крім того, H 2 (X) ≤ H 1 (X) та H ∞ (X) ≤ H 2 (X) ≤ 2· H ∞ (X).
Альфред Реньї ввів як свої абсолютні ентропії (1.15), він визначив також спектр заходів розбіжностей, узагальнюючих розбіжності Кульбака-Лейбнера.
Нехай α - задане дійсне число, яке відповідає вимогам α > 0, α ≠ 1. Тоді в позначеннях, використаних при визначенні значення D KLвідстані Кульбака-Лейблера, значення розбіжності Реньї порядку визначається формулами
D α ( X, Y)
, D α ( X, Y)
.
Розбіжність Реньї також називають alpha-розбіжністю або α-дивергенцією. Сам Реньї використовував логарифм на основі 2, але, як завжди, значення підстави логарифму абсолютно неважливо.
9. Ентропія Тсаллісу
Константино Тсалліс (нар. 1943) - бразильський фізик
грецького походження
У 1988 році запропонував нове узагальнення ентропії, яке є зручним для застосування з метою розробки теорії нелінійної термодинаміки.
Запропоноване ним узагальнення ентропії, можливо, у найближчому майбутньому зможе зіграти істотну роль теоретичної фізики та астрофізики.
Ентропія Тсаллісу Sq, часто звана неекстенсивною (неадитивною) ентропією, визначається для nмікростанів згідно з наступною формулою:
S q = S q (X) = S q (p) = K· , 
.
Тут K- розмірна константа, якщо розмірність грає важливу роль розуміння завдання.
Тсалліс та його прихильники пропонують розвивати «неекстенсивну статистичну механіку та термодинаміку» як узагальнення цих класичних дисциплін на випадок систем з довгою пам'яттю та/або далекодіючими силами.
Від інших різновидів ентропії, зокрема. і від ентропії Реньї, ентропія Тсалліса відрізняється тим, що не є адитивною. Це принципова і важлива відмінність.
Тсалліс та його прихильники вважають, що ця особливість дає можливість побудувати нову термодинаміку та нову статистичну теорію, які способи просто та коректно описувати системи з довгою пам'яттю та системи, в яких кожен елемент взаємодіє не лише з найближчими сусідами, а й з усією системою загалом. чи її великими частинами.
Прикладом таких систем, а тому і можливим об'єктом досліджень за допомогою нової теорії, є космічні системи, що гравітують: зоряні скупчення, туманності, галактики, скупчення галактик і т.п.
Починаючи з 1988 року, коли Константино Тсалліс запропонував свою ентропію, з'явилося значне число додатків термодинаміки аномальних систем (з довжиною пам'яттю та/або дальнодіючими силами), у тому числі і в області термодинаміки систем, що гравітують.
10. Квантова ентропія фон Неймана
Джон (Янош) фон Нейман (1903-1957) американський математик та фізик
угорського походження
Ентропія фон Неймана грає важливу роль у квантовій фізиці та в астрофізичних дослідженнях.
Джон фон Нейманзробив значний внесок у розвиток таких галузей науки, як квантова фізика, квантова логіка, функціональний аналіз, теорія множин, інформатика та економіка.
Він був учасником Манхеттенського проекту з розробки ядерної зброї, одним із творців математичної теорії ігор та концепції клітинних автоматів, а також основоположником сучасної архітектури комп'ютерів.
Ентропія фон Неймана, як і будь-яка ентропія, пов'язані з інформацією: у разі - з інформацією про квантової системі. І в цьому плані вона відіграє роль фундаментального параметра, що кількісно характеризує стан і напрямок еволюції квантової системи.
Нині ентропія фон Неймана широко використовують у різних формах (умовна ентропія, відносна ентропія тощо.) у межах квантової теорії інформації.
Різні заходи заплутаності безпосередньо пов'язані з ентропією фон Неймана. Тим не менш, у Останнім часомвиник ряд робіт, присвячених критиці ентропії Шеннона як міри інформації та можливої її неадекватності, і, отже, неадекватності ентропії фон Неймана як узагальнення ентропії Шеннона.
Проведений огляд (на жаль, швидкий, а часом і недостатньо математично суворий) еволюції наукових поглядів на поняття ентропії дозволяє дати відповіді на важливі питання, пов'язані з істинною сутністю ентропії та перспективами застосування ентропійного підходу у наукових та практичних дослідженнях. Обмежимося розглядом відповідей на два такі питання.
Перше питанняЧи мають між собою численні різновиди ентропії, як розглянуті, так і не розглянуті вище, щось спільне, крім однакової назви?
Це питання виникає природним чином, якщо взяти до уваги ту різноманітність, яка характеризує існуючі різні уявлення про ентропію.
На сьогодні наукове співтовариство не виробило єдиної, визнаної всіма, відповіді на це питання: одні вчені відповідають на це запитання ствердно, інші – негативно, треті – відносяться до спільності ентропій різних видів із помітною часткою сумніву.
Клаузіус, мабуть, був першим вченим, переконаним в універсальному характері ентропії і вважав, що у всіх процесах, що відбуваються у Всесвіті, вона відіграє важливу роль, зокрема, визначаючи їх напрямок розвитку в часі.
До речі, саме Рудольфу Клаузіусу належить одне з формулювань другого початку термодинаміки: «Неможливий процес, єдиним результатом якого була б передача тепла від холоднішого тіла до гарячішого».
Це формулювання другого початку термодинаміки називають постулатом Клаузіуса , А незворотний процес, про який мова йде в цьому постулаті, - процесом Клаузіуса .
З часу відкриття другого початку термодинаміки незворотні процеси відігравали унікальну роль у фізичній картині світу. Так, знаменита стаття 1849 року Вільяма Томпсона, в якій наведено одне з перших формулювань другого початку термодинаміки, називалася «Про універсальну тенденцію в природі до дисипації механічної енергії».
Зазначимо також, що Клаузіус був змушений використовувати космологічний мову: «Ентропія Всесвіту прагне максимуму».
Ілля Романович Пригожин (1917-2003) бельгійсько-американський фізик та
хімік російського походження,
лауреат Нобелівської премії
з хімії 1977 року
До аналогічних висновків дійшов Ілля Пригожин. Пригожин вважає, що принцип ентропії є відповідальним за незворотність часу у Всесвіті і, можливо, відіграє важливу роль у розумінні сенсу часу як фізичного феномену.
На цей час виконано безліч досліджень, і узагальнень ентропії, зокрема і з погляду суворої математичної теорії. Однак помітна активність математиків у цій галузі поки що не затребувана в додатках, за винятком, мабуть, робіт Колмогорова, Реньїі Тсалліса.
Безперечно, ентропія - це завжди міра (ступінь) хаосу, безладдя. Саме різноманітність прояву феномену хаотичності та безладдя обумовлює неминучість різноманітності модифікацій ентропії.
Друге питання: чи можна визнати сферу застосування ентропійного підходу великою чи всі додатки ентропії та другого початку термодинаміки обмежуються самою термодинамікою та суміжними напрямками фізичної науки?
Історія наукового вивчення ентропії свідчить, що ентропія - це наукове явище, відкрите в термодинаміці, а потім успішно перекочував в інші науки і, насамперед, у теорію інформації.
Безперечно, ентропія відіграє важливу роль практично у всіх галузях сучасного природознавства: у теплофізиці, у статистичній фізиці, у фізичній та хімічній кінетиці, у біофізиці, астрофізиці, космології та теорії інформації.
Говорячи про прикладну математику, не можна не згадати про додаток принципу максимуму ентропії.
Як зазначалося, важливими областямиЗастосування ентропії є квантово-механічні та релятивістські об'єкти. У квантовій фізиці та астрофізиці такі застосування ентропії становлять великий інтерес.
Згадаємо лише один оригінальний результат термодинаміки чорних дірок: ентропія чорної діридорівнює чверті площі поверхні (площі горизонту подій).
У космології вважається, що ентропія Всесвіту дорівнює кількості квантів реліктового випромінювання, що припадають на один нуклон.
Таким чином, сфера застосування ентропійного підходу дуже велика і включає найрізноманітніші галузі знання, починаючи з термодинаміки, інших напрямів фізичної науки, інформатики і закінчуючи, наприклад, історією та економікою.
А.В. Сігал, доктор економічних наук, Кримський університет імені В.І. Вернадського
Інформація та ентропія
Обговорюючи поняття інформація, неможливо торкнутися інше суміжне поняття – ентропія. Вперше поняття ентропія та інформація пов'язав К. Шеннон.
| Клод Елвуд Шеннон ( Claude Elwood Shannon), 1916-2001 - далекий родич Томаса Едісона, американський інженер і математик, був співробітником Bell Laboratories з 1941 до 1972 р. У його роботі "Математична теорія зв'язку" (http://cm.bell-labs.com/cm/ms /what/shannonday/), опублікованій 1948 р., вперше визначалася міра інформаційного змісту будь-якого повідомлення та поняття кванта інформації - біта. Ці ідеї стали основою теорії сучасного цифрового зв'язку. Інша робота Шеннона "Communication Theory of Secrecy Systems", опублікована 1949 р., сприяла перетворенню криптографії на наукову дисципліну. Він є засновником теорії інформації, Що знайшла застосування в сучасних високотехнологічних системах зв'язку Шеннон зробив великий внесок у теорію імовірнісних схем, теорію автоматів і теорію систем управління - науки, що об'єднуються поняттям «кібернетика». |
Фізичне визначення ентропії
Вперше поняття ентропії запровадив Клаузіус у 1865 р. як функцію термодинамічного стану системи
де Q – теплота, T – температура.
Фізичний сенс ентропії проявляється як частина внутрішньої енергії системи, яка не може бути перетворена на роботу. Клаузіус емпірично отримав цю функцію, експериментуючи з газами.
Л.Больцман (1872р.) методами статистичної фізики вивів теоретичний вираз ентропії
де К – константа; W – термодинамічна ймовірність (кількість перестановок молекул ідеального газу, що не впливає на макростан системи).
Ентропія Больцмана виведена для ідеального газу і трактується як міра безладу, міра хаосу системи. Для ідеального газу ентропії Больцмана та Клаузіуса тотожні. Формула Больцмана стала настільки знаменитою, що накреслена епітафією на його могилі. Склалося думка, що ентропія і хаос є одне й те саме. Незважаючи на те, що ентропія описує лише ідеальні гази, її некритично стали залучати для більш складних об'єктів.
Сам Больцман у 1886р. спробував з допомогою ентропії пояснити, що таке життя. На думку Больцмана, життя це явище здатне зменшувати свою ентропію. Згідно з Больцманом та його послідовниками, всі процеси у Всесвіті змінюються у напрямку хаосу. Всесвіт іде до теплової смерті. Цей похмурий прогноз довго панував у науці. Проте поглиблення знань про навколишній Світ поступово розхитали цю догму.
Класики не пов'язували ентропію з інформацією.
Ентропія як міра інформації
Зауважимо, що поняття "інформація" часто сприймається як "відомості", а передача інформації здійснюється за допомогою зв'язку. К. Шеннон розглядав ентропію як міру корисної інформації у процесах передачі сигналів по дротах.
Для розрахунку ентропії Шеннон запропонував рівняння, що нагадує класичний вираз ентропії, знайдений Больцманом. Розглядається незалежна випадкова подія xз N можливими станами та p i -ймовірність i-го стану. Тоді ентропія події x
Ця величина також називається середньою ентропією. Наприклад, може йтися про передачу повідомлення природною мовою. Під час передачі різних літер ми передаємо різну кількість інформації. Кількість інформації на літеру пов'язана з частотою вживань цієї літери у всіх повідомленнях, що формуються мовою. Що рідкіснішу літеру ми передаємо, то більше в ній інформації.
Величина
H i = P i log 2 1/P i = -P i log 2 P i ,
називається приватною ентропією, що характеризує лише i-e стан.
Пояснимо на прикладах. При киданні монети випадає орел чи решка, це певна інформація результати кидання.
Для монети число рівноймовірних здібностей N = 2. Можливість випадання орла (решки) дорівнює 1/2.
При киданні кістки отримуємо інформацію про випадання певної кількості очок (наприклад, трьох). В якому випадку ми отримуємо більше інформації?
Для кістки число рівноймовірних можливостей N = 6. Ймовірність випадання трьох очок кістки дорівнює 1/6. Ентропія дорівнює 2.58. Реалізація менш можливої події дає більше інформації. Чим більша невизначеність до отримання повідомлення про подію (кидання монети, кістки), тим більше інформації надходить при отриманні повідомлення.
Такий підхід до кількісного вираження інформації далеко не універсальний, тому що прийняті одиниці не враховують таких важливих властивостей інформації, як її цінність та зміст. Абстрагування від конкретних властивостей інформації (сенс, цінність її) про реальні об'єкти, як надалі з'ясувалося, дозволило виявити загальні закономірності інформації. Запропоновані Шенноном для вимірювання кількості інформації одиниці (біти) придатні для оцінки будь-яких повідомлень (народження сина, результати спортивного матчу тощо). Надалі робилися спроби знайти такі заходи кількості інформації, які б враховували її цінність і сенс. Однак тут же губилася універсальність: для різних процесів різні критерії цінності та сенсу. Крім того, визначення сенсу та цінності інформації суб'єктивні, а запропонована Шенноном міра інформації об'єктивна. Наприклад, запах несе величезну кількість інформації для тварини, але невловимий для людини. Вухо людини не сприймає ультразвукові сигнали, але вони несуть багато відомостей для дельфіна і т. д. Тому запропонована Шенноном міра інформації придатна для дослідження всіх видів інформаційних процесів, незалежно від "смаків" споживача інформації.
Вимірювання інформації
З курсу фізики ви знаєте, що, перш ніж вимірювати значення будь-якої фізичної величини, треба запровадити одиницю виміру. У інформації також є така одиниця - біт, але сенс її різний за різних підходів до визначення поняття “інформація”.
Існує кілька різних підходів до проблеми виміру інформації.
Ентропія (теорія інформації)
Ентропія (інформаційна)- міра хаотичності інформації, невизначеність появи будь-якого символу первинного алфавіту. За відсутності інформаційних втрат чисельно дорівнює кількості інформації на знак повідомлення.
Наприклад, у послідовності літер, що становлять якусь пропозицію російською, різні літери з'являються з різною частотою, тому невизначеність появи для деяких літер менша, ніж для інших. Якщо ж врахувати, що деякі поєднання літер (у цьому випадку говорять про ентропію n-ого порядку, див.) зустрічаються дуже рідко, то невизначеність ще більше зменшується.
Для ілюстрації поняття інформаційної ентропії можна також вдатися наприклад з області термодинамічної ентропії, який отримав назву демона Максвелла. Концепції інформації та ентропії мають глибокі зв'язки один з одним, але, незважаючи на це, розробка теорій у статистичній механіці та теорії інформації зайняла багато років, щоб зробити їх відповідними одна одній.
Формальні визначення
| Визначення за допомогою власної інформації |
|
Також можна визначити ентропію випадкової величини, ввівши попередньо поняття розподілу випадкової величини X, що має кінцеву кількість значень: I(X) = − log P X (X).Тоді ентропія визначатиметься як: Від основи логарифму залежить одиниця виміру інформації та ентропії: біт, нат або хартлі. |
Інформаційна ентропіядля незалежних випадкових подій xз nможливими станами (від 1 до n) розраховується за формулою:
Ця величина також називається середньою ентропією повідомлення. Величина називається приватною ентропією, Що характеризує тільки i-e стан.
Таким чином, ентропія події xє сумою із протилежним знаком всіх творів відносних частот появи події i, помножених на їх двійкові логарифми (підстава 2 обрано тільки для зручності роботи з інформацією, представленої в двійковій формі). Це визначення дискретних випадкових подій можна розширити для функції розподілу ймовірностей.
У загальному випадку b-арна ентропія(де bодно 2, 3, ...) джерела з вихідним алфавітом і дискретним розподілом ймовірності де p iє ймовірністю a i (p i = p(a i) ) визначається формулою:
Визначення ентропії Шеннона пов'язані з поняттям термодинамічної ентропії. Больцман і Гіббс виконали велику роботу зі статистичної термодинаміки, яка сприяла прийняттю слова «ентропія» в інформаційну теорію. Існує зв'язок між термодинамічною та інформаційною ентропією. Наприклад, демон Максвелла також протиставляє термодинамічну ентропію інформації, і отримання будь-якої кількості інформації дорівнює втраченій ентропії.
Альтернативне визначення
Іншим способом визначення функції ентропії Hє доказом, що Hоднозначно визначено (як зазначено раніше), якщо і тільки якщо Hзадовольняє умовам:
Властивості
Важливо пам'ятати, що ентропія є кількістю, визначеною в контексті моделі ймовірності для джерела даних. Наприклад, кидання монети має ентропію − 2(0,5log 2 0,5) = 1 біт одне кидання (за умови його незалежності). У джерела, що генерує рядок, що складається лише з літер «А», ентропія дорівнює нулю: 
. Так, наприклад, досвідченим шляхом можна встановити, що ентропія англійського тексту дорівнює 1,5 біт на символ, що звичайно варіюватиметься для різних текстів. Ступінь ентропії джерела даних означає середнє число бітів елемент даних, необхідних її зашифровки без втрати інформації, при оптимальному кодуванні.
- Деякі біти даних можуть не нести інформації. Наприклад, структури даних часто зберігають надмірну інформацію або мають ідентичні секції незалежно від інформації в структурі даних.
- Кількість ентропії який завжди виявляється цілим числом біт.
Математичні властивості
Ефективність
Вихідний алфавіт, що зустрічається на практиці, має ймовірнісний розподіл, який далекий від оптимального. Якщо вихідний алфавіт мав nсимволів, тоді він можна порівняти з «оптимізованим алфавітом», імовірнісний розподіл якого однорідно. Співвідношення ентропії вихідного та оптимізованого алфавіту – це ефективність вихідного алфавіту, яка може бути виражена у відсотках.
З цього випливає, що ефективність вихідного алфавіту з nсимволами може бути визначена просто як рівна його n-арної ентропії.
Ентропія обмежує максимально можливе стиснення без втрат (або майже без втрат), яке може бути реалізовано при використанні теоретично - типового набору або, на практиці, - кодування Хаффмана, кодування Лемпеля - Зіва - Велча або арифметичного кодування.
Варіації та узагальнення
Умовна ентропія
Якщо слідування символів алфавіту не незалежно (наприклад, у французькій мові після букви «q» майже завжди слідує «u», а після слова «передовик» у радянських газетах зазвичай слідувало слово «виробництва» або «праці»), кількість інформації, яку несе послідовність таких символів (а отже, і ентропія) явно менша. Для врахування таких фактів використовується умовна ентропія.
Умовною ентропією першого порядку (аналогічно для Марківської моделі першого порядку) називається ентропія для алфавіту, де відомі ймовірності появи однієї літери після іншої (тобто ймовірності дволітерних поєднань):
де i- це стан, що залежить від попереднього символу, і p i (j) - це ймовірність j, за умови, що iбув попереднім символом.
Так, для російської мови без літери «».
Через приватну та загальну умовні ентропії повністю описуються інформаційні втрати під час передачі даних у каналі з перешкодами. Для цього застосовуються так звані канальні матриці. Так, для опису втрат з боку джерела (тобто відомий посланий сигнал) розглядають умовну ймовірність отримання приймачем символу b jза умови, що було надіслано символ a i. При цьому канальна матриця має такий вигляд:
| b 1 | b 2 | … | b j | … | b m | |
|---|---|---|---|---|---|---|
| a 1 | … | … | ||||
| a 2 | … | … | ||||
| … | … | … | … | … | … | … |
| a i | … | … | ||||
| … | … | … | … | … | … | … |
| a m | … | … |
Очевидно, ймовірності, розташовані по діагоналі, описують ймовірність правильного прийому, а сума всіх елементів стовпця дасть ймовірність появи відповідного символу на стороні приймача. p(b j) . Втрати, що припадають на сигнал, що передається a i, описуються через приватну умовну ентропію:
Для обчислення втрат під час передачі всіх сигналів використовується загальна умовна ентропія:
означає ентропію з боку джерела, аналогічно розглядається - ентропія з боку приймача: замість всюди вказується (підсумовуючи елементи рядка можна отримати p(a i) а елементи діагоналі означають ймовірність того, що був відправлений саме той символ, який отриманий, тобто вірогідність правильної передачі).
Взаємна ентропія
Взаємна ентропія, або ентропія об'єднання, призначена для розрахунку ентропії взаємопов'язаних систем (ентропії спільної появи статистично залежних повідомлень) та позначається H(AB) , де A, як завжди, характеризує передавач, а B- Приймач.
Взаємозв'язок переданих та отриманих сигналів описується ймовірностями спільних подій p(a i b j) , і для повного описухарактеристик каналу потрібна лише одна матриця:
| p(a 1 b 1) | p(a 1 b 2) | … | p(a 1 b j) | … | p(a 1 b m) |
| p(a 2 b 1) | p(a 2 b 2) | … | p(a 2 b j) | … | p(a 2 b m) |
| … | … | … | … | … | … |
| p(a i b 1) | p(a i b 2) | … | p(a i b j) | … | p(a i b m) |
| … | … | … | … | … | … |
| p(a m b 1) | p(a m b 2) | … | p(a m b j) | … | p(a m b m) |
Для більш загального випадку, коли описується не канал, а просто системи, що взаємодіють, матриця необов'язково повинна бути квадратною. Очевидно, сума всіх елементів стовпця з номером jдасть p(b j) , сума рядка з номером iє p(a i) а сума всіх елементів матриці дорівнює 1. Спільна ймовірність p(a i b j) подій a iі b jобчислюється як добуток вихідної та умовної ймовірності,
Умовні ймовірностівиробляються за формулою Байєса. Таким чином є всі дані для обчислення ентропій джерела та приймача:
Взаємна ентропія обчислюється послідовним підсумовуванням за рядками (або стовпцями) всіх ймовірностей матриці, помножених на їх логарифм:
| H(AB) = − | ∑ | ∑ | p(a i b j)log p(a i b j). |
| i | j |
Одиниця виміру - біт/два символи, це пояснюється лише тим, що взаємна ентропія визначає невизначеність кілька символів - відправленого і отриманого. Шляхом нескладних перетворень також отримуємо
Взаємна ентропія має властивість інформаційної повноти- З неї можна отримати всі аналізовані величини.
Історія
Примітки
Див. також
Посилання
- Claude E. Shannon. A Mathematical Theory of Communication (англ.)
- С. М. Коротаєв.
