آنتروپی در نظریه اطلاعات معیاری عددی از میزان تصادفی بودن یک متغیر تصادفی است. به عبارت دیگر هرچه آنتروپی یک متغیر تصادفی بیشتر باشد، ابهام ما در مورد آن متغیر تصادفی بیشتر می باشد لذا با مشاهده نتیجه قطعی آن متغیر تصادفی اطلاعات بیشتری بدست می آید پس هرچه آنتروپی یک متغیر تصادفی بیشتر باشد اطلاعات حاصل از مشاهده قطعی آن بیشتر خواهد بود. همچنین آنتروپی یک منبع اطلاعات، حد پایین امید بهترین نرخ فشرده‌سازی بدون اتلاف داده‌ها برای آن منبع است.
آنتروپی هر پیام، مقدار عدم قطعیت آن است. هرچه پیام تصادفی‌تر باشد مقدار آن افزایش ، و هرچه کمتر تصادفی باشد مقدار آن کاهش می‌یابد. بنابراین هرچه یک رویداد، کمتر تصادفی باشد، در زمان رخداد، اطلاعات بیشتری را فراهم می‌کند.
اطلاعات حاصل از مشاهده یک رویداد برابر با منفی لگاریتم احتمال رخ دادن آن تعریف می‌شود؛ به‌طور طبیعی از هر تابع مناسب برای سنجش میزان اطلاعات یک مشاهده انتظاراتی وجود دارد، شامل اینکه اطلاعات حاصل از یک مشاهده مقداری نامنفی باشد. اطلاعات حاصل از مشاهده ی یک رویداد قطعی (یعنی با احتمال یک) صفر باشد و مهمتر از همه اطلاعات حاصل از دو مشاهده ی مستقل برابر با جمع اطلاعات حاصل از مشاهده ی تک تک آن‌ها باشد. می‌توان نشان داد تنها تابعی که سه ویژگی فوق را ارضاء می‌کند تابع منفی لگاریتم احتمال است. میزان اطلاعات با پایه‌های مختلف لگاریتم تنها یک ضریب ثابت با هم اختلاف دارد. متداول‌ترین پایه ی لگاریتم در محاسبه ی اطلاعات ۲ است که اطلاعات را در واحد بیت یا شانون محاسبه می‌کند.
آنتروپی متغیر تصادفی گسسته یX با تابع جرم احتمال( P(X را با نماد (H(X نمایش می‌دهند و به صورت زیر تعریف می‌شود:
در رابطه بالا [E[0تابع امید ریاضی و (I(0 تابع میزان اطلاعات رویداد است. (I(Xتابعی از یک متغیر تصادفی و در نتیجه یک متغیر تصادفی است. b پایه لگاریتم است و مقادیر مختلف آن آنتروپی را در واحدهای متفاوتی محاسبه می‌کند. متداول‌ترین مقادیر برای b، می تواند 2 و e و10 باشد که به ترتیب آنتروپی را در واحدهای بیت و nat و hartley محاسبه می‌کند.
می‌توان آنتروپی X را به صورت باز هم نوشت:
همچنین مقدار
را صفر تعریف می‌کنیم که با
نیز سازگار است.
آنتروپی متغیر تصادفی X به شرط Y با توزیع احتمال مشترک (P(X|Y نیز به صورت زیر تعریف می‌شود:
(H(X|Y میانگین اطلاعات حاصل از مشاهده ی X به شرط اطلاع از Y را نشان می دهد.
تالیف: صبا طاهرپور
منابع: http://chekonim.blogfa.com/post/295 https://en.wikipedia.org/
اولین باشید که نظر می دهید