إنتروبي (نظرية المعلومات)

إن إنتروبي المعلومات information entropy، غالبًا فقط إنتروبي أو أنتروبيا، هي كمية أساسية في نظرية المعلومات مرتبطة بأي متغير عشوائي، والتي يمكن تفسيرها على أنها متوسط مستوى "المعلومات" أو "المفاجأة" أو "عدم اليقين" المتأصل في النتائج المحتملة للمتغير. تم تقديم مفهوم انتروبيا المعلومات من قبل كلود شانون في ورقته عام 1948 " نظرية رياضية في الاتصال".

الإنتروبي هي القيمة المتوقعة للمعلومات الذاتية، وهي كمية ذات صلة قدمها شانون أيضًا. يقيس المعلومات الذاتية مستوى المعلومات أو المفاجأة المرتبطة بالنتيجة الواحدة المعينة أو حدث متغير عشوائي، في حين أن تقيس انتروبيا كم هو"مفيد" أو "مدهش" المتغير العشوائي كله، الذي بلغت متوسط كل نتائجه المحتملة.

تم إنشاء الإنتروبي في الأصل من قبل شانون كجزء من نظريته في الاتصال، حيث يتكون نظام اتصالات البيانات من ثلاثة عناصر: مصدر البيانات، وقناة اتصال ، وجهاز استقبال. في نظرية شانون، إن "مشكلة الاتصال الأساسية" - كما عبر عنها شانون - هي أن يكون المتلقي قادرًا على تحديد البيانات التي تم إنشاؤها بواسطة المصدر، بناءً على الإشارة التي يتلقاها عبر القناة. نظر شانون في طرق مختلفة لتعمية الرسائل وضغطها ونقلها من مصدر بيانات، وأثبت في نظريته الشهيرة لترميز المصدر أن الإنتروبيا تمثل حدًا رياضيًا مطلقًا حول كيفية ضغط البيانات من المصدر دون ضياع على قناة خالية من التشويش تمامًا. عزز شانون هذه النتيجة بشكل كبير للقنوات الصاخبة في نظرية الترميز ذات القناة الصاخبة .

يمكن تفسير الإنتروبيا أيضًا على أنها متوسط معدل إنتاج المعلومات من خلال مصدر احصائي للبيانات. عندما ينتج مصدر البيانات قيمة احتمالية منخفضة (على سبيل المثال، عند وقوع حدث احتمالية منخفضة)، يحمل الحدث "معلومات" أكثر مما ينتج عندما ينتج مصدر البيانات قيمة احتمالية عالية. يتم تمثيل مفهوم "المعلومات" رسميًا من خلال كمية المعلومات الذاتية لشانون، ويتم أيضًا تفسيرها أحيانًا على أنها "مفاجأة". ثم تصبح كمية المعلومات التي ينقلها كل حدث فردي متغيرًا عشوائيًا قيمته المتوقعة هي إنتروبيا المعلومات.

ليكن المتغير العشوائي ، مع النتائج المحتملة ، لكل منها احتمال انتروبي من على النحو التالي:

حيث هي المعلومات الذاتية المرتبطة بنتيجة معينة؛ هي المعلومات الذاتية للمتغير العشوائي بشكل عام، يعامل كمتغير عشوائي مشتق جديد ؛ و هي القيمة المتوقعة لهذا المتغير العشوائي الجديد، وهي تساوي مجموع المعلومات الذاتية لكل نتيجة، ومرجحة باحتمال حدوث كل نتيجة ؛ و ، أساس اللوغاريتم، هو معلمة جديدة يمكن تعيينها بطرق مختلفة لتحديد اختيار الوحدات لإنتروبيا المعلومات.

يتم قياس انتروبي المعلومات عادة بوحدة البت (وتسمى بدلا من ذلك " شانون")، الموافق أساس 2 في المعادلة المذكورة أعلاه. كما يتم قياسه أحيانًا "بوحدات طبيعية" ( ناتس nats) ، تقابل الأساس e أو الأرقام العشرية (تسمى "dits" أو "bans" أو " hartleys ") ، المقابلة للأساس 10.

تعريف شانون فريد بشكل أساسي من حيث أنه هو الوحيد الذي له خصائص معينة: يتم تحديده بالكامل من خلال التوزيع الاحتمالي لمصدر البيانات، وهو اضافي للمصادر المستقلة، يتم تعظيمه في التوزيع الموحد، يتم تصغيره ( وتساوي الصفر) عندما يكون هناك احتمال بنسبة 100٪ لحدوث حدث واحد فقط، ويطيع نسخة معينة مشتقة من قاعدة سلسلة الاحتمالات. يتم شرح الاشتقاقات البديهية للانتروبيا في الصفحة أدناه.

يتشابه تعريف الإنتروبيا المستخدم في نظرية المعلومات بشكل مباشر مع التعريف المستخدم في الديناميكا الحرارية الإحصائية ، وهي علاقة تم تفصيلها في الصفحة إنتروبي في الديناميكا الحرارية ونظرية المعلومات .

This article is issued from Wikipedia. The text is licensed under Creative Commons - Attribution - Sharealike. Additional terms may apply for the media files.