مفهوم و توضیح آنتروپی Entropy در ریاضیات و یادگیری ماشین

سلام مهدی وقتت بخیر
در تئوری اطلاعات، آنتروپی اطلاعات یا به صورت دقیق‌تر، آنتروپی شانون (از این اسم گرفته شده)، امید ریاضی (میانگین) اطلاعات موجود در هر پیام دریافت شده است. در اینجا «پیام» لزوما متن نیست و هر جریانی از اطلاعات می‌تواند باشد. آنتروپی هر پیام، مقدار عدم قطعیت آن است.
هر چی پیام رندوم تر باشه تصادف بیشتر.
هر چی پیام دقیق و رندوم نباشه مقدارش کمتر میشه.
کلا هر چه یک اتفاقی کمتر تصادفی و رندوم باشه زمان رخداد اطلاعات بیشتری رو فراهم میکنه.

ممنون تشکر
تا حدودی متوجه این موضوع شدم ولی امکانش هست به صورت ساده تر و اگه میشه با یک مثال توضیح بدی؟