Продовжуємо серію публікацій які присвячені явищу ентропії в машинному навчанні і сьогодні розглянемо декілька її різновидів які часто використовуються в якості функції втрат (loss function) у задачах багатокласової (multi-class classification) та багатозначної класифікацій (multi-label classification). Попередній допис “Ентропія в інформаційних системах” дозволить вам коротко пригадати явище інформаційної ентропії Шенона. Перехресна ентропія Перехресна ентропія (також можна…

Поняття інформаційної ентропії було введено Клодом Шенноном у його праці  “Математична теорія зв’язку“. Ентропія Шенона слугує визначником (мірилом) невизначеності стану джерела повідомлень (системи). В теорії інформації ентропія системи характеризує середній ступінь невизначеності стану цього джерела серед усіх можливих її станів. Існують й інші види ентропії як от, наприклад, міні-ентропія яка використовується у криптографії, кросс-ентропія тощо.…