-
Перехресна ентропія
Продовжуємо серію публікацій які присвячені явищу ентропії в машинному навчанні і сьогодні розглянемо декілька її різновидів які часто використовуються в якості функції втрат (loss function) у задачах багатокласової (multi-class classification) та багатозначної класифікацій (multi-label classification). Попередній допис “Ентропія в інформаційних системах” дозволить вам коротко пригадати явище інформаційної ентропії Шенона. Перехресна ентропія Перехресна ентропія (також можна…
-
Кореляція
Кореляція – це статистичний зв’язок між двома біваріантними чи випадковими змінними. Біваріантні дані (bivariate data), також двовимірні дані – це дані з двох змінних, де кожне значення однієї змінної пов’язане зі значенням іншої змінної. Визначення міри асоціативності таких змінних залежить від природи даних. Так, наприклад, для категорійних даних використовують таблиці спряженості. Натомість для аналізу кількісних…
-
Теорема Баєса
Теорема Баєса була вперше запропонована англійським математиком Томасом Баєсом (Thomas Bayes) в 1793 році у праці “An essay towards solving a problem in the doctrine of chances.” та далі розвинута П. Лапласом в його праці “Théorie analytique des probabilités” у 1812 році. Теорема Баєса описує ймовірність події, спираючись на обставини (свідчення), що могли би бути…
-
Eнтропія в інформаційних системах
Поняття інформаційної ентропії було введено Клодом Шенноном у його праці “Математична теорія зв’язку“. Ентропія Шенона слугує визначником (мірилом) невизначеності стану джерела повідомлень (системи). В теорії інформації ентропія системи характеризує середній ступінь невизначеності стану цього джерела серед усіх можливих її станів. Існують й інші види ентропії як от, наприклад, міні-ентропія яка використовується у криптографії, кросс-ентропія тощо.…