-
Коефіцієнти Жаккара та IoU
Коефіцієнт Жаккара Коефіцієнт Жаккара (англ. Jaccard index) — метрика оцінки міри схожості скінченних множин, запропонована Полем Жаккаром у 1901 році. Він широко використовується в задачах аналізу даних, машинного навчання, обробки природної мови та комп’ютерного зору для порівняння об’єктів, представлених у вигляді множин або бінарних ознак. Властивості метрики: Приклад розрахунку метрики для тензорів першого та другого…
-
Перехресна ентропія
Продовжуємо серію публікацій які присвячені явищу ентропії в машинному навчанні і сьогодні розглянемо декілька її різновидів які часто використовуються в якості функції втрат (loss function) у задачах багатокласової (multi-class classification) та багатозначної класифікацій (multi-label classification). Попередній допис “Ентропія в інформаційних системах” дозволить вам коротко пригадати явище інформаційної ентропії Шенона. Перехресна ентропія Перехресна ентропія (також можна…
-
Приріст інформації
Приріст інформації, також відомий як розходження інформації – важлива метрика оцінки якості розподілу об’єктів в задачах класифікації та регресії. Обчислення приросту інформації використовується для оцінки якості розбиття даних (split quality) в таких відомих класифікаторах як-от, наприклад, RandomForest (Випадковий Ліс), DecisionTree (Дерево Рішень) поряд із іншими відомими методами, наприклад, Gini Impurity та LogLoss. Читати більше про…
-
Теорема Баєса
Теорема Баєса була вперше запропонована англійським математиком Томасом Баєсом (Thomas Bayes) в 1793 році у праці “An essay towards solving a problem in the doctrine of chances.” та далі розвинута П. Лапласом в його праці “Théorie analytique des probabilités” у 1812 році. Теорема Баєса описує ймовірність події, спираючись на обставини (свідчення), що могли би бути…
-
Eнтропія в інформаційних системах
Поняття інформаційної ентропії було введено Клодом Шенноном у його праці “Математична теорія зв’язку“. Ентропія Шенона слугує визначником (мірилом) невизначеності стану джерела повідомлень (системи). В теорії інформації ентропія системи характеризує середній ступінь невизначеності стану цього джерела серед усіх можливих її станів. Існують й інші види ентропії як от, наприклад, міні-ентропія яка використовується у криптографії, кросс-ентропія тощо.…