Приложение Classifier Utility предназначено для оценки точности классификации, достижимой с помощью различных типов классификаторов. Приложение в качестве входных данных принимает файлы формата XML Features с признаковым описанием объектов обучающей и тестовой выборки. Дополнительно на вход может подаваться текстовый файл с истинными метками классов для объектов тестовой выборки (если эти метки не содержатся в XML файле). На основе данных выборок осуществляется построение и тестирование классификаторов нескольких типов. Полученные оценки точности классификации выводятся на экран.
В приложении реализованы следующие методы классификации:
- ν-SVM классификатор (модификация метода опорных векторов, предусматривающая допуск ошибок на обучающей выборке);
- метод k ближайших соседей;
- многослойный персептрон;
- комитет ν-SVM классификаторов, построенных с разными значениями параметра ν;
- классификатор на основе рас-стояния Махаланобиса.
ν-SVM классификатор применим в тех случаях, когда отсутствует априорная информация о линейной разделимости классов, и отличается от классического метода опорных векторов введением в постановку задачу ослабляющих коэффициентов и варьируемого параметра ν.
Значение параметра ν, число k для метода k ближайших соседей и число нейронов скрытого слоя для многослойного персептрона выбираются по результатам 5-кратной перекрестной проверки (англ. cross-validation). Результаты перекрестной проверки отображаются на экране.
Также в приложении Classifier Utility реализовано построение комитета из ν-SVM классификаторов, обученных со значениями ν = 0,1;0,15;…;0,95. Решение о принадлежности объекта к классу принимается после рейтингового голосования членов комитета. Матрица рейтингов оценивается на основе точности прогнозирования классов членами комитета. Точность прогнозирования определяется на объектах обучающей выборки, которая использовалась для построения членов комитета.