Меню
Главная
Авторизация/Регистрация
 
Главная arrow Информатика arrow Автоматизированный системно-когнитивный анализ и его применение для управления социально-экономическими системами в АПК

Алгоритм формирования матрицы абсолютных частот

Объекты обучающей выборки описываются векторами (массивами) имеющихся у них признаков:

Первоначально в матрице абсолютных частот все значения равны нулю. Затем организуется цикл по объектам обучающей выборки. Если у предъявленного объекта, относящегося к j-му классу есть i-й признак, то в терминах программирования:

Здесь можно провести очень интересную и важную аналогию между способом формирования матрицы абсолютных частот и работой многоканальной системы выделения полезного сигнала из шума. Представим себе, что все объекты, предъявляемые для формирования обобщенного образа некоторого класса, в действительности являются различными реализациями одного объекта - "Эйдоса" (в смысле философии Платона), по-разному зашумленного различными случайными обстоятельствами. И наша задача состоит в том, чтобы подавить этот шум и выделить из него то общее и существенное, что отличает объекты данного класса от объектов других классов. Учитывая, что шум чаще всего является "белым" и имеет свойство при суммировании с самим собой стремиться к нулю, а сигнал при этом, наоборот, возрастает пропорционально количеству слагаемых, увеличение объема обучающей выборки приводит к тому, что отношение сигнал/шум в матрице абсолютных частот все время улучшается, т.е. происходит выделение полезной информации из шума. Примерно таким образом мы начинаем постепенно понимать смысл фразы, которую не сразу расслышали по телефону и несколько раз переспрашивали. При этом в повторах шум не позволяет понять то одну, то другую часть фразы, но, в конце концов, за счет использования памяти и интеллектуальной обработки информации мы понимаем ее всю. Так и объекты, описанные признаками, можно рассматривать как зашумленные фразы, несущие нам информацию об обобщенных образах классов - "Эйдосах", к которым они относятся. И эту информацию мы выделяем из шума при синтезе модели.

Для выражения (11):

(14)

Для выражений (12) и (13):

(15)

Для выражений (11), (12) и (13):

(16)

Отметим, что К. Шеннон при выводе своей знаменитой формулы для средневзвешенного количества информации в сообщении, использовал другое, чем (16), выражение для вероятности, считая, что вероятность выборки определенного конкретного i-го символа из множества этих символов, мощностью Ni, составляет:

(а)

Представим себе, что в некотором сообщении i-й символ встречается Ni раз. Тогда при выборке конкретного i-го символа мы по Р.Хартли получаем:

(б)

информации. В среднем же при выборке i-го символа мы получаем:

(в)

Используя в выражении (в) формулу для вероятности выборки конкретного i-го символа (а) получим:

(г)

В выражении (г) для среднего количества информации в i-м символе учтено, что , т.к. . Всего же в сообщении из N символов в среднем будет содержаться:

(д)

Выражение (д) и представляет собой знаменитую формулу К. Шеннона для среднего количества информации в сообщении из N символов.

 
Если Вы заметили ошибку в тексте выделите слово и нажмите Shift + Enter
< Предыдущая   СОДЕРЖАНИЕ   Следующая >
 
Предметы
Агропромышленность
Банковское дело
БЖД
Бухучет и аудит
География
Документоведение
Естествознание
Журналистика
Информатика
История
Культурология
Литература
Логика
Логистика
Маркетинг
Математика, химия, физика
Медицина
Менеджмент
Недвижимость
Педагогика
Политология
Право
Психология
Религиоведение
Социология
Статистика
Страховое дело
Техника
Товароведение
Туризм
Философия
Финансы
Экология
Экономика
Этика и эстетика
Прочее