Algorithms and programs for dependencies reconstraction: Contents

MOCKBA - POCTOK | Publications and presentations by Anatoli Michalski | Algorithms and programs for dependencies reconstraction

ЧАСТЬ ПЕРВАЯ         Основы Теории Восстановления Зависимостей по Выборкам Ограниченного Объёма
ЧАСТЬ ВТОРАЯ         Алгоритмы и Программы Распознавания Образов
ЧАСТЬ ТРЕТЬЯ         Алгоритмы и Программы Восстановления Многомерной Регрессии
ЧАСТЬ ЧЕТВЁРТАЯ   Алгоритмы и Программы Восстановления Одномерных Зависимостей
ЧАСТЬ ПЯТАЯ           Работа с Комплексом Программ

Предисловие 3

ЧАСТЬ ПЕРВАЯ
ОСНОВЫ ТЕОРИИ ВОССТАНОВЛЕНИЯ ЗАВИСИМОСТЕЙ
ПО ВЫБОРКАМ ОГРАНИЧЕННОГО ОБЪЁМА

Глава 1. Задачи восстановления зависимостей
§ 1. Задача обучения распознаванию образов 6
§ 2. Задача восстановления регресии 8
§ 3. Задача интерпретации результатов косвенных экспериментов 11
§ 4. Некорректно поставленные задачи 12
§ 5. Задача минимизации среднего риска по эмпирическим данным 16
§ 6. О точности и надежности минимизации риска по эмпирическим данным 17
§ 7. О точности восстановления зависимости по эмпирическим данным 18
§ 8. Особенности задач восстановления зависимостей 21 6

Глава 2. Проблема минимизации среднего риска
§ 1. Проблема больших выбросов 23
§ 2. Априорная информация в задачах восстановления зависимостей
по эмпирическим данным 27
§ 3. Два механизма минимизации среднего риска 29
§ 4. Задача восстановления плотности распределения вероятности 32
§ 5. Равномерная близость эмпирических средних к математическим ожиданиям 35
§ 6. Замечания о двух механизмах минимизации среднего риска
по эмпирическим данным 37
§ 7. Оценка распределения вероятности дискретной случайной величины,
принимающей конечное число значений 39

Глава 3. Методы минимизации эмпирического риска в задаче
восстановления зависимости
§ 1. Метод минимизации эмпирического риска 42
§ 2. Частный случай 43
§ 3. Эпсилон–сеть множества 47
§ 4. Ёмкость множества функций 49
§ 5. Основные теоремы 51
§ 6. Замечания 53

Глава 4. Методы структурной минимизации риска
§ 1. Идея метода структурной минимизации риска 55
§ 2. Оценка "скользящий контроль" 59
§ 3. Эквивалентное представление оценки "скользящий контроль".
J_p(x₁,y₁;...;x_n,y_n)-статистики 61
§ 4. Восстановление индикаторной функции в классе линейных решающих правил 65
§ 5. Восстановление регрессии в классе полиномов 67
§ 6. Использование оценки "скользящий контроль" для восстановления регрессии
в классе линейных по параметрам функций 69
§ 7. Использование оценки среднего риска для восстановления регрессии
в классе линейных по параметрам функций 72
§ 8. Селекция обучающей последовательности 74
§ 9. Некорректные задачи интерпретации результатов косвенных экспериментов 75
§10. Теоремы об интерпретации результатов косвенных экспериментов 77
§11. Несколько общих замечаний 79

Глава 5. Восстановление значений функции в заданных точках
§ 1. Схема минимизации суммарного риска 81
§ 2. Методы структурной минимизации суммарного риска 83
§ 3. Оценка равномерного уклонения частот в двух подвыборках 85
§ 4. Оценка равномерного относмтельного уклонения средних в двух подвыборках 87
§ 5. Восстановление значений индикаторной функции в классе
линейных решающих правил 88
§ 6. Восстановление значений произвольной функции в заданных точках 91
§ 7. Селекция векторов полной выборки 92
§ 8. Восстановление значений индикаторной функции в классе
кусочно–линейных решающих правил 94
§ 9. Восстановление значений произвольной функции в классе
кусочно–линейных функций 96
§10. Локально–линейные алгоритмы восстановления значений индикаторной функции 96
§11. Локально–линейные алгоритмы восстановления значений произвольной функции 99
§12. Замечания о восстановлении значений функции 101
§13. Приложение к главе. Задача таксономии 101
Замечания к теории восстановления зависимостей 104

ЧАСТЬ ВТОРАЯ
АЛГОРИТМЫ И ПРОГРАММЫ РАСПОЗНАВАНИЯ ОБРАЗОВ

Глава 6. Методы обучения распознаванию образов
§ 1. Построение разделяющей гиперплоскости 108
§ 2. Метод максимизации квадратичной формы 111
§ 3. Построение обобщенного портрета 113
§ 4. Проверка качества построенной разделяющей гиперплоскости 117
§ 5. Построение гиперплоскости в оптимальном полпространстве признаков 117
§ 6. Построение кусочно–линейной разделяющей гиперплоскости 118
§ 7. Локально–линейные методы распознавания образов 120
§ 8. Восстановление значений функции в заданных точках в классе
линейных решающих правил 120
§ 9. Восстановление значений функции в классе кусочно–линейных индикаторных функций 122
§10. Локально–линейные методы восстановления значений функции 123
§11. Разбиение значений непрерывного признака на градации 123

Глава 7. Вычислительные процедуры комплекса "обобщенный портрет"
§ 1. Описание алгоритмическог комплекса OP 126
§ 2. Блок VOP 127
§ 3. Алгоритм OP 136
§ 4. Алгоритм SCONT 142
§ 5. Алгоритм NMIN построения разделяющей гиперплоскости в оптимальном
подпространстве признаков 143
§ 6. Алгоритм KLOP построения кусочно–линейной разделяющей поверхности 149
§ 7. LOKOP - локально–линейный алгоритм построения решающего правила 152
§ 8. Алгоритм SUMR восстановления в классе линейных решающих правил
значений индикаторной фуекции в заданных точках 154
§ 9. Алгоритм SUMKL восстановления в классе кусочно–линейных решающих правил
значений индикаторной фуекции в заданных точках 157
§10. Алгоритм SUMLOK восстановления в классе локально–линейных решающих правил
значений индикаторной фуекции в заданных точках 157
§11. Вспомогательные и сервисные алгоритмы 159

Глава 8. Комплекс программ обучения распознаванию образов FOP
§ 1. Описание комплекса FOP 161
§ 2. Управляющая программа FOP 178
§ 3. Базовая конструкция комплекса FOP 189
§ 4. Подпрограмма SCONT 193
§ 5. Подпрограмма NMIN 193
§ 6. Подпрограмма SUMR 195
§ 7. Подпрограмма KLOP 196
§ 8. Подпрограмма LOKOP 200
§ 9. Подпрограмма COEMA 202
§10. Подпрограмма GRAD 205
§11. Типовые задания 210
§12. Тестовые примеры 217

Глава 9. Тексты программ комплекса FOP
§ 1. Текст программы FOP 232
§ 2. Текст программы SCONT 285
§ 3. Текст программы NMIN 291
§ 4. Текст программы KLOP 306
§ 5. Текст программы LOKOP 317
§ 6. Текст программы SUMR 329
§ 7. Текст программы COEMA 344
§ 8. Текст программы GRAD 350
§ 9. Текст программы RAPR 365

Добавление. Минимизация среднего риска в классе кусочно–постоянных
решающих правил
§ 1. Особенности минимизации риска в классе классе кусочно–постоянных
решающих правил 367
§ 2. Алгоритм восстановления значений индикаторной функции 373
§ 3. Программа REKTOR 375
§ 4. Текст программы REKTOR 378

ЧАСТЬ ТРЕТЬЯ
АЛГОРИТМЫ И ПРОГРАММЫ ВОССТАНОВЛЕНИЯ
МНОГОМЕРНОЙ РЕГРЕССИИ

Глава 10. Алгоритмы восстановления многомерной регрессии
§ 1. Восстановление многомерной регрессии методом структурной минимизации 387
§ 2. Линейная оценка регрессии. Алгоритмы ЛИР и ЛИР–3 389
§ 3. Линейная оценка многомерной регрессии с селекцией выборки.
Алгоритмы ЛИРС и ЛИРС–3 391
§ 4. Пошаговая линейная оценка регрессии. Алгоритмы ПОР и ПОР–3 393
§ 5. Восстановление регрессии в классе кусрчно–линейных функций.
Алгоритмы КРЕГ и КРЕГ–3 397
§ 6. Локальный алгоритм восстановления значений регрессии (алгоритм ЛОР) 399

Глава 11. Комплект программ ВОЛНА для восстановления многомерной регрессии
§ 1. Методика решения задачи восстановления многомерной регрессии на ЭВМ 401
§ 2. Программа ВВОД 403
§ 3. Подпрограмма MASK 405
§ 4. Программа ВОЛНА. Алгоритмы восстановления регрессии ЛИР, ЛИР–3, ЛИРС, ЛИРС–3,
ПОР и ПОР–3 410
§ 5. Программа ВОЛНА. Алгоритмы восстановления регрессии КРЕГ, КРЕГ–3 и ЛОР 414
§ 6. Диагностические сообщения программ 416
§ 7. Примеры составления пакетов заданий для операционной системы ДОС ЕС 418
§ 8. Замечания по организации вычислений с помощью комплекта программ ВОЛНА 422

Глава 12. Программы восстановления многомерной регрессии
§ 1. Программа ВВОД 424
§ 2. Подпрограмма MASK 427
§ 3. Программа СОВА 429
§ 4. Программа ТАКСОН 432
§ 5. Программа НОРМА и подпрограмма ОКРЕСТНОСТЬ 435
§ 6. Программа ВОЛНА 437
§ 7. Подпрограммы MODMAC, MHK, KPTP и FINPR программы ВОЛНА 441
§ 8. Тестовые примеры 445

Глава 13. Тексты программ восстановления многомерной регрессии
§ 1. Текст программы ВВОД 450
§ 2. Текст подпрограммы DIN 454
§ 3. Текст подпрограммы MASK 455
§ 4. Текст программы СОВА 460
§ 5. Текст программы ТАКСОН 470
§ 6. Текст программы НОРМА 481
§ 7. Текст подпрограммы ОКРЕСТНОСТЬ 483
§ 8. Текст программы ВОЛНА 486

Добавление. Гребневые оценки в задачах распознавания образов и восстановления регрессии
§ 1. Алгоритмы построения гребневых оценок 527
§ 2. Программа ЛИРИСК построения гребневых оценок 530
§ 3. Программа ЛИРИСК. Описание для пользователя 531
§ 4. Программа ЛИРИСК. Описание для программиста 535
§ 5. Текст программы ЛИРИСК. 537

ЧАСТЬ ЧЕТВЁРТАЯ
АЛГОРИТМЫ И ПРОГРАММЫ ВОССТАНОВЛЕНИЯ
ОДНОМЕРНЫХ ЗАВИСИМОСТЕЙ

Глава 14. Алгоритмы восстановления одномерных зависимостей
§ 1. Алгоритмы восстановления одномерной регрессии 557
§ 2. Алгоритмы решения одномерных обратных задач 562
§ 3. Алгоритм ЕС регуляризации системы линейных алгебраических уравнений с выбором
оптимальной величины параметра регуляризации 569

Глава 15. Программы восстановления одномерных зависимостей
§ 1. Программа POLREG для построения полиномиального приближения регрессии 572
§ 2. Программа SPLREG для построения кубического сплайн–приближения регрессии 576
§ 3. Программа SIPORG для построения полиномиального приближения регрессии с
селекцией данных 581
§ 4. Программа SISPRG для построения кубического сплайн–приближения регрессии c
селекцией данных 585

Глава 16. Программы решения одномерных обратных задач интерпретации
результатов косвенных экспериментов
§ 1. Программа POLILL для решения обратных задач в классе полиномов 591
§ 2. Программа SPLILL для решения обратных задач в классе кубических сплайнов 596
§ 3. Программа SIPOLI для решения обратных задач в классе полиномов с одновременной
селекцией данных 602
§ 4. Программа SISPIL для решения обратных задач в классе кубических сплайнов с
одновременной селекцией данных 606
§ 5. Программа REGILL для решения обратных задач методом регуляризации с выбором
оптимальной величины параметра регуляризации 611

Глава 17. Вспомогательные подпрограммы и алгоритмы
§ 1. Подпрограмма–функция PX 606
§ 2. Алгоритм построения фундаментальных кубических сплайнов 606
§ 3. Подпрограмма MATRB 621
§ 4. Подпрограмма SPLNE 622
§ 5. Подпрограмма KERMAT для вычисления матрицы системы линейных уравнений,
соответствующей интегральному уравнению I рода 624

Глава 18. Тексты программ восстановления одномерных зависимостей
§ 1. Подпрограмма POLREG 626
§ 2. Подпрограмма SPLREG 630
§ 3. Подпрограмма SIPORG 636
§ 4. Подпрограмма SISPRG 641
§ 5. Подпрограмма POLILL 648
§ 6. Подпрограмма SPLILL 653
§ 7. Подпрограмма SIPOLI 662
§ 8. Подпрограмма SISPIL 669
§ 9. Подпрограмма REGILL 678
§10. Вспомогательные подпрограммы 684

Добавление. Восстановление плотности вероятности
§ 1. Восстановление функции плотности – некорректная задача 688
§ 2. Метод структурной минимизации риска в задаче восстановления
плотности вероятности 689
§ 3. Программа DENSIT для нахождения оценки функции плотности вероятности по выборке 692
§ 4. Отладочный пример 696
§ 5. Текст программs DENSIT 698

ЧАСТЬ ПЯТАЯ
РАБОТА С КОМПЛЕКСОМ ПРОГРАММ

Глава 19. О задачах восстановления зависимостей
§ 1. Задача построения моделей процессов и явлений 708
§ 2. Задачи распознавания образов 711
§ 3. Задачи восстановления регрессии 723
§ 4. Задачи интерпретации результатов косвенных экспериментов 735

Глава 20. Методика работы с комплексом программ восстановления зависимостей
§ 1. Подготовка исходного материала 751
§ 2. Работа с комплексом программ распознавания образов 757
§ 3. Работа с комплексом программ восстановления многомерной регрессии 776
§ 4. Работа с комплексом программ восстановления одномерных зависимостей 792

Литература 802

ОГЛАВЛЕНИЕ