Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего...


^ Способ основных компонент

Пусть имеется матрица , содержащая строк (объектов) и столбцов (признаков). Обозначим через транспонированную матрицу, в какой строчки и столбцы изменяются местами, и положим . Пусть – матрица собственных векторов матрицы , – диагональная матрица ее собственных значений Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... и – единичная матрица. Пусть . Тогда (Кендалл, Стьюарт, 1976):



.

Так как матрица ортогональна, то умножение на нее – это практически поворот осей в многомерном пространстве, сохраняющий эвклидово расстояние меж объектами. Матрица имеет те же Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... размеры, что и , но ее столбцы не коррелируют меж собой. Дисперсии столбцов матрицы являются своими значениями матрицы и диагональными элементами матрицы . Сами столбцы являются линейными комбинациями столбцов матрицы с суммой квадратов коэффициентов Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего..., равной единице, и именуются главными компонентами. Любая компонента имеет дисперсию, очень вероятную из всех линейных композиций, ортогональных предшествующим компонентам. Обработка матрицы способом основных компонент заключается в вычислении матриц , и . Программки вычисления собственных векторов и Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... собственных значений имеются в стандартном математическом обеспечении современных компов (Агеев и др., 1976; Гайдышев, 2001). Если собственные векторы матрицы помножить на квадратные корешки из собственных чисел , то мы получим коэффициенты корреляции меж компонентами и Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... столбцами матрицы , достоверность которых можно определять по стандартным статистическим таблицам.

Матрица именуется матрицей вторых либо смешанных моментов. Если столбцы матрицы центрированы , то матрица именуется ковариационной, а если и нормированы на Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... длину , то корреляционной. Обычно, способу основных компонент предшествует центрирование и нормирование матрицы .

Как мы уже лицезрели, и ранговые и двоичные признаки можно обрабатывать как количественные и совместно с ними, хотя в почти Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... всех руководствах и учебниках утверждается оборотное (Ким, Мьюллер, 1989). Коэффициенты линейной корреляции в данном случае автоматом перебегают в надлежащие ранговые, бисериальные и тетрахорические коэффициенты, как следует, матрица корреляций никогда не будет иметь Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... отрицательных собственных значений, вопреки воззрению М.Кендалла и А.Стьюарта (1976).

Если поменять объекты и признаки местами, то получим транспонированную матрицу . Ее также можно обрабатывать способом основных компонент. Пусть , и - матрицы, приобретенные в итоге Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... таковой обработки и . Тогда:

а) ненулевые собственные значения матриц и равны и их менее ;

б) 1-ые столбцов нормированной матрицы компонент совпадают с первыми p столбцами (своими векторами) матрицы ;

с) 1-ые столбцов нормированной матрицы Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... компонент совпадают с первыми p столбцами (своими векторами) матрицы .

Удобнее обрабатывать матрицу, у которой число столбцов меньше, чем число строк.

Главные составляющие не коррелируют меж собой. Любая из их отвечает Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... за свою долю изменчивости. Потому что сумма дисперсий при поворотах не изменяется, то смысл имеет только толика каждой составляющие. Обычно она выражается в процентах. Главный смысл внедрения основных компонент состоит в том, что 1-ые составляющие Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... могут взять на себя значительную часть общей дисперсии и выявить реальную размерность данных.

Поворот при помощи матрицы , разумеется, не меняет расстояний меж объектами. А вот нормировка основных компонент своими значениями приводит к Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... изменению расстояний. Новое место именуется местом Махаланобиса, а расстояние в нем – расстоянием Махаланобиса. Зачем это делается?

Корреляция меж начальными признаками значит, что признаки в некой мере дублируют друг дружку. Если Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего..., к примеру, корреляция равна 1, то дублируют вполне. В данном случае у нас практически один признак, повторенный два раза. Разумеется, что 2-ой признак никакой новейшей инфы не несет. Но он дает вклад как Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... в расстояние меж объектами, так и в дисперсии основных компонент, в которые заходит. Не считая того, порождается еще одна компонента с нулевой дисперсией, которая начинает приносить проблемы в множественной регрессии и дискриминантном анализе Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего.... Можно, естественно, дублирующий признак просто откинуть, как рекомендуется в неких статистических руководствах. Но, если корреляция меж признаками по модулю меньше 1, то, отбрасывая какой-то из них, мы, вместе с дублируемой, лишаемся и Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... некий уникальной инфы. Дублирование инфы выражается в увеличении дисперсий первых основных компонент и в возникновении новых компонент с малыми и нулевыми дисперсиями. Если пронормировать главные составляющие, то мы уберем это Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... дублирование, сохранив всю нужную информацию.

К огорчению, у этой прекрасной идеи есть очень большой недочет – при переходе в место Махаланобиса нормируются все составляющие, а не только лишь имеющие огромные дисперсии. Это приводит к Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... тому, что необоснованно большой вес получают далекие составляющие с малыми дисперсиями. Мы искусственно увеличиваем масштаб изменчивости по фронтам, которые совсем этого не заслуживают, практически умножаем «шум». На сегодня эта неувязка, невзирая на несколько 10-ов Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... лет исследовательских работ, еще не имеет применимого решения. Практическая рекомендация состоит в том, что необходимо вообщем выкинуть из анализа далекие составляющие с малыми либо нулевыми дисперсиями. Другим практическим выходом из положения является Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... -регрессия (лекция 6).


^ Способ нелинейных основных компонент

В ситуации, когда огромное количество точек в многомерном пространстве по сути укладывается в изогнутое подмножество наименьшей размерности, применимы способы, изложенные в (Principal Manifolds…, 2007)..


^ Поворот осей. Факторный анализ

Время Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... от времени рассредотачивание объектов на плоскости основных компонент, в особенности в случаях, очень отклоняющихся от обычного рассредотачивания, удобнее рассматривать, если плоскость повернуть на некий угол. Но нужно сходу обмолвиться Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего..., что в данном случае оси в общем случае перестают быть ортогональными. В факторном анализе этот прием является главным, потому что в нем ортогональности не требуется вначале. Вот поэтому многие методы факторного анализа Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... начинают с способа основных компонент, а позже добавляют к нему поворот, исходя из каких-то суждений наподобие простоты структуры нагрузок, как в узнаваемых аспектах “варимакс “ либо “квартимакс”. Но суждения могут быть и любые другие Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего..., к примеру, размещение оси в направлении некой увлекательной либо отклоняющейся группы объектов и т.д. На техническом уровне это осуществляется последующим образом. Пусть – угол поворота, а и – векторы нагрузок (собственные векторы Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего..., вклады признаков, веса), надлежащие осям плоскости и . Определим новые оси и новые векторы нагрузок через формулы:









Потому что и , то просто созидать, что и новые векторы нагрузок будут удовлетворять тем же соотношениям Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего.... Потому после поворота можно рассматривать вклады признаков в новые оси точно так же, как и в старенькые (Но в общем случае после поворота корреляции новых компонент с начальными признаками уже не Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... будут пропорциональны коэффициентам векторов нагрузок.) Дисперсии новых компонент будут равны:






^ ЛЕКЦИЯ 4. Внутривыборочная изменчивость

Цель истинной лекции – подробнее разобраться в том, как полезен многомерный анализ как средство поиска био смысла при анализе изменчивости био Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... объектов. Сначала, у нас есть объекты, есть признаки и есть значения признаков для каждого объекта, сведенные в таблицу "объект – признак". Что такое объекты – разъяснять не нужно. От их требуется, чтоб они были био Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... по собственной природе, по другому ни о каком био смысле гласить не придется, и обладали неким внутренним единством. Для определенности – пусть это будут черепа полевок, взятых в одной либо нескольких географических Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... точках. Что такое признаки, тщательно разбиралось в лекции 2. Примерами количественных признаков могут служить промеры черепов, изготовленные штангенциркулем: кондилобазальная длина, длина мозговой части, межглазничная ширина и т.п. Признаки получаются методом внедрения к Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... объектам некой измерительной процедуры, к примеру, сопоставления с неким образцом, и именуются начальными.

Но как быть с признаками, которые получаются методом вычислений из начальных признаков, к примеру, с очень обширно всераспространенными посреди морфологов индексами? Мы Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... знаем, что у био объектов размеры очень варьируют, и желаем избавиться от их воздействия, чтоб учить форму в чистом виде. Потому берем отношение 1-го признака к другому, к примеру, длины Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... мозговой части к кондилобазальной длине, и считаем его новым признаком, имеющим те же права, что и начальные признаки. (Примечание 1. Еще лучше взять логарифм дела, тогда абсолютная величина нового признака не будет зависеть Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... от того, берем ли мы отношение наименьшего признака к большему либо напротив. Примечание 2. Эта операция применима только к признакам, измеренным в шкале отношений. Примечание 3. По воззрению академика А.Д.Александрова (1987) само понятие Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... вещественного (реального) числа подросло из дела длин отрезков).

Имеет ли признак, приобретенный таким макаром, био смысл? Хоть какой систематик ответит на этот вопрос утвердительно, исходя из долголетнего опыта собственной науки. Можно Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... ли вычислить, к примеру, его наследуемость? А почему бы и нет, ответит хоть какой генетик, естественно, можно, если нас интересует наследуемость конкретно формы. Является ли новый признак "математической переменной", конкретно не измеряемой никаким Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... инвентарем? Без всякого сомнения. Откуда же у "математической переменной" взялся био смысл? И прямо за этим 2-ой вопрос – а был ли био смысл у начальных признаков и какой конкретно? Ведь то, что мы Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... умеем что-то определять, совсем не значит, что само измерение осмысленно. Ответ находится в зависимости от того, для какой цели мы проводим измерения либо вычисляем новые признаки.

В случае с черепами ответ Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... более либо наименее очевиден. Основной предпосылкой вариабельности промеров черепа в подборках из природных популяций является возрастная изменчивость. Но не единственной. Даже если брать только взрослых особей, к примеру, перезимовавших полевок, либо Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... даже строго одновозрастных лабораторных крыс (Atchley et al., 1981), то более видными все равно будут различия в размерах. Растущему организму проще всего среагировать на любые наружные воздействия либо проявить внутренние отличия от других Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... особей замедлением либо ускорением развития организма в целом либо отдельных его частей. Вычисление индексов исходит из не всегда осознаваемого догадки, что с повышением размеров все промеры растут пропорционально, не меняя формы Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... объекта, которая, таким макаром, является инвариантом. (Более осторожные рассуждения учитывают вероятную аллометрию, но сущность от этого не изменяется). А разница в индексах значит разницу конкретно в форме, которая нередко более увлекательна биологам Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего..., в особенности систематикам, чем разница в размерах. Выходит, что "математическая переменная" может иметь бόльший био смысл, чем те начальные признаки, из которых она вычислена. А они, в свою очередь, служат только вспомогательными, промежными звеньями Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... для заслуги цели.

Перейдем сейчас к многомерному анализу. Каждый объект через значения измеренных у него признаков можно представить в виде точки в многомерном евклидовом пространстве. Каждый признак является в этом пространстве Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... отдельной координатной осью, ортогональной (перпендикулярной) всем остальным. Все объекты образуют в этом пространстве некое "скопление". Координатами точек являются значения признаков. В случае промеров черепа, которые всегда положительны, это "скопление" находится в стороне от Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... начала координат, которое размещено в точке с нулевыми значениями всех признаков. Не считая того, некие признаки имеют заранее бόльшие значения, чем другие, к примеру, кондилобазальная длина всегда больше межглазничной ширины, и Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... "скопление" повдоль таких признаков будет более сдвинутым и поболее вытянутым. Вероятна ситуация, когда они отличаются и по размерности, к примеру, если мы будем дополнительно брать вес черепа и нижней челюсти. Потому начальные Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... признаки, обычно, центрируются и нормируются (лекция 2).

После центрирования и нормирования все объекты получают новые координаты – значения центрированных и нормированных признаков. Эти признаки владеют последующим математическим свойством: если взять скалярное произведение Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... всех 2-ух признаков (сумму попарных произведений координат объектов), то она будет равна линейному коэффициенту корреляции меж ними (лекция 3). Положительный коэффициент корреляции значит, что с повышением 1-го признака, обычно, возрастает и другой, отрицательный – что Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... другой миниатюризируется. Другими словами, поведение 1-го признака дает нам некую информацию о поведении другого. Нулевой коэффициент корреляции значит отсутствие линейной статистической связи меж признаками, другими словами при увеличении либо уменьшении Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... 1-го из признаков, другой меняется произвольным образом. Обычно достоверность коэффициента корреляции определяется, исходя из догадки о двумерной нормальности рассредотачивания объектов по исследуемым признакам. Но еще одним из всераспространенных легенд о способе основных компонент Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... является представление о том, что он непременно просит многомерной нормальности рассредотачивания. Это полностью не так. Объекты могут быть распределены как угодно, образовывая одно "скопление" либо несколько хоть какой нелинейной формы, к Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... примеру, в виде подков либо петель, скалярное произведение признаков все равно будет являться линейным коэффициентом корреляции. Нормальность требуется только при определении достоверности коэффициента корреляции и то только поэтому, что мы не умеем Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... ее вычислять в случае других рассредотачиваний. Еще она желательна, но не неотклонима, когда мы трактуем составляющие как действие независящих обстоятельств.

Сейчас перебегаем к самому главному – а есть ли био смысл в рассредотачивании "облака" точек Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего..., представляющих наши объекты в признаковом пространстве, и их обоюдном расположении? То, что таковой смысл есть в рассредотачивании объектов по каждому отдельному признаку, никто не колеблется, потому что обычно конкретно по Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... отдельным признакам ведется содержательный анализ. Но математически оба представления эквивалентны. Геометрически каждый признак представляет собой всего только некое направление, на которое спроецировано многомерное "скопление" объектов. И, напротив, из рассредотачиваний объектов по всем признакам "скопление" восстанавливается Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... совершенно точно. Как следует, содержательный смысл у обоих представлений полностью схож. Разница заключается исключительно в том, что, анализируя признаки по отдельности, мы не лицезреем того общего, что их соединяет воединыжды, а Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... многомерный анализ позволяет окутать всю картину разом, предоставляя для этого некие дополнительные способности. К примеру, если разглядеть хоть какое другое направление в многомерном пространстве и спроецировать на него это "скопление", то мы Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... можем учить рассредотачивание объектов и по нему точно так же, как и по хоть какому начальному признаку. Каждый объект получит некое значение, являющееся его координатой на новейшей оси, т.е. практически Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... мы получим новый признак. То, что мы конкретно не определяли его значений, а вычислили их из значений начальных признаков, как мы уже лицезрели выше на примере индексов, никакой роли не играет Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего.... Более того, мы можем разглядеть хоть какой набор взаимно перпендикулярных направлений, число которых равно числу начальных признаков, и спроецировать на их наше "скопление". Геометрически это значит поворот в пространстве, который не меняет расстояний и обоюдного Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... расположения объектов. Таковой поворот именуется ортогональным. Приятным примером может служить перемещение точек изображения на дисплее монитора относительно осей комнаты, когда мы его поворачиваем для того, чтоб лучше разглядеть изображение.

Какой Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... из вероятных поворотов избрать, зависит только от целей, которые мы впереди себя ставим. К примеру, если у нас есть две группы объектов, о которых у нас есть некая дополнительная информация, мы можем Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... одну из осей провести через их и поглядеть, как на этой оси расположатся другие объекты. Мы можем избрать поворот и из суждений удобства. (Кстати, конкретно это и делает факторный анализ (лекция 3).) Ведь иметь Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... дело с начальными признаками как раз не очень комфортно. Потому что дисперсия каждого признака после нормировки равна единице, каждый признак заносит равную долю инфы. Но зрительно рассматривать размещение точек в Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... более чем трехмерном пространстве наши органы эмоций не адаптированы. Даже перебор всех сочетаний по два либо три признака довольно утомителен, хотя никому и не возбраняется. Но окутать всю картину и узреть ее целостность, если она Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего..., естественно, есть, мы все равно не в состоянии.

Вот тут и выступает на сцену коррелированность признаков. Если признаки коррелируют меж собой, то это значит, что "скопление" объектов в многомерном Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... пространстве вытянуто повдоль некого направления, не совпадающего ни с одной из осей, и тем больше вытянуто, чем посильнее они коррелируют. И рассредотачивание объектов по этому направлению имеет дисперсию больше единицы, другими словами формально содержит Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... больше изменчивости, чем хоть какой начальный признак. Потому мы можем поставить математическую задачку: отыскать направление, на котором достигается наибольшая дисперсия проекции "облака". Эта самая задачка решается в способе основных компонент (Pearson Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего..., 1901; Hotelling, 1933). Поточнее говоря, в способе основных компонент ищется весь набор направлений, сохраняющий всю информацию об "облаке" и владеющий одним дополнительным свойством: если упорядочить направления по величине из изменчивости, то суммарная дисперсия хоть какого Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... числа первых компонент максимальна. На практике нередки случаи, когда, к примеру, на 1-ые две-три составляющие приходится 70-80% всей дисперсии. Так как с геометрической точки зрения переход к новым признакам значит всего Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... только поворот всего "облака" в пространстве без конфигурации расстояний и обоюдного расположения объектов, то информация не добавляется и не исчезает, просто это "скопление" объектов мы лицезреем в несколько ином ракурсе, более Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... комфортном для обозрения. Каждый новый признак является линейной композицией старенькых (суммой с некими коэффициентами, которые могут быть как положительными, так и отрицательными). Правильно и оборотное, каждый старенькый признак является линейной композицией новых, что Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... еще раз подчеркивает сохранность начальной инфы при этих преобразованиях.

(Кстати, попутно развеем еще пару легенд, сложившийся вокруг основных компонент. Для способа основных компонент совсем необязательно вычислять корреляционную либо ковариационную матрицу и потому число Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... объектов полностью не должно быть таким, чтоб коэффициенты корреляции были достоверными. Тем паче не непременно, чтоб число объектов превышало число признаков. Другое дело, что расчет через корреляционную матрицу на техническом Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... уровне очень комфортен и излагается во всех статистических руководствах и применяется во всех статистических пакетах. Некие пакеты даже не могут вычислять главные составляющие, если число объектов меньше числа признаков. Но эквивалентные результаты можно получить и Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... прямым вычислением основных компонент без всякой корреляционной матрицы, так именуемым “разложением по сингулярным числам” (SVD). При всем этом корреляции меж компонентами все равно окажутся равными нулю, при этом независимо от формы "облака Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего...". 2-ой миф состоит в том, что, так как коэффициент корреляции является линейным, т.е. определяет только степень приближения "облака" к прямой полосы, то вся информация, содержащаяся в вероятном нелинейном расположении объектов, теряется Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего.... По сути эта информация никуда не девается, при ортогональных поворотах "облака" обоюдное размещение объектов стопроцентно сохраняется и при проекции на главные составляющие нелинейность прекрасно визуализируется. Естественно, коэффициенты корреляции, в силу собственной Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... линейности, ее не отражают и требуются какие-нибудь особые нелинейные меры, если необходимо выразить ее численно, но главные составляющие этому никак не мешают, быстрее напротив. Нередко бывает довольно самой визуализации через составляющие, чтоб Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... верно осознать био смысл наблюдаемой нелинейности.)

После расчета компонент мы можем бросить для рассмотрения только 1-ые две-три из их и утратить при всем этом всего только 20-30% общей изменчивости. Если Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... в рассредотачивании объектов в начальном признаковом пространстве был некий био смысл, то мы его утратили в мало вероятной степени. При этом, вероятнее всего, утратили не столько информацию, сколько "шум", безизбежно присутствующий в Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... реальных данных из-за ошибок измерения и деяния малозначимых либо случайных обстоятельств. А что заполучили взамен? А заполучили возможность рассматривать рассредотачивание объектов в дву- либо трехмерном пространстве заместо -мерного, где часто Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... приравнивается нескольким десяткам либо даже соткам признаков и с которым мы все равно не могли совладать. А потому что составляющие, как мы уже лицезрели, являются новыми признаками, то выходит, что два-три таких новых признака Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... подменяют все старенькые с малой потерей инфы. Но у таких массивных признаков даже очень может быть био смысл!

Вот тут-то и нужна компетентность биолога. Трактовка результатов всегда находится в зависимости Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... от природы объектов, с которыми мы имеем дело, и от задачки, которую мы впереди себя поставили. Интерпретация компонент предъявляет достаточно высочайшие требования к квалификации биолога, потому что необходимо сразу осознавать Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... геометрический смысл проведенных преобразований и био смысл получаемых результатов. К примеру, нулевые корреляции меж компонентами, как мы уже знаем, означают статистическую независимость, т.е. поведение одной составляющие статистически ничего нам не гласит о поведении другой Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего.... Потому полностью осмысленным и нередко оправдывающимся на практике является предположение, что и на биологическом уровне эти новые признаки довольно автономны, к примеру, отражают различные процессы либо фазы развития особей. Разумеется Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего..., что это только предположение и его всякий раз необходимо доказывать на биологическом уровне, к примеру, анализируя вклады признаков в составляющие (Васильев и др., 2003).

В случае с черепами мышей "скопление" объектов, обычно, имеет эллипсовидную форму Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего..., а 1-ая компонента всегда представляет общие размеры, потому что практически все либо даже все признаки дают в нее вклад 1-го знака, нередко близкий по величине. Но так как в ней участвует много Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... признаков, то эти размеры определены надежнее и универсальнее, чем если б использовали только некий какой-то из них, к примеру, кондилобазальную длину. Во вторую компоненту, тоже фактически всегда, основной вклад заносит Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... межглазничная ширина, а большая часть вкладов других признаков обратно ей по знаку. Это значит, что когда значения 2-ой составляющие растут, то возрастает и межглазничная ширина, а значения большинства других уменьшаются и напротив. Межглазничная Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... ширина в процессе онтогенеза ведет себя очень без помощи других (Виноградов, 1921; Европейская рыжеватая ..., 1981). Во-1-х, она ранее других останавливается в росте, возможно, поэтому, что возрастающий организм не может позволить для себя Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... роскошь отложить на позже формирование системы зрения, как, к примеру, созревание. Созидать нужно всегда, а глазная система очень узкий инструмент, чтоб успевать повсевременно подстраиваться под очень сильные конфигурации межглазничного расстояния. Потому Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... предстоящее развитие черепа происходит таким макаром, чтоб в малой степени затрагивать уже сформировавшуюся систему зрения. Во-2-х, относительная изменчивость межглазничной ширины, если ее определять, к примеру, коэффициентом варианты, приметно больше изменчивости других Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... признаков, что, вместе с ранешней остановкой в росте и, как следует, наименьшей зависимостью от среды, позволяет полагать проявление в ней наследных различий меж особями (Ковалева, 1999). По литературным данным, наследуемость промеров черепа, включая межглазничную ширину Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего..., колеблется в спектре 0.4–0.6 (Atchley et al., 1981). Но генетической трактовке мешает то, что, хоть и в наименьшей степени, межглазничная ширина тоже участвует в росте и в ее изменчивости наследные различия меж особями могут Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... быть смешаны с размерной изменчивостью. Здесь-то и помогает многомерный анализ. Как мы уже лицезрели, главные составляющие владеют одной принципиальной особенностью: они статистически независимы по построению. Потому, если в первой Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... компоненте сосредоточена вся размерная изменчивость, то во 2-ой и следующих она "снята". И потому предположение о значимой доле наследных причин в изменчивости 2-ой составляющие имеет больше шансов оказаться справедливым, чем такое же Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... предположение насчет изменчивости самой межглазничной ширины. Как следует, и 1-ая и 2-ая составляющие, рассматриваемые как новые признаки, могут нести внутри себя содержательную информацию в неком "очищенном", в отличие от обыденных признаков, виде Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего....

Что касается био смысла самой межглазничной ширины, то этот вопрос достаточно тщательно исследовался еще академиком С.С.Шварцем. По его воззрению, одним из существенных причин, определяющих различия в пропорциях черепа, является скорость Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... роста животных. "У медлительно возрастающих животных кондилобазальная длина черепа, скуловая ширина, длина зубного ряда, и лицевой части больше, а высота черепа и ширина межглазничного промежутка меньше, чем у возрастающих стремительно" (Шварц, 1980). Потому Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего..., беря во внимание, что 1-ая компонента "снимает" размерную изменчивость, а основной вклад во вторую компоненту, обратный по знаку вкладам большинства других признаков, дает межглазничная ширина, все есть основания считать, что изменчивость Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... по 2-ой компоненте отражает различия меж особями по скорости роста, при этом в значимой степени обусловленные наследными факторами, т.е. различия в генетических программках развития особей.

Следует увидеть, что точками в многомерном пространстве можно Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... представлять не только лишь особей, да и любые другие био объекты, к примеру, популяции. В работах (Косова и др., 1992; Галактионов и др., 1995) изучены 50 выборок половозрелых особей остромордой лягушки. Совокупа средних значений 14 морфометрических признаков Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... по всем подборкам обработана способом основных компонент. Все признаки занесли в первую компоненту положительный вклад. Потому разумно именовать эту компоненту размерно-возрастной. Схожая трактовка первой составляющие довольно универсальна, потому Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... что преобладающая изменчивость общих размеров проявляется фактически во всех морфометрических исследовательских работах (Галактионов, 1981; Животовский, 1984; Акимов и др., 1993). Какой-нибудь связи с ландшафтами и географией в рассредотачивании выборок по первой компоненте не находится Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего..., что, по-видимому, свидетельствует о том, что подборки брались довольно рандомизированно по отношению к их средним размерам.

Ландшафтная специфичность выборок раскрылась в пространстве II и III основных компонент (рис. 4.1). Подборки сгруппированы по их географическому Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... положению: северная группа – подборки Поозерской провинции, включая подборку 48 и тяготеющие к ним подборки 12, 13; центральная – подборки Белорусской Возвышенной (без 12, 13), Предполесской (без 50) и Восточно-Белорусской провинций; южная – подборки Полесской провинции. Южная группа, в свою очередь Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего..., разбита на две группы выборок, относящихся к Брестской (включая подборку 50) и Гомельской областям (Косова и др., 1992).

Все подборки, относящиеся к центральной группе, сместились вниз по третьей компоненте (рис. 4.1). Подборки из южной группы Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... занимают последнее левое положение. Разумеется, 2-ая компонента отражает направление изменчивости «юг-север», т.е. связь с температурным градиентом среды. Подборки центральной группы отличаются от всех других тем, что они приурочены Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... к возвышенной части местности Беларуси, а более отклоняющиеся по третьей компоненте подборки 18, 15, 16 размещаются поближе других к самой ее высочайшей точке. Для осознания фенотипических различий меж ландшафтными популяциями следует учитывать, что северная и Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... южная группы занимают низкие, более заболоченные части местности Беларуси. Таким макаром, 3-я компонента отражает изменчивость, связанную с направлением «возвышенность» – «низменность», т.е. с высотным градиентом среды.

В третью компоненту практически дали вклады Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... только промеры ноги и голени и, с оборотным знаком, длина внутреннего пяточного бугра (рис. 4.2). Это значит, что даже приведенные к равным общим размерам за счет отбрасывания первой составляющие подборки из центра Белоруссии дополнительно отличаются Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... длинноногостью. Морфогенетическая интерпретация навязывается сама собой - адаптация к более сухопутной жизни. (По этой логике длина внутреннего пяточного бугра должна означать адаптацию к плаванию.)




Рис. 4.1. Размещение ландшафтных выборок остромордой лягушки

в Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... пространстве II и III основных компонент изменчивости средних

значений выборок



Рис. 4.2. Вклады признаков во II и III главные составляющие изменчивости

средних значений ландшафтных выборок остромордой лягушки


Интерпретация 2-ой составляющие не настолько явна. У северных лягушек, при равных размерах Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего..., более узенькая и маленькая рожа и поболее длинноватые глаза и барабанные перепонки по сопоставлению с южными. Предпосылки сопряженного варьирования признаков по каждой из основных компонент могут быть установлены, если вклады признаков рассматривать Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... через призму личного развития животных, через вероятное взаимодействие признаков на отдельных шагах онтогенеза.

Есть ли такая стадия онтогенеза, на которой формируются различия приемущественно по ширине рожи, длине глаз и ушей? Такая Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... стадия есть, при этом у всех, а не только лишь у земноводных, и очень ранешняя. Рожи еще как бы нет, глаза с различных сторон и глядят в обратные стороны. В предстоящем Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... равномерно формируется лицевая часть – обе стороны выгибаются, пока не образуют одну плоскость. Рожа при всем этом становится обширнее, глаза и уши – короче. Довольно представить, что у южных этот процесс входит далее, чем у северных, под Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... воздействием температуры, и различия сохраняются прямо до взрослого состояния. Вероятный адаптивный смысл недоразвития лицевой части у северных лягушек заключается в экономии времени для окончания полного цикла развития. Это может давать преимущество Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... в северных районах, где размножение в большинстве случаев начинается на 15–20 дней позднее, чем на юге.

Таким макаром, многомерный анализ позволяет изучить и визуализировать внутреннюю структуру изменчивости некой совокупы объектов, определяемую их природой Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего.... Для животных из природных либо лабораторных популяций, как отлично понятно биологам, основными факторами фенотипической изменчивости особей являются их генетическая изменчивость и эволюционно сформировавшиеся закономерности развития особей, вытекающие из необходимости поддерживать целостность Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... и функционирование организма при содействии со средой на всех шагах онтогенеза. Действие конкретно этих причин и выявляется способом основных компонент.


^ ЛЕКЦИЯ 5. Межвыборочная изменчивость

Пусть сейчас матрица разбита на групп объектов. Это могут быть объекты, принадлежащие Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... одной популяции, к примеру, самцы и самки, либо возрастные группы, либо подборки за различные годы и т.д. Это могут быть также подборки из различных популяций, к примеру, из географических точек Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего..., далековато отстоящих друг от друга. Снутри каждой подборки имеется некая изменчивость. Не считая того, есть изменчивость и меж группами. Разбиение на группы задается исследователем, исходя из содержательной задачки, и является номинальным признаком. Этот Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... признак служит наружным фактором, может быть, влияющим на изменчивость меж объектами. Цель анализа – найти нрав и степень этого воздействия.

Обычно для этих целей употребляется дискриминантный анализ. В пространстве объектов ищется такое Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... направление (линейная композиция признаков), чтоб в проекции на него отношение межвыборочной дисперсии к внутривыборочной было наибольшим. Если групп всего две, то одно направление, проходящее через центры групп, исчерпывает всю межвыборочную изменчивость. Если при Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... всем этом признак только один, то дискриминантный анализ сводится к отлично известному -критерию Стьюдента:




Заметим, что в российскей биометрической литературе (Плохинский, 1961; Животовский, 1991) под именованием аспекта Стьюдента обычно употребляется другая статистика, также Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... имеющая -распределение (Крамер, 1975) и, по сути, принадлежащая Уэлчу (Уэлшу) (Welch, 1938):




Нужно увидеть, что нашим биологам подфартило. Аспект Стьюдента, не считая нормальности рассредотачивания, просит догадки о равенстве неведомых дисперсий. Аспект Уэлча Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... работает и при неравных дисперсиях, в нем практически проверяется догадка об отклонении нормально распределенной различия средних от нуля. Таблица критичных значений для разных уровней значимости одна и та же в обоих случаях.

Если групп Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... три, то их центры образуют плоскость, на которой сосредоточена вся межвыборочная изменчивость, при условии, что они не лежат на одной прямой, и т.д. В общем случае таких направлений насчитывается .

С формально-математической Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... точки зрения дискриминантный анализ идеален. На 1-ый взор, и с содержательной стороной все в порядке. Вправду, что можно сделать возражение против того, чтоб межвыборочная дисперсия была как можно больше, а внутривыборочная Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... – как можно меньше.

Неувязка состоит в вероятной вырожденности либо нехороший обусловленности матрицы . Если настоящая размерность матрицы меньше числа признаков, то может появиться ситуация, когда в проекции на некое направление внутривыборочная Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... дисперсия очень мала, а так как она находится в знаменателе, то отношение к ней межвыборочной может «зашкалить» за любые мыслимые и невообразимые границы и даже привести к аварийному останову вычислений. Еще ужаснее, с нашей Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... точки зрения, ситуация, когда внутривыборочная дисперсия не так мала, чтоб вызвать аварийный останов. В данном случае вычисления дойдут до конца и будет найдено некое дискриминирующее направление с формально высочайшей достоверностью, лишенное, все же Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего..., всякого содержательного смысла. Эта ситуация полностью реальна и появляется, к примеру, если мы изучаем асимметрию и закладываем в анализ промеры, изготовленные на различных сторонах тела. Вследствие высочайшей корреляции меж Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... промерами парных органов матрица будет плохо обоснована.

Рядовая рекомендация состоит в том, чтоб исключить из анализа высоко коррелирующие признаки. Но уместно поставить вопрос: а чем провинились признаки? Исследователь обязан иметь право подбирать признаки Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... по собственному усмотрению, исходя из поставленной им задачки, а если математический аппарат не срабатывает, то, может быть, дело в самом аппарате?

Чтоб ответить на этот вопрос, нужно поставить другой: что происходит с Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... расстояниями меж объектами в дискриминантном анализе? Метод дискриминантного анализа может быть представлен в виде последующей последовательности действий (Уилкс, 1967). Поначалу любая группа центрируется своими средними для исключения межвыборочной изменчивости. Геометрически это значит совмещение Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... центров тяжести всех выборок с началом координат и объединение выборок. К объединенной выборке , характеризующей после центрирования только внутривыборочную изменчивость, применяется способ основных компонент, другими словами ищется ортогональная матрица поворота , приводящая к некоррелированным осям. Отысканный Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... поворот применяется к обеим матрицам, и . Составляющие нормируются своими дисперсиями и ими же нормируются составляющие . В приобретенных местах все направления имеют одну и ту же внутривыборочную дисперсию, равную единице, и для нахождения Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... направления с наибольшей межвыборочной дисперсией довольно снова применить к способ основных компонент.

Разглядим тщательно каждый шаг. Поворот при помощи матрицы не меняет расстояний меж объектами. А вот нормировка своими значениями приводит Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... к изменению расстояний. Новое место именуется местом Махаланобиса, а расстояние в нем – расстоянием Махаланобиса (лекция 3). Деление на собственные числа приводит к тому, что все главные составляющие внутривыборочной матрицы получают равный Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... вес. Математически это очень комфортно, но содержательно совсем глупо. Вместе с несколькими первыми компонентами, содержащими вправду полезную информацию, (которые, может быть, и стоит нормировать), в анализ на равных правах врубаются и все Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... другие. Но далекие составляющие содержат, в главном, «шум», при этом их тем больше, чем больше число начальных признаков и чем посильнее эти признаки коррелируют меж собой. Расстояние Махаланобиса заглушает полезную информацию, умножая «шумы». Конкретно Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... оно является слабеньким звеном дискриминантного анализа.

Стоит выделить, что в силу собственного внутреннего устройства дискриминантный анализ всегда, в большей либо наименьшей степени, искажает реальную информацию. Может быть, вот поэтому дискриминантные оси сложнее интерпретировать Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... через вклады признаков, чем главные составляющие, и дело обычно сводится к констатации достоверности различий, чему очень содействует умножение «шумов». Не считая того, при возврате в начальное место признаков дискриминантные оси становятся неортогональными Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего..., а это очень неловко для интерпретации.

Разумеется, необходимы другие методы дискриминантного анализа. Они должны максимизировать различия меж межвыборочной и внутривыборочной дисперсиями и при всем этом не искажать расстояния меж объектами. Построение Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... таких алгоритмов – дело грядущего, а пока можно советовать подготовительную обработку начальной матрицы данных способом основных компонент, отсечение далеких компонент с малыми дисперсиями и применение дискриминантного анализа к оставшимся первым нескольким Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... основным компонентам. Достоверности различий меж подборками резко свалятся, но им можно будет веровать.

Другим методом анализа величины и направления межвыборочной изменчивости может служить помещение всех выборок в компонентное место какой-то из них. Прототипом Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... этого метода обработки является способ профилей С.Р.Царапкина (Zarapkin, 1934; Царапкин 1960). В этом способе одна из групп (обычно самая презентабельная) принимается за эталон. Средние значения других групп нормируются средними и Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... среднеквадратичными отклонениями эталона по формуле:

,

что равносильно помещению центров тяжести других групп в центрированное и нормированное признаковое место эталона.

После поворота признаков к основным компонентам, который, как мы знаем, не меняет расстояние меж объектами Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего..., центры тяжести других групп оказываются в компонентном пространстве эталона, что позволяет учить не только лишь величину, да и направление межпопуляционной изменчивости, также обоюдное размещение групп. Если за эталон принять объединенную внутривыборочную Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... матрицу, то рассматриваемый метод сводится к первому шагу дискриминантного анализа, но без преобразования Махаланобиса, что никак не является недочетом.

Не считая того, никто не воспрещает вычислить матрицу центроидов групп, рассматривая их Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... как новые объекты, и изучить ее способом основных компонент (глава 4).

Нужно особо отметить, что направления изменчивости в многомерном пространстве можно выбирать не только лишь из статистических, да и конкретно из био суждений, к примеру, генетических Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего.... Для примера разглядим способ, позволяющих отыскивать линейные композиции признаков с наибольшей наследуемостью в узеньком смысле. Способ основан на исследовании обоюдного расположения родителей и гибридов первых 2-ух поколений в многомерном Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... пространстве и выделении направлений, обусловленных гетерозиготностью, эпистатическим и аддитивным действием генов (Efimov et al., 2005).

Отлично понятно, что фенотипическая изменчивость гибридов от скрещивания 2-ух незапятнанных линий является ненаследственной и только начиная с в изменчивости проявляется Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... расщепление комплексов генов, приобретенных от обоих родителей. Пусть имеются две незапятнанных полосы, и , и – 1-ое поколение гибридов меж ними, у каких измерены значения признаков. В простейшей, аддитивно-доминатной модели без межаллельного взаимодействия Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... средние значения каждого признака у равны , где – среднее меж родителями, – отклонение, обусловленное преобладанием (Мазер, Джинкс, 1985).

В итоге расщепления в последующем поколении средние значения гибридов будут равны (Мазер, Джинкс, 1985) и в -ом – , где – толика Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... гетерозигот на локус зависимо от системы скрещивания (самооплодотворение, инбридинг и т.д.)

Обозначим через точку в многомерном пространстве, образованную средними значениями признаков для каждого поколения . Из обычных геометрических суждений следует, что точки Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... и образуют треугольник, в каком точки расположатся на прямой полосы, проходящей через точку и точку – середину отрезка, соединяющего родительские средние. Точка попадет на середину отрезка, соединяющего точки и , а другие точки Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... будут стремиться к точке со скоростью, зависящей от системы скрещивания (рис. 5.1).

При отклонении от аддитивно-доминантной модели наследования, к примеру, вследствие межлокусного взаимодействия – эпистаза в широком смысле – ситуация усложняется и Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... , вообщем говоря, возможно окажется в хоть какой другой точке признакового места, в том числе и выходя за границы плоскости, проходящей через и . В данном случае приходится рассматривать обоюдное размещение выборок в трехмерном Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... пространстве. Но направление в многомерном пространстве все равно будет владеть последующими качествами. По мере расщепления гибридов будут исчезать все эффекты, связанные с гетерозиготностью, другими словами, эффекты преобладания и все эпистатические эффекты, определяемые гетеро-гомозиготными и Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... гетеро-гетерозиготными межлокусными взаимодействиями (Мазер, Джинкс, 1985). Потому направление с полным основанием можно именовать "осью гетерозиготности". Аддитивное действие генов и оставшиеся эпистатические эффекты, определяемые гомо-гомозиготными межлокусными взаимодействиями, проявятся в проекции на плоскость Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего..., ортогональную и проходящую через и . На этой плоскости центроиды и образуют одну точку. При справедливости аддитивно-доминантной модели эта точка должна совпасть с точкой – серединой центроидов и .



Рис. 5.1. Размещение центроидов родительских Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... и гибридных выборок в многомерном пространстве. F1 - m – ось гетерозиготности в рамках аддитивно-доминантной модели наследования количественных признаков. Общий случай (HIA-модель): F1 - F# – ось гетерозиготности H; P1 - P2 – ось аддитивности A; m Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... - F# – ось эпистаза I


Потому отклонение от нее в этой плоскости можно, в первом приближении, рассматривать как проявление эпистатических взаимодействий и, соответственно, именовать "эпистатическим направлением". Оставшееся ортогональное направление, в проекции на которое точка Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... () уже совпадает с точкой , также с большой толикой условности, можно называть "аддитивным". Вероятная аддитивность должна проявиться в увеличении дисперсии по сопоставлению с .

Направления, обусловленные аддитивным действием генов, более подходят для отбора и Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... его можно вести уже в , не дожидаясь предстоящего расщепления. Не считая того, отысканные направления изменчивости можно использовать как новые многообещающие признаки при исследовании природных популяций.


^ ЛЕКЦИЯ 6. Наружные причины как Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... вероятные предпосылки изменчивости

Пусть сейчас матрица разбита на две группы признаков – внутренних и наружных . Наружные признаки именуются факторами. Разбиение задается исследователем, исходя из содержательной задачки. Причины, может быть, оказывают влияние на изменчивость меж объектами. Цель Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... анализа – найти нрав и степень этого воздействия, также узнать способности пророчества черт объектов – значений внутренних признаков – по значениям наружных причин.


^ Множественная линейная регрессия и ее задачи

Обычно внутренние признаки рассматриваются поодиночке. В множественной регрессии Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... таковой внутренний признак именуется зависимой переменной, а совокупа наружных причин – независящими переменными. Имеется некая совокупа объектов, которую можно считать генеральной. Для всех объектов мы знаем значения наружных причин. Для части Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... объектов (обучающая подборка) мы знаем значения внутренних признаков. Мы желаем выяснить, можно ли по этой инфы вычислить с применимой точностью значения внутренних признаков для других объектов. В традиционной постановке задачка сводится к поиску линейной Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... композиции независящих переменных, в наибольшей степени аппроксимирующих зависимую. Обычно задачка решается способом меньших квадратов.

Тут есть одно принципное событие. Применяя способ меньших квадратов, мы лучшим образом аппроксимируем линейную зависимость на Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... обучающей выборке и почему-либо думаем, что она остается лучшей и для других объектов. Практика указывает, что это не так. Если инспектировать результаты расчетов на контрольной выборке, где по сути нам известны значения Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... зависимых переменных, но мы не использовали их для расчета уравнения регрессии, то всегда оказывается, что до определенного числа характеристик точность пророчества вырастает, а потом падает, хотя аппроксимация обучающей подборки становится все лучше и Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... лучше. Чем больше причин и чем выше корреляция меж ними, тем ужаснее работает способ меньших квадратов.

Как и в дискриминантном анализе, неувязка состоит в вероятной вырожденности либо нехороший обусловленности матрицы Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... (неувязка мультиколлинеарности независящих переменных). Точно так же вероятен аварийный останов вычислений либо окончание работы с непредсказуемым искажением результатов. По сути, это не очень умопомрачительно, потому что дискриминантный анализ формально можно рассматривать как личный случай Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... множественной регрессии. Так же, как и в дискриминантном анализе, рядовая рекомендация состоит в том, чтоб исключить из анализа высоко коррелирующие признаки. К примеру, это можно сделать при помощи пошагового анализа (Боровиков Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего..., Боровиков, 1997). И точно так же можно поставить вопрос: а может, дело не в признаках, а в самом анализе?

К примеру: есть некоторое количество сотен образцов бензина, для которых известны результаты лабораторных анализов Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... свойства (октановое число, содержание свинца и т.д.). Каждый эталон можно просто и стремительно проанализировать при помощи инфракрасного спектрометра и получить значения нескольких тыщ признаков. Потому что число признаков превосходит Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... число объектов, матрица непременно будет вырожденной и традиционная множественная линейная регрессия просто не сработает. Рекомендация “выкинуть признаки” тоже неприемлема, потому что значит выкинуть практически все признаки.

Один из способов решения препядствия – регрессия на главные Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... составляющие. Применим к способ основных компонент, другими словами найдем матрицу . Разумеется, что матрицу можно рассматривать как матрицу новых независящих переменных. С вычислительной точки зрения это даже очень комфортно, так столбцы матрицы (главные Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... составляющие) не коррелируют меж собой и регрессия распадается на сумму регрессий зависимой переменной от каждого столбца матрицы , которые можно вычислять независимо друг от друга. При всем этом в способе меньших квадратов Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... непременно происходит нормировка каждого столбца матрицы его дисперсией, а в случае нехороший обусловленности либо вырожденности матрицы часть этих дисперсий мала либо равна нулю. Как и в дискриминантном анализе, такие столбцы не несут Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... содержательного смысла и могут рассматриваться, как заглушающие полезную информацию. Разумеется, их можно и необходимо выкинуть. Что считать малой дисперсией, решает исследователь. Число оставшихся компонент всегда меньше числа объектов, но в каждую из их Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... на теоретическом уровне могли внести вклад все причины.

Предстоящим развитием этой идеи является -регрессия (проекция на латентные структуры). Основная мысль состоит в том, чтоб позаботиться о не плохих предсказательных свойствах уравнения Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... регрессии заранее. А для этого учитывается не только лишь качество аппроксимации, да и дисперсия линейной композиции, на базе которой делается пророчество. Чем выше ее дисперсия, тем надежнее работает линейная регрессия. Это значит Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего..., что лучше максимизировать не коэффициент корреляции (что эквивалентно способу меньших квадратов), а коэффициент ковариации меж зависимой переменной и аппроксимирующей ее линейной композицией независящих переменных. Если за ранее конвертировать матрицу способом основных Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... компонент, то решение получится в виде суммы одиночных регрессий зависимой регрессии на составляющие с весами, пропорциональными дисперсиям компонент. Для компонент с нулевыми дисперсиями это эквивалентно их исключению из анализа, для компонент с малыми дисперсиями Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... – маленькое воздействие на окончательный итог.

Хемометрики интенсивно употребляют -регрессию последние два 10-ка лет, в том числе, и на производстве. Нефтяные и пивоваренные компании, применившие эту технологию, получили экономию в сотки миллионов евро в Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... год. Биологи, к огорчению, в большинстве собственном даже не знакомы с таким вариантом множественной регрессии.

Но и -регрессия представляется небезупречной. Создается воспоминание, что ее практический фуррор обоснован, сначала, тем, что она оказалась Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... очевидно лучше традиционной линейной регрессии. Но проведем мысленный опыт. Представим для себя, что мы берем один из наружных причин и размножаем его в большенном количестве. Никакой новейшей инфы, разумеется Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего..., не добавляется. Но веса компонент, в которые заходит этот фактор, будут расти и, как следует, будет расти вклад этого фактора в окончательное уравнение регрессии независимо от того, как он лучше других. По-видимому, необходимо каким Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего...-то образом ограничить предельный вес дисперсии составляющие в уравнении регрессии.

В любом случае нужно разбиение объектов на обучающую и контрольную подборки, к примеру, при помощи бутстреп-методов (Efron, 1979, 1982; Диаконис, Эфрон Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего..., 1983) (лекция 7). Неважно какая зависимость, установленная на обучающей выборке, должна проверяться на контрольной. Только так можно обеспечить надежность содержательных выводов.


^ ЛЕКЦИЯ 7. Нелинейные способы, неевклидовы расстояния

Все способы, рассмотренные в прошлых лекциях, относятся к числу линейных, другими Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... словами объекты предполагаются размещенными в евклидовом пространстве, а направления задаются линейными комбинациями начальных признаков. Но в почти всех био задачках, даже если каждый объект и задается своими значениями в пространстве признаков, различия Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... меж ними не должны быть евклидовыми расстояниями, а направления – линейными. Не считая того, нелинейной может быть и регрессия, как функция зависимой переменной от нескольких независящих. В качестве варианта нелинейной регрессии можно рассматривать Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... нейронные сети. В последние годы энтузиазм к искусственным нейронным сетям необыкновенно высок. Но, невзирая на богатство описательной инфы, библиотек программ, в особенности бесплатных, для моделирования нейронных сетей не так много Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего....


^ Нейронные сети

Пусть, так же, как и в задачке множественной регрессии, матрица разбита на две группы признаков – внутренних и наружных . Цель анализа та же – научиться предвещать свойства объектов (значения внутренних признаков) по значениям наружных Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... причин. Но, в отличие от предшествующей задачки, о содержательной интерпретации приобретенных результатов речь вообщем не идет. Конечным итогом анализа является обученная нейронная сеть, которая по значениям наружных причин для новых Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... объектов, которые не участвовали в обучении, каким-то таинственным (для наружного наблюдающего) образом вычисляет значения внутренних признаков. Точность пророчества может быть оценена только опытным методом.

^ Внутреннее устройство нейронных сетей Существует огромное обилие типов Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... нейронных сетей (Горбань, 1990; Горбань, Россиев, 1996; Тарков, 2006; Principal Manifolds, 2007). Но мы будем рассматривать только полносвязные слоистые нейронные сети, потому что они, с одной стороны, являются самыми ординарными и, в то же время, дают достаточное Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... представление о принципах внутреннего устройства нейронных сетей.
Нейронная сеть является очень облегченной вычислительной моделью людского мозга и состоит из нейронов, соединенных вместе. Одна часть нейронов принимает входную информацию, другая работает на выдачу результатов Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего..., другие укрыты от наружного наблюдающего (рис. 1).




Рис. 7.1. Полносвязная слоистая нейронная сеть


В полносвязных слоистых сетях нейроны размещены в пара слоев, при этом каждый нейрон 1-го слоя передает информацию всем нейронам последующего. Все сигналы Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... находятся в спектре [-1, 1], потому столбцы матрицы должны за ранее преобразовываться, чтоб все значения попали в этот интервал. Для расширения способностей нейронной сети в каждый слой может добавляться нейрон, всегда Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... посылающий последующим значение 1. Любая связь имеет весовой коэффициент в интервале [-1, 1], который может изменяться в процессе обучения. 1-ый слой именуется входным, последний – выходным, другие ­ – сокрытыми. Число нейронов во входном слое равно числу столбцов Метод главных компонент - Учебное пособие 2-е исправленное и дополненное издание (с исправлениями для следующего... матрицы (плюс 1), в выходном – числу столбцов матрицы , в укрытых – хоть какое.



metod-analiza-produktov-deyatelnosti-cheloveka.html
metod-approksimacii-fogelya.html
metod-bezposerednogo-ntegruvannya-referat.html