ANÁLISIS DE COMPONENTES PRINCIPALES (ACP)

1 Instrumentos Estad sticos AvanzadosFacultad Ciencias Econ micas y EmpresarialesDepartamento de Econom a AplicadaProfesor: Santiago de la Fuente Fern ndez AN LISIS DE COMPONENTES PRINCIPALES An lisis COMPONENTES PrincipalesSantiago de la Fuente Fern ndez 1AN LISIS DE COMPONENTES PRINCIPALESC uando se recoge la informaci n de una muestra de datos, lo m s frecuente es tomar el mayorn mero posible de variables. Sin embargo, si tomamos demasiadas variables sobre un conjunto deobjetos, por ejemplo 20 variables, tendremos que considerar 180220= posibles coeficientes decorrelaci n; si son 40 variables dicho n mero aumenta hasta , en este caso es dif cil visualizar relaciones entre las variables.

2 Otro problema que sepresenta es la fuerte correlaci n que muchas veces se presenta entre las variables: si tomamosdemasiadas variables (cosa que en general sucede cuando no se sabe demasiado sobre los datos os lo se tiene nimo exploratorio), lo normal es que est n relacionadas o que midan lo mismo bajodistintos puntos de vista. Por ejemplo, en estudios m dicos, la presi n sangu nea a la salida delcoraz n y a la salida de los pulmones est n fuertemente hace necesario, pues, reducir el n mero de variables. Es importante resaltar el hecho de que elconcepto de mayor informaci n se relaciona con el de mayor variabilidad o varianza. Cuanto mayorsea la variabilidad de los datos (varianza) se considera que existe mayor informaci n, lo cual est relacionado con el concepto de entrop PRINCIPALESE stas t cnicas fueron inicialmente desarrolladas por Pearson a finales del siglo XIX y posteriormentefueron estudiadas por Hotelling en los a os 30 del siglo XX.

3 Sin embargo, hasta la aparici n de losordenadores no se empezaron a estudiar las relaciones que se presentan entre p variables correlacionadas (que mideninformaci n com n) se puede transformar el conjunto original de variables en otro conjunto denuevas variables incorreladas entre s (que no tenga repetici n o redundancia en la informaci n)llamado conjunto de COMPONENTES nuevas variables son combinaciones lineales de las anteriores y se van construyendo seg n elorden de importancia en cuanto a la variabilidad total que recogen de la modo ideal, se buscan m < p variables que sean combinaciones lineales de las p originales y queest n incorreladas, recogiendo la mayor parte de la informaci n o variabilidad de los las variables originales est n incorreladas de partida, entonces no tiene sentido realizar un an lisisde COMPONENTES an lisis de COMPONENTES PRINCIPALES es una t cnica matem tica que no requiere la suposici n denormalidad multivariante de los datos.

4 Aunque si esto ltimo se cumple se puede dar unainterpretaci n m s profunda de dichos LCULO DE LOS COMPONENTES PRINCIPALESSe considera una serie de variables (x1, x2, .. , xp) sobre un grupo de objetos o individuosy se trata de calcular, a partir de ellas, un nuevo conjunto de variables (y1, y2, .. , yp),incorreladas entre s , cuyas varianzas vayan decreciendo lisis COMPONENTES PrincipalesSantiago de la Fuente Fern ndez 2 Cada yj (j = 1, .. , p) es una combinaci n lineal de las (x1, x2, .., xp) originales,es decir: x a x a.

5 X a x a yjpjp2j21j1jo=+++=siendo )a .., , a , (a apj2j1jj=o un vector de constantes, y = xObviamente, si lo que queremos es maximizar la varianza, como veremos luego, una forma simplepodr a ser aumentar los coeficientes aij . Por ello, para mantener la ortogonalidad de latransformaci n se impone que el m dulo del vector )a .., , a , (a apj2j1jj=osea decir, 1a = El primer componente se calcula eligiendo a1 de modo que y1 tenga la mayor varianza posible, sujetaa la restricci n 1 . El segundo componente principal se calcula obteniendo a2 de modo que lavariable obtenida, y2 est incorrelada con mismo modo se eligen (y1, y2, .. , yp), incorrelados entre s , de manera que las variablesaleatorias obtenidas vayan teniendo cada vez menor DE EXTRACCI N DE FACTORESSe elige a1 de modo que se maximice la varianza de y1 sujeta a la restricci n de que 1 == x).

6 Var(a )Var(yEl m todo habitual para maximizar una funci n de varias variables sujeta a restricciones el m todode los multiplicadores de problema consiste en maximizar la funci n a la restricci n 1 .Se puede observar que la inc gnita es precisamente a1 (el vector desconocido que da la combinaci nlineal ptima).As , se construye la funci n L: 1) a.(a )L(a11111 =Para maximizar la funci n: ()0a0a2a2aL1111II= = = Esto es, en realidad, un sistema lineal de ecuaciones. Por el teorema de Roch Frobenius, para queel sistema tenga una soluci n distinta de 0 la matriz ( I) tiene que ser singular. Esto implica que eldeterminante debe ser igual a cero: | I| = 0 de este modo, es un autovalor de.)

7 An lisis COMPONENTES PrincipalesSantiago de la Fuente Fern ndez 3La matriz de covarianzas es de orden p y si adem s es definida positiva, tendr p autovaloresdistintos, ( 1, 2, .. , p) tales que, por ejemplo, p21 >> > .Se tiene que, desarrollando la expresi n anterior: = = = 11111aa0aa0a)(IIIentonces, = = = = == 1aaaaaa)xa(Var)y(Var11111111 Luego, para maximizar la varianza de y1 se tiene que tomar el mayor autovalor, sea 1, y elcorrespondiente autovector realidad, a1 es un vector que da la combinaci n de las variables originales que tiene mayorvarianza, esto es, s ),a.

8 ,a ,(a a1p12111= entonces p1p21211111xa xa xa xa y+++== El segundo componente principal, sea xa y22 =, se obtiene mediante un argumento s, se quiere que y2 est incorrelado con el anterior componente y1, es decir, Cov(y2, y1) = lo tanto: = === 12121212aa a ]) )(x [(x E a x)a x,Cov(a )y ,Cov(yes decir, se requiere que 0aa12= Como se ten a que a1 = a1, lo anterior es equivalente a 0aaaaaa121212= = = Por tanto, = 0aa12los vectores sean este modo, tendremos que maximizar la varianza de y2, es decir, (a2 a2), donde == 0 aa1 aa1222Se toma la funci n: 1222222aa 1) a(a aa )L(a =con lo cual, 0 a a2 a2 a)L(a12222= = multiplicando por ( 1a) la expresi n anterior, queda.)

9 0 aa221= , advi rtase que === 1 aa0aa aa111221 Luego, 0 aa2 aa2 1221= = = ya que Cov(y2, y1) = este modo, 0a)(a2a2 a a2 a2 a)L(a22212222I= = = = An logamente al caso anterior, elegimos como el segundo mayor autovalor de la matriz con suautovector asociado lisis COMPONENTES PrincipalesSantiago de la Fuente Fern ndez 4 Los razonamientos anteriores se pueden extender, de modo que al j simo componente lecorresponder a el j simo todos los COMPONENTES y (en total p) se pueden expresar como el productode una matriz formada por los autovectores, multiplicada por el vector x que contiene lasvariables originales (x1.)

10 , xp): xAy= =p21yyyyM =pp2p1pp22221p11211aaaaaaaaaALLLLLLL =p21xxxxM siendo = = =pp2211 )Var(y )Var(y )Var(yMLa matriz de covarianzas de y ser : = p21000000 LLLLLLL porque y1, .. , yp se han construido como variables tiene que, = == AA AVar(X)A Var(Y) o bien, AA =ya que A es una matriz ortogonal ( 1 aaii= para todas sus columnas) por lo que I AA= PORCENTAJES DE VARIABLILIDADS abemos que cada autovalor correspond a a la varianza del componente yi , que se defin a por mediodel autovector ai, es decir, Var(yi) = sumamos todos los autovalores, tendremos la varianza total de los COMPONENTES , es decir.