REGRESIÓN LINEAL SIMPLE - dcb.unam.mx

1 Preparado por: Irene P. Valdez y N LINEAL SIMPLEEl an lisis de regresi n es una t cnica estad stica para investigar la relaci n funcional entre dos o m s variables, ajustando alg n modelo matem tico. La regresi n LINEAL SIMPLE utiliza una sola variable de regresi n y el caso m s sencillo es el modelo de l nea recta. Sup ngase que se tiene un conjunto de npares de observaciones (xi,yi), se busca encontrar una recta que describa de la mejor manera cada uno de esos pares = - = 3 (variable inde pe ndie nte o re gre siva)Variable respuestPreparado por: Irene P. Valdez y AlfaroSe considera que la variable Xes la variable independiente o regresiva y se mide sin error, mientras que Yes la variable respuesta para cada valor espec fico xide X; y adem s Yes una variable aleatoria con alguna funci n de densidad para cada nivel de ()ixYE()ixYfyiPreparado por: Irene P.

2 Valdez y AlfaroModelo LINEAL SIMPLE :x1xixn()iixxYE10 +=()ixYfiiixy ++=10 Regresi n LINEAL SimpleLos ise suponen errores aleatorios con distribuci n normal, media cero y varianza 2; 0y 1son constantes desconocidas (par metros del modelo de regresi n)iiixy ++=10Si la recta de regresi n es:XY10 +=Cada valor yiobservado para un xipuede considerarse como el valor esperado de Y dado xim s un error:Preparado por: Irene P. Valdez y AlfaroM todo de M nimos Cuadradospara obtener estimadores de 0y 1 Consiste en determinar aquellos estimadores de 0y 1que minimizan la suma de cuadrados de los errores i; es decir, los estimadores y de 0y 1respectivamente deben ser tales que: =nii12 = =++===niiniiiiiiixyxyxy1210121010)( Del modelo LINEAL SIMPLE :de donde:elevando al cuadrado:sea m 1 Preparado por: Irene P. Valdez y AlfaroAl derivar se obtiene un sistema de dos ecuaciones denominadas ecuaciones normales :0)(0)(1210112100= = ==niiniixyxy Seg n el m todo de m nimos cuadrados, los estimadores de 0y 1debe satisfacer las ecuaciones: = + += =====niiiniiniiniiniiyxxxxny1121101101 nxxnxyyxxyniininiiniiniiii2112111110 = ====== Cuya soluci n es:Ahora, el modelo de regresi n LINEAL SIMPLE ajustado(o recta estimada) es:xy10 +=Preparado por: Irene P.

3 Valdez y Alfaronxxnxyyxniininiiniiniiii21121111 ====== Con respecto al numerador y denominador de B1suelen expresarse como Sxyy Sxxrespectivamente: xxxySS=1 Puede demostrarse que:() = ====niiniinixxxxnxxSi122112 = =====niiiniiniiniiixyyxxnxyyxS1111)(yPre parado por: Irene P. Valdez y AlfaroPor otro lado puede demostrarse que los estimadores de 0y 1son insesgados con varianzas:()xxSV21 =() +=xxSxnV2201 2(la varianza de los errores i) es en general desconocida, para estimarla definimos el residuo como: y la suma de cuadrados del error como:iiiyye = ==niiEeSS12que al sustituir tambi n puede expresarse como:() ==niiiEyySS12 xyyyESSSS1 =() ==niiyyyyS12donde:iy Sea ()22 12 = ==nSSnyyMSEniiiEEntonces:()2 =EMSEEMS=2 Preparado por: Irene P. Valdez y AlfaroCon lo anterior, las varianzas estimadas de ()xxESMSV=1 () +=xxESxnMSV201 yson respectivamente:10 y Lo que permite efectuar pruebas de hip tes y calcular intervalos de confianza sobre los par metros de regresi n 0y s, si se cumplen los supuestos de que los ise distribuyen normalemte con media cero y varianza 2, entonces, los estad sticosxxESMST11 = + =xxESxnMST2001 ytienen cada uno distribuci n t de Student con n-2 grados de por: Irene P.

4 Valdez y AlfaroUn caso de particular inter s es probar la hip tesis:0 :0 :1110 = H HYa que si la pendiente es igual cero, entonces puede significar o que la variaci n de X no influye en la variaci n de Y, o que no hay regresi n LINEAL entre X y otro lado, si la pendiente es diferente de cero, entonces existir alg n grado de asociaci n LINEAL entre las dos variables, es decir, la variabilidad de X explica en cierta forma la variabiliad de Y (aunque no implica que no pueda obtenerse un mejor ajuste con alg n polinomio de mayor grado en X).Nota:si se utilizara en lugar de una recta, una curva con grado mayor a 1 en X pero grado 1 en los coeficientes de X, la regresi n sigue siendo LINEAL , ya que es LINEAL en los par metros de regresi n Y= o+ 1x+ 2x2 Preparado por: Irene P. Valdez y AlfaroEstimaci n de intervalos de confianza en torno a la l nea de regresi n:BANDAS DE CONFIANZAx1x0xn()01000 xxYEy +==Recta estimada de regresi nxiPara un punto espec fico x0 Preparado por: Irene P.

5 Valdez y Alfaro()01000 0xxYEyy +===Estimaci n de la respuesta mediapara un x0espec fico:()() +=xxoSxxnyV2201 ()() +=xxoESxxnMSyV201 tiene distribuci n normal, por lo que: 0 y)( 0 0oyyVy tiene distribuci n T de Student con n-2 grados de libertad, por lo que los l mites de confianza superior e inferior para la respuesta media dado x0est n dados por:)( 2,2/0onyVty Graficando los limites de confianza superior e inferior de para cada punto xide X pueden dibujarse las bandas de confianza para la recta de regresi observarse que la amplitud del intervalo de confianza es m nima cuando mientras que es mayor en los extremos de los valores observados de y Preparado por: Irene P. Valdez y AlfaroPredicci n de nuevas observacionesN tese que 0 y es la respuesta media para los valores de xi seleccionados paraencontrar la recta de regresi n; sin embargo, frecuentemente es de inter spredecir la respuesta futura para un xa dado seleccionado posteriormente.

6 Sea aY la observaci n futura en axx=., ; aY es una variable aleatoria convarianza 2 y por otro lado, la varianza de aaxy10 += es ()() ++=xxaEaSxxnMSyV211