class: front <!--- Para correr en ATOM - open terminal, abrir R (simplemente, R y enter) - rmarkdown::render('static/docpres/07_interacciones/7interacciones.Rmd', 'xaringan::moon_reader') About macros.js: permite escalar las imágenes como [scale 50%](path to image), hay si que grabar ese archivo js en el directorio. ---> .pull-left[ # Encuestas Sociales ## Juan Carlos Castillo ## Sociología FACSO - UChile ## 2do Sem 2022 ## [.green[encuestas-sociales.netlify.com]](https://encuestas-sociales.netlify.com) ] .pull-right[ .right[ <br> ## .yellow[Sesión 3: Medición]  ] ] --- layout: true class: animated, fadeIn --- class: inverse ## .red[Sesión anterior] .pull-left[ ### Aspectos centrales de una encuesta: ] .pull-right[ .content-box-gray[ .red[ 1. Preguntas y registro de respuestas 2. Muestra 3. Resultados cuantitativos (que sean representativos de la población) ]]] --- class: inverse .pull-left-narrow[ <br> <br> ## Error total de encuestas <br><br> RatSWD (2015) ] .pull-right-wide[ ] --- class: roja ## Esta clase: # Operacionalización, error de medición y construcción de preguntas --- class: roja, middle, right # Validez  ---  --- # Operacionalización .center[] --- # Operacionalización .center[] --- # ¿Qué es validez? - Respuesta tradicional: cuando mide lo que se supone debería medir. - Respuesta actual: la validez no es propiedad de un instrumento, sino más bien de las **inferencias** que se otorgan a un determinado resultado, puntaje o test score. -- .center[ ### “The degree to which all the accumulated evidence supports the intended interpretation of test scores for the proposed purpose” (AERA, APA, NCME, 1999) ] --- class: middle, right ## “La validez no es una propiedad del test o evaluación como tal, sino más bien del significado de los puntajes del test. Estos puntajes son una función no solo de los ítems o condiciones de estímulo, sino también de las personas que responden, así como del contexto de la evaluación. En particular, lo que debe ser válido es el significado o la interpretación de la puntuación; así como cualquier implicación para la acción que este significado implique" Messick, 1995 --- # Validez - La validez proviene de evidencia acumulada a la fecha, - La validez es un tema de grados (más/menos) más que absolutos (es/no es). - Dada la diversidad de usos de las mediciones en base a instrumentos, las bases para la interpretación válida de los puntajes puede provenir de diferentes métodos --- # Validación - Es el proceso de juntar y evaluar evidencia acerca de la validez - En la validación, tanto quien desarrolla el instrumento como quienes responden juegan un rol fundamental - Información acerca del proceso de validación debe aparecer en el manual del test - En algunos casos se requerirá de estudios de validación local --- .left-column[ # Tipos de validez ## Contenido ] .right-column[ - Establece un juicio sobre qué tan adecuadamente un instrumento de medición da cuenta del universo de conductas/atributos que se supone debe representar - Ej: un instrumento con validez de contenido de los temas de un curso debería representar a todos los temas cubiertos - Métodos asociados: revisión literatura y consulta con expertos - Problemas: Sesgos / subjetividad] --- ## Ej. cuadernillo de validación por jueces .center[] --- .left-column[ # Tipos de validez ## Contenido ## Criterio ] .right-column[ .medium[ - Instrumento se considera válido en la medida que demuestra estar relacionado con criterios establecidos, en dos versiones: - **Validez concurrente**: relación con una medida obtenida al mismo tiempo - **Validez predictiva**: grado en el cuál un puntaje predice una medida criterio - Problemas - En muchos casos no hay criterios específicos establecidos - Los criterios pueden presentar problemas de confiabilidad/validez ] ] --- .left-column[ # Tipos de validez ## Contenido ## Criterio ## Estructura interna ] .right-column[ - Grado en que las relaciones entre los ítems de una dimensión se corresponden con el proceso de operacionalización. .medium[- indicadores de dimensiones (factores) del constructo (test) corresponden a los predichos teóricamente. ] - Técnicas estadísticas asociada: - Análisis Factorial Exploratorio (AFE) - Análisis Factorial Confirmatorio (AFC). ] --- .center[] .small[ Fuente: [Magaña et al.(2017). Análisis Factorial Confirmatorio para medir las limitantes percibidas en el pregrado para el desarrollo de actividades de investigación. Nova scientia, 9(18), 515-536.](http://www.scielo.org.mx/scielo.php?script=sci_arttext&pid=S2007-07052017000100515) ] --- class: inverse ## .red[Resumen validez] - se relaciona con evidencia acumulada en relación a la inferencia realizada en base a valores de instrumentos de medición y su relación con el constructo operacionalizado - tres aspectos a considerar: contenido, criterio y estructura - la validez es un atributo de los instrumentos, no de las encuestas - la validez no se mide directamente (no hay un índice de validez), es un proceso de acumulación de evidencia --- class: roja, middle, right # Medición  --- class: inverse middle # Actividad (duplas): - diseñe una medición del ingreso económico familiar --- # Medir .pull-left[ - “asignar números, símbolos o valores a las propiedades de objetos o eventos de acuerdo con reglas” (Stevens, 1951) - Vincula conceptos abstractos con indicadores empíricos ] .pull-right[  ] --- .center[  ] --- .center[  ] --- # Error de medición El error de medición se define como la .red[diferencia] entre la .red[respuesta esperada] en base de la operacionalización del constructo (es decir, las preguntas o ítems formulados en el cuestionario) y la .red[respuesta expresada] .center[ .content-box-red[ constructo operacionalizado <-> constructo medido ]] --- # Error de medición Según la teoría clásica de test: .center[ .content-box-red[ *valor observado= valor verdadero + error* `$$X=T+E$$` $$\sigma²_x=\sigma²_t + \sigma²_e $$ *varianza= varianza verdadera + varianza de error* ]] --- ## Recordar: varianza .pull-left[  ] .pull-right[ <br> `$$\begin{split} \sigma^2&=\frac{\sum_{i=1}^{n}(x_i - \bar{x})(x_i - \bar{x})} {n-1} \\ &=\frac{\sum_{i=1}^{n}(x_i - \bar{x})^2} {n-1} \end{split}$$` .content-box-red[ -> varía = tiene VARIANZA ] ] --- class: roja # Por lo tanto: toda medición tiene una parte de error. ## ¿Qué parte es error? ## ¿Cómo minimizar el error de medición? --- class: roja middle ## Concepto central: # CONFIABILIDAD --- # Confiabilidad y Validez .center[] --- class: roja center middle # La confiabilidad puede ser definida como el grado de .yellow[consistencia] entre mediciones del mismo atributo ---  --- .pull-left-narrow[ <br> <br> <br> # **Confiabilidad** ] .pull-right-wide[ .center[] ] --- .pull-left-narrow[ <br> <br> <br> # **Confiabilidad** ] .pull-right-wide[ .content-box-red[ - Mientras mayor es la **proporción de la varianza** atribuida a varianza verdadera, más confiable es el instrumento - La medición de la confiabilidad intenta **aislar la varianza de error** de la verdadera, y cuantificar la verdadera - En la realidad el puntaje verdadero no existe, dado que no hay mediciones perfectas. Por lo tanto, debemos **ESTIMARLO**] ] --- .pull-left-narrow[ <br> <br> <br> # **Confiabilidad** ] .pull-right-wide[ <br> .content-box-green[ - La mayor parte de las estimaciones de la confiabilidad se asocian al concepto de **correlación** - La correlación es una medida de asociación entre dos variables - Varía entre -1 y +1 - Mientras más cerca de |1|, mayor es la asociación ]] --- .pull-left-narrow[ <br> <br> <br> # **Correlación** ] .pull-right-wide[ .center[  ]] --- # Confiabilidad: Tipos .left-column[ ## Estabilidad temporal ] .right-column[ - correlación entre puntajes obtenidos en distintos momentos en el tiempo - limitaciones: .medium[ - Se producen procesos de **aprendizaje** simplemente por aplicar muchas veces un instrumento - Entre aplicación y aplicación el sujeto puede **cambiar** en la variable medida.] ] --- # Confiabilidad: Tipos .left-column[ ## Estabilidad temporal ## Formas paralelas ] .right-column[ - Dos instrumentos compuestos de diferentes ítems y los ítems que los componen miden igualmente bien el concepto. - **Coeficiente de fiabilidad**: correlación entre las puntuaciones obtenidas por los sujetos en dos formas paralelas de un instrumento (se conoce como coeficiente de equivalencia). - **Desventaja**: dificultad en construir formas paralelas homogéneas ] --- # Confiabilidad: Tipos .left-column[ ## Estabilidad temporal ## Formas paralelas ## Consistencia interna ] .right-column[ - grado en el cual una serie de items asociados a una misma dimensión correlacionan entre sí (para baterías de ítems). - Medición: KR20 (para dicotómicos), KR21 o **Alfa de Cronbach** (para continuos), en general sobre 0.7 es considerado como aceptable - Cálculo de Alfa de Cronbach: lo veremos en las sesiones de análisis de resultados ] --- class: inverse middle center ## .red[Estándares de calidad (RatSWD 2015)] --- ## Estandar 1: Desarrollo de instrumentos .content-box-red[ Debe indicarse el objeto y propósito del desarrollo del instrumento y la debe documentarse la metodología de desarrollo. ] -- ## Estándar 2: Validez .content-box-red[ La interpretación de los valores medidos con el instrumento debe formularse explícitamente y deben proporcionarse pruebas que respalden esta interpretación.] --- ### Estándar 3: Minimización de los efectos del método .content-box-red[ Al desarrollar el instrumento, abordar e investigar los posibles sesgos de método que influyen sistemáticamente en la el comportamiento de respuesta de los participantes y los resultados de esta investigación deben ser documentados.] -- ### Estándar 4: Confiabilidad .content-box-red[ Se debe evaluar la confiabilidad, se debe justificar la elección del método de evaluación y los parámetros de confiabilidad deben documentarse y evaluarse.] --- ### Estándar 5: Minimización del error de procesamiento .content-box-red[ Se deben proporcionar y justificar instrucciones estandarizadas para la recopilación y el análisis de datos. ] -- ### Estándar 6: Otras características de calidad .content-box-red[ Debe proporcionarse información sobre la eficiencia económica y la razonabilidad de la instrumento y la actualidad de los parámetros psicométricos ] --- class: roja ## Tarea prox clase: análisis de pregunta: Seleccionar alguna pregunta / batería de preguntas en un tema de interés de alguna encuesta (puede ser la misma encuesta sobre la que se realizó la ficha). - Revisar si es que en el manual /ficha técnica de la encuesta aparece información sobre el origen de la pregunta, validez y confiabilidad - Describir posibles problemas de validez en base a lo presentado en clases - Analizar utilidad, pertinencia y posibles problemas de construcción de estas preguntas --- class: front .pull-left[ # Encuestas Sociales ## Juan Carlos Castillo ## Sociología FACSO - UChile ## 2do Sem 2022 ## [.green[encuestas-sociales.netlify.com]](https://encuestas-sociales.netlify.com) ] .pull-right[ .right[ <br>  ] ]