INTRODUCCIÓN

El caso de estudio y la problemática se basan en Paraguay donde, según PISA-D 2018, el 91,7% de los alumnos de 15 años aproximadamente no alcanza el nivel básico de competencias en matemáticas, es decir, 9 de cada 10 alumnos no saben interpretar situaciones que requieren una inferencia directa, no pueden utilizar fórmulas de nivel básico para resolver problemas o hacer interpretaciones literales de los resultados (Ministerio de Educación y Ciencias – MEC, 2018).

Por otro lado, el 76,2% de los alumnos no alcanza el nivel básico en las competencias de ciencias, en otros términos, 8 de cada 10 alumnos no son capaces de recurrir a conocimientos del día a día y a procedimientos básicos para identificar una explicación científica adecuada, interpretar datos e identificar el problema que se está tratando en un diseño experimental simple (MEC, 2018). Con respecto a la competencia lectora, el 67,8% de los alumnos no alcanza el nivel básico. En resumen, cerca de 7 de cada 10 alumnos no son capaces de localizar uno o más fragmentos de información, deducirlos y seguir con una serie de orientaciones, no reconocen la idea principal de un texto, no comprenden las relaciones, no interpretan su significado dentro de una parte limitada del texto (MEC, 2018).

En el presente estudio se evalúa la influencia de ciertas variables en la producción educativa en Paraguay, entendiendo esta producción¹como las competencias escolares en matemáticas, ciencias y lectura de los alumnos de 15 años, a partir de los resultados de las pruebas estandarizadas del Programa Internacional para la Evaluación de Estudiantes para el Desarrollo (PISA-D, por su sigla en inglés)de la Organización para la Cooperación y el Desarrollo Económico(OCDE)correspondientes al año 2018 (OCDE,2019).

Siguiendo a ^{Hanushek (1979}) y al MEC (2019) se seleccionaron las siguientes variables para estimar su influencia en la producción educativa y estas son i) individuales como la repitencia deun grado y la asistencia al preescolar por parte del alumno; ii) familiares como el estatus social,económico y cultural de la familia a la que pertenece el alumno y; iii) escolares como el climade disciplina dentro del aula del alumno, cantidad de docentes dedicados a tiempo completo aenseñar en la escuela del alumno, titularidad de la escuela (pública o privada) a la que asiste elalumno, la disponibilidad de libros de matemáticas dentro de la escuela para los alumnos y la cantidad de alumnos por docente.

Cabe señalar que competencias se refiere no solo a lo que los alumnos saben de matemáticas, ciencias y lectura, sino también a lo que pueden hacer con lo que saben (OCDE, 2016). Este es un concepto más amplio que el rendimiento educativo, que según Jiménez (2000) quien es citado por Edel (2003), corresponde a un nivel de conocimientos demostrado en un área o materia específica, comparado con la norma de edad y nivel académico.

Estos niveles, así como también las competencias se encuentran condicionados por un conjunto de factores, variables o determinantes, que han sido ampliamente estudiados dentro delámbito de la economía de la educación, que según Brune y Valero (1996) es la disciplina que se ocupa del análisis de las implicancias económicas de los procesos educativos, donde la economía aporta sus teorías y métodos para comprender los aspectos económicos de la educación(^Pineda,2001).

En este ámbito, los economistas están interesados en la manera en que la sociedad organiza y utiliza recursos escasos para producir varios tipos de conocimientos y la manera en que estos se distribuyen en la sociedad(^{Brewer,Hentschkey Eide,2010}).

La influencia de determinantes individuales, familiares y escolares en la producción educativa puede observarse mediante la estimación de una Función de Producción de Educación (FPE),aplicada en el presente estudio, la cual muestra la manera en que diferentes factores concernientes al proceso de aprendizaje se relacionan con la producción educativa. ^{Hanushek (1979})esboza un modelo conceptual de FPE, con el objetivo de relacionar los determinantes educativos con un resultado dado.

Asimismo, permite comprender el nivel de producción educativa de un alumno como resultado de una combinación de diversos insumos que se clasifican en: i) individuales, que hacen relación directa con el alumno; ii) familiares, entorno que lo rodea y iii) escolares, características de la escuela a la que asiste.

La FPE se basa en varios supuestos que sirven de sustento teórico a su resultado, puesto que Hanushek (1979) asemeja la producción educativa a la de cualquier otro bien, bajo supuestos fuertes, existe un producto final (producción educativa o competencias adquiridas) en función a determinados insumos².

Para esto, se tiene en cuenta un conjunto de supuestos como los recogidos por ^{Grijalva (2015})a partir de diversos autores: i) La producción educativa es influenciada por determinantes individuales, familiares y escolares; ii) La producción educativa es cuantificable mediante pruebas estandarizadas; iii) La FPE es acumulativa, es decir, los determinantes que influyeron, en el pasado, en el aprendizaje del individuo, presentan efectos en sus resultados cognitivos presentes, pero también su efecto decrece mientras más tiempo haya pasado desde su consumo y iv) Los determinantes no se comportan eficientemente, debido a que la educación es un servicio que utiliza los determinantes para individuos muy diferentes.

^{Hanushek(1979}) señala la posibilidad de medir la producción educativa mediante pruebas estandarizadas. El presente artículo emplea los resultados de la evaluación estandarizada PISA-D, donde se describe el desempeño de los alumnos mediante niveles de competencia e identifican un nivel básico (denominado nivel 2) para cada área evaluada: matemática, ciencias y lectura. Este es considerado como el nivel de aptitud mínimo en competencia matemática, científica y lectora que se espera alcance un alumno al finalizar la Educación Escolar Básica con 15 años aproximadamente, es decir, aquel en el que los alumnos son capaces de enfrentarse a tareas que requieren al menos una capacidad mínima para pensar de manera autónoma y demuestran competencias que les permitirán participar de manera efectiva y productiva en su vida como alumnos, trabajadores y ciudadanos ³.

Como antecedentes dentro de la literatura se encuentran: el Informe “Equality of Educational Opportunity” de ^{Coleman et. al (1966}) que estudia la igualdad de oportunidades en educación en Estados Unidos e instala, entre otros puntos, la idea de la importancia del contexto familiar de los alumnos en sus resultados educativos.

Luego,Brewery Ehrenberg(1994)evidencian que el nivel de instrucción de los profesores y su experiencia es relevante para el rendimiento académico de los alumnos en Estados Unidos(^{Grijalva,2015}).Asimismo,^{Hanushek,Kainy Rivkin(1998})concluyen que las características de los profesores están relacionadas con el logro educativo de los alumnos en Texas, Estados Unidos. Continuando de manera cronológica, ^{Maradona y Calderón (2004}) evidencian que, para la provincia de Mendoza en Argentina, el factor más significativo relacionado con la producción educativa de calidad es el nivel socioeconómico del hogar de donde proviene el alumno. ^{Deutschy Silber(2010})determinan que, para Uruguay y México, el capital humano de los padres del alumno es más importantes para la producción educativa. En cambio, la localización de la escuela afecta mayormente al rendimiento educativo en Brasil. En Colombia, el género del alumno tiene mayor incidencia que en Chile, donde prima la influencia de la escuela. Por otro lado,^Singh(2013),a partir de un estudio en India, recomienda el uso adecuado de los libros de ejercicios por parte de los alumnos como determinante de la producción educativa.

En Paraguay, ^{Baird y Elías (2014}) identifican como factores asociados al aprendizaje, las condiciones del hogar, la familia y otros aspectos del entorno. Además, evidencian que los resultados de aprendizaje son mayores donde existen programas de complemento nutricional, y donde los directores tienen una mayor autonomía.

^{González(2015})concluye que, para Cuenca en Ecuador, el contexto familiar es un factor relevante para el rendimiento académico. Asimismo,^{Grijalva(2015})menciona que, para el Ecuador, los determinantes que más afectan a la producción educativa son: la habilidad innata del niño, los ingresos de la familia, el capital humano de la familia y las características del profesor^{Doneschi(2017})afirma que, para Uruguay, los resultados académicos de las pruebas PISA están asociados al contexto familiar.

De esta manera, se puede observar que los determinantes considerados como explicativos de la producción educativa han evolucionado y se constata que el proceso educativo responde a las particularidades culturales, socioeconómicas y políticas de cada país y los resultados pueden variar por la metodología, la muestra o los datos utilizados. La heterogeneidad de evidencias no permite identificar un factor determinante principal

MATERIALES Y MÉTODOS

La investigación se enmarcó en un diseño no experimental transversal de tipo descriptivo y correlacional-causal. Se procedió a la estimación de una FPE para Paraguay a partir de las bases de datos de las pruebas PISA-D correspondiente al año 2018, con datos a nivel de alumnos, escuelas y profesores, publicadas por la OCDE(2019).

La base de datos es de corte transversal con información de 4.510 alumnos de 15 años de Paraguay, distribuidos en 205 establecimientos educativos⁴ públicos, privados o subvencionados,que son representativos de toda la población con esta edad aproximada que cursa al menos el 7° grado⁵, además, cuenta con datos correspondientes a sus entornos familiares, institucionales ya sus docentes. La base de datos original fue depurada de missing values o valores perdidos delsistema, de manera a evitar sesgos en la inferencia estadística, por tanto, la información procesada corresponde a 2.730 alumnos y 148 escuelas.

Para el proceso de estimación se optó por el Modelo Jerárquico Lineal (HLM, por su sigla en inglés), también llamado modelo multinivel, utilizado para estudiar fenómenos sociales donde los participantes actúan en distintos niveles jerárquicos, es decir, en bases de datos en estructuras anidadas⁶. Esta es la realidad de los sistemas educativos, donde alumnos se encuentran agrupados dentro de escuelas, esto hace que los mismos compartan una serie de experiencias dentro de las escuelas y las observaciones sean dependientes entre sí(^{Iñiguez-Berrozpey Marcaletti,2018}).

Los HLM consisten, en esencia, en un modelo nulo y otro modelo con variables explicativas. Para este último, se estima una regresión para las características relativas al alumnos y su entorno familiar (que corresponden al nivel 1 que están anidadas en el nivel 2) y para las características escolares que influyen en el resultado educativo de los alumnos y que comparten con otros alumnos (nivel 2 que engloba al nivel 1). Este modelo posibilita conocer la proporción de la variación de la producción educativa que se debe a características del alumno y a las de la escuela. Con el objeto de reducir la complejidad de la definición matemática del proceso de modelización multinivel o jerarquizada, se muestra la especificación final ⁷⁷como figura en el modelo 1:

DondeY _ij es la producción educativa de cada alumnoide la escuelaj;γ ₀₀ es la media general de la producción educativa; γ ₀₁ el coeficiente⁸ de los determinantes escolares z _j pertenecientes al nivel 2; γ ₁₀ el coeficiente de los determinantes individuales y familiares x _ij correspondientes al nivel 1,por esa razón el subíndiceique representa al alumno. Asimismo,u _0j eselefectoaleatorioasociadoalasescuelasjye _ij el efecto aleatorio asociado con el alumnoiy la escuelaj.

Los HLM están compuestos de dos partes, una general a todos los niveles, que es la llamada parte fija (efectos fijos o fuera del paréntesis), y otra que representa lo específico de cada nivel (efectos aleatorios o dentro del paréntesis), que varía y se estima a través de la varianza en los distintos niveles.Los HLM como cualquier otro modelo de regresión, tienen algunos supuestos, sin cuyo cumplimiento las estimaciones obtenidas no serían válidas. Los principales supuestos son: el error tiene media nula y varianza constante, es decir, el error es homocedástico⁹y,el error debe tener una distribución normal¹⁰para que se puedan inferir los resultados de la muestra a la población(^Murillo,2008).

Así también, se calculó el Coeficiente de Correlación Intraclase (CCI), que representa la proporción de la varianza atribuible a las escuelas. Entonces, la proporción de la varianza explicada por características del alumno es 1-CCI. De acuerdo a ^{Dabenigno, Austral, Iñigo y Larripa (2014}), CCI puede variar de 0 (no hay variabilidad inter -entre- escuelas o escuelas más homogéneas) a1 (no hay variabilidad intra -dentro- escuelas o escuelas más heterogéneas). Para que se considere adecuado utilizar el HLM, el valor del CCI debe ser superior al 10%(^{Gamazzo, Martínez-Abad,Olmos-Migueláñez y Rodríguez-Conde,2018})y se define de la siguiente manera:

Donde el términoτ ₀₀ representa la variabilidad entre escuelas yσ ² se refiere a la variabilidad entre alumnos. Cabe destacar que este cálculo se puede realizar tanto para el modelo nulo como para el modelo final, la diferencia entre ambos es la medida en que las variables incluidas en el modelo explican la variabilidad entre escuelas.

Adicionalmente,para evaluar la calidad del modelo se calculó la medida en que la varianza de la escuela y del alumno es explicada por el modelo,es decir,su capacidad explicativa(^Murillo,2008). Esto se realiz ómediante el coeficiente de determinación,R2,que toma valores entre 0 y 1,un valor próximo a1 se interpreta como un buen ajuste del modelo.Se calcula con la siguiente fórmula:

Donde var(final) es la varianza del modelo final, es decir, del que se quiere demostrar su poderexplicativo y, var(nulo) hace referencia a la varianza del modelo nulo. Este procedimiento sepuede aplicar para los valores de ambos niveles, 1 y2.

En el caso específico de esta investigación, se analizaron las variables de PISA-D 2018, y se constató que se encuentran anidadas, los alumnos (nivel 1) están agrupados en escuelas (nivel 2), es decir, que los alumnos comparten ciertas características dentro de cada grupo, que difieren de las características de otros grupos y, por lo tanto, no se puede asumir que los individuos dentro del grupo sean independientes

La presente investigación seleccionó ciertas variables para la estimación de la FPE que son aplicables al caso paraguayo mediante un análisis de correlaciones simples de las variables con los resultados de las pruebas PISA-D. Aunque las correlaciones no siempre son un estimador preciso de la relación con la producción educativa en estructuras jerarquizadas, una correlación significativa es condición necesaria para aportar capacidad explicativa al modelo multinivel. En el presente trabajo se consideraron solamente ocho variables explicativas con correlaciones significativas y sustento teóricoTabla 1), puesto que para la estimación se empleó el software HLM 7 de ^{Raudenbush, Bryk, Cheong,Congdon Jr., y Du Toit (2011}) en su versión estudiante¹¹ que permite la incorporación de hasta cuatro variables predictoras por nivel, es decir ocho en total.

De esta manera,con base al modelo de^{Hanushek(1979}),que relaciona la producción educativa con insumos individuales,familiares y escolares y con la adaptación de este ala metodología de los HLM y,teniendo en cuenta la disponibilidad de datos deCOMPETENCIAS _ij en matemáticas,ciencias y lectura(como variables dependientes),la FPE de alumnos de1 5años en Paraguay correspondiente al año 2018 se puede expresar de acuerdo con la siguiente especificación:

Posteriormente, cada modelo se sometió a pruebas de verificación cumpliendo con las pruebas de supuestos requeridas para que las estimaciones sean válidas.

RESULTADOS Y DISCUSIÓN

De acuerdo con las estimaciones obtenidas, un mejor entorno económico, social y cultural implicó mejores resultados en torno a 9,06 puntos en las pruebas de matemáticas, 8,83 en ciencias y 9,56 en lectura (SOCIOEC es positiva y significativa). De igual manera, si los alumnos asistieron a algún grado de la educación inicial tendrían un puntaje esperado mayor en 9,93 puntos en matemáticas, 11,43 en ciencias y 12,45 en lectura (PREESCOLAR es positivo y significativo)

Asimismo, un clima de disciplina dentro del aula incidió positivamente en la producción educativa en 3,28 puntos en matemáticas, 2,44 en ciencias y 2,58 en lectura (DISCIPLINA es positiva y significativa) e igualmente si una escuela cuenta con libros para el estudio de las matemáticas incidió positivamente en la producción educativa en 14,79 puntos en matemáticas, 16,58 en ciencias y 16,13 en lectura, convirtiéndose en la evidencia positiva más fuerte(LIBROS es positiva y significativa).

En menor medida(0,37 puntos en matemáticas,0,48 en ciencias y 0,56 en lectura)impactó en la producción educativa la cantidad de docentes a tiempo completo dentro de una escuela(DOCENTE es positiva y significativa). La Tabla 2 expone los coeficientes estimados, con sus respectivos niveles designificancia.

Por su parte, la brecha aumentó al comparar a los alumnos que repitieron algún grado y aquellos que no lo han hecho, en aproximadamente en 35,69 puntos para matemáticas, 34,10 paraciencias y 36,61 para lectura (REPITENTE es negativa y significativa) y si asistieron a una escuelapública se amplió en 44,56 puntos en matemáticas, 50,41 en ciencias y 57,43 en lectura (EPUBLICAes negativaysignificativa).

Cabe destacar que la cantidad de alumnos a cargo de un docente presentó poca influencia en laproducción educativa (0,53 puntos en matemáticas, 0,58 en ciencias y 0,77 en lectura), aunquese esperaba que a una mayor cantidad de alumnos por docente el efecto se torne negativo (RATIOes positiva y significativa).

Asimismo, la estimación del modelo nulo, en el caso de la FPE, permitió conocer el puntaje promedio general de la producción educativa en el área de matemáticas, que fue de 329,72 puntos¹²¹²,para el área de ciencias fue de 363,29 y para el área de lectura fue de 373,76.

El modelo nulo permitió calcular el CCI, que arrojó un resultado de 27% de la varianza atribuible a las escuelas y por ende un 73% de la varianza fue explicada por las características del alumno para el caso de matemáticas, asimismo, significó que el modelo se puede estimar como HLM (CCI>10%).

Para el área de ciencias el CCI fue de 29% (71% de la varianza fue explicada por las características del alumno) al igual que en lectura. Además, mediante este indicador se dedujo que hay poca variabilidad inter-escuelas, es decir, las escuelas paraguayas donde acuden los alumnos de 15 años son más homogéneas entre sí, debido a que menos del 30% de las diferencias en la producción educativa de estos alumnos fueron explicadas gracias a las particularidades de las escuelas. El modelo final, con la incorporación de las variables explicativas de nivel 1 y 2, arrojó un resultado promedio de la producción educativa de 336,02 puntos en matemáticas, 370,51 en ciencias y 381,91 en lectura. Para el caso de matemáticas y lectura, el CCI del modelo final es 19%, valor menor al del modelo nulo, debido a que se incorporaron variables predictoras de nivel 1 y 2 (81% de la varianza es explicada por características de los alumnos), lo que significó que las variables incluidas posteriormente al modelo nulo explicaron el 8% la variabilidad entre escuelas para matemáticas y 11% aproximadamente para lectura.

El CCI del modelo final de ciencias es 20%, valor menor al del modelo nulo, debido a que se incorporaron variables predictoras de nivel 1 y 2 (80% de la varianza es explicada por características de los alumnos), lo que significó que las variables incluidas posteriormente al modelo nulo explicaron aproximadamente el 10% la variabilidad entre escuelas. Estas medidas se observan en laTabla3.

El R² para el nivel 2 arrojó un resultado de 42% para el modelo de matemáticas, 46% para ciencias y 48% para lectura, es decir, las variables predictivas del modelo explicaron en estas medidas la varianza entre escuelas, esto pudo deberse a la inclusión de mayor cantidad de variables escolares con respecto a las otras variables.

Por otro lado,se observa que el modelo final presenta un ajuste del 18% para el modelo de matemáticas, 19% para ciencias y lectura (similares a los CCI del modelo final), es decir, la varianza total fue explicada en estas medidas. Así también, el modelo explicó un 9% de la varianza entre alumnos en matemáticas,8% en ciencias y 7% en lectura,esta escasa variabilidad explicada pudo haber tenido su causa en la poca inclusión de variables individuales y familiares. Conforme a estos valores y especificaciones,los resultados son razonables.

En síntesis, el modelo final predijo que solo el 19% de la variación en la producción educativa de los alumnos en matemáticas está explicada por las escuelas, 20% en ciencias y 19% en lectura, y que las variables seleccionadas en el modelo final explicaron un 42%, 46% y 48% respectivamente de la variación entre escuelas.

CONCLUSIONES

Los coeficientes estimados en la FPE para Paraguay corroboran lo evidenciado por la literatura en cuanto a las variables que influyen en la producción educativa. Los resultados arrojan evidencia que apoya la idea de que ante un mejor nivel socioeconómico de la familia con todo lo que esto conlleva (determinante familiar), mejores son las competencias escolares de los alumnos, al igual que un mayor acceso por parte de los alumnos a libros de matemáticas en la escuela y todo lo relacionado (determinante escolar), ayuda a mejorar sus competencias escolares.

Asimismo, la estimulación temprana del alumno mediante la asistencia a la educación inicial que a su vez tiene relaciones fuertes con el entorno familiar (determinante individual), presenta ganancias al momento de la adquisición de competencias escolares.

Esto lleva a concluir que los determinantes mencionados son los que mayor influencia positiva presentan sobre la producción educativa de alumnos de alrededor de 15 años en Paraguay, por el contrario de la repitencia y las características de las escuelas públicas en promedio. Por otro lado, los porcentajes de varianza explicados por los modelos finales son moderados, compatible con estudios similares realizados por el MEC (2019).

Adicionalmente, en todos los modelos se observa una fuerte concentración de la varianza en el nivel de alumnos, lo que muestra que las escuelas paraguayas son relativamente homogéneas en cuanto a sus características y que la producción educativa varía más dentro de las escuelas que entre las mismas, lo que también es consistente con estudios del MEC (2019). La limitación principal de la investigación es la restringida cantidad de variables incorporadas y con respecto a esto, se recomienda el estudio de la FPE con la incorporación de otras variables de control.