INTRODUCCIÓN
La evaluación educativa está integrada por cuatro componentes básicos, estrechamente interrelacionados: la evaluación del aprendizaje, la evaluación curricular, la evaluación profesoral y la evaluación institucional (Ley Leyva & Espinoza Freire, 2021).
En el Paraguay, existen mecanismos de evaluación de carreras de grados y programas de postgrado, que tienen la finalidad de asegurar la calidad de educación superior, y que permanentemente, se ajusta, conforme van avanzando, las exigencias técnicas y profesionales de cada profesión, apuntando a la mejora continua, involucrando a toda la comunidad educativa, docentes, estudiantes, directivos institucionales, medio externos, sociedad en general, debido, a que existe un interés, tanto del Estado, como de la sociedad, por la calidad en todos los procesos educativos (Hernández Mendocilla, 2022).
El proceso de evaluación de la calidad de las carreras de grado y programas de postgrado, se realizan en el marco del cumplimiento de la Ley Nº 2072 (2003), de la Creación de la Agencia Nacional de Evaluación y Acreditación de la Educación Superior [ANEAES] (ANEAES, 2020a)
La Agencia es un órgano estatal con autonomía técnica y académica, dependiente del Ministerio de Educación y Ciencia, cuya finalidad consiste en evaluar y acreditar la calidad académica de las instituciones de educación superior
El proceso de evaluación de la calidad es totalmente voluntario, excepto para algunas carreras citadas en la Ley Nº 2072 (2003), cuya práctica puedan ocasionar daños contra la integridad de las personas o su patrimonio. Las Instituciones afectadas, se encuentra debidamente definidas en la Ley Nº 4995 (2013) de Educación Superior, que en su Artículo 3º menciona: a las Universidades, los Institutos Superiores y los Institutos de Formación Profesional del Tercer Nivel.
Una de las funciones de la Agencia según el Artículo 4º de la Ley Nº 2072 (2003), consiste en realizar las evaluaciones externas y acreditar la calidad académica de las carreras y programas de postgrado. Para el cumplimiento de sus funciones, primeramente, se establecen los mecanismos, procedimientos y requisitos para la evaluación y acreditación, cuya atribución recae en el Consejo Directivo de la ANEAES.
Se consideró oportuno, realizar esta investigación, debido a los constantes avances gestionados por la Agencia, con el objetivo de presentar una propuesta de innovación para en los procesos de evaluación y acreditación de la calidad en la educación superior.
Perspectiva de Evaluación de la Agencia
La ANEAES, ha emitido la Guía de Evaluación Externa, aprobada por Resolución Nº 213 del año 2018 y por la Resolución Nº 160 del año 2020 del Consejo Directivo, la misma está predestinada a servir de guía a los pares evaluadores, como un conjunto de orientaciones que ayuden a los mismos a la correcta validación de los informes de autoevaluación emitidos por los Comités de las Instituciones de Educación Superior (Cuellar Garay, et al., 2022a). Aquellas Instituciones, que, han postulado para el proceso de evaluación y acreditación de sus carreras de grado o programas de postgrados, deben tener en cuenta los criterios de calidad (Cruz Ortega, et al., 2021).
Así también, la Agencia, ha emitido la Guía de Autoevaluación aprobada por Resolución Nº 213 del Consejo Directivo en fecha 19 de julio de 2018 y por Resolución Nº 160 del Consejo Directivo en fecha 2 de julio de 2020, la misma tiene por objeto orientar a las Instituciones de Educación Superior para el proceso de autoevaluación, tanto para entender las exigencias de los criterios de calidad, como para formular los informes pertinentes para el efecto.
La autoevaluación tiene como propósito fundamental colectar información, valorarla y, como consecuencia de ello, orientar y reajustar los procesos de las carreras y de los programas por medio de una revisión introspectiva de su funcionamiento (ANEAES, 2020b).
Esto implica una revisión interna de todos los mecanismos, recursos, procesos y procedimientos aplicados por las Instituciones de Educación Superior (ANEAES, 2022), orientados por las dimensiones, criterios e indicadores de la matriz de calidad establecida para cada carrera o programa de postgrado, con el fin de alcanzar la integridad en sus procesos, con una coherente autorregulación que constituye un fundamento principal para la gestión institucional.
Esta gestión de autorregulación, implica la soberanía institucional para emitir sus propias normas, definir sus políticas, e integrar sus procesos, de tal modo a organizar sus planes estratégicos, y generar la documentación necesaria que sirva de base para regular las actividades de los procesos académicos, sin apartarse de las leyes generales y de los criterios de calidad, emitidos por la Agencia.
La Guía establece los beneficios de Autoevaluación, tanto para los actores como para las Instituciones, también establece la Organización y Planificación del Proceso, con la conformación del Comité de Autoevaluación, sus funciones, compromisos y normas de conducta que sirven de base para el logro del éxito de la evaluación. La asignación de responsabilidades, asegura una adecuada diligencia durante todo el proceso de autoevaluación
(Cuellar Garay, et al., 2022b). La Calidad, es una definición, que se vincula con la excelencia de los procesos y los resultados, con la finalidad de causar satisfacción en el beneficiario final, y un impacto positivo dentro de un contexto de cambio y actualización permanente, cuyo propósito es la mejora continua. En la educación, la calidad se centra en la mejora permanente de los procesos educativos, en la gestión institucional, en las personas, en los recursos y el impacto en la sociedad.
La Agencia establece los criterios de calidad cuyos miembros del comité deben realizar el análisis de los requisitos específicos y la evaluación de la disponibilidad de las evidencias, como también, el análisis de la matriz de calidad y lo que implica el desarrollo del mismo, una vez obtenida, todas las documentaciones que respalden los distintos procesos académicos, que sirven de evidencias para proceder al análisis de los resultados.
Una vez concluido todos los procesos mencionados más arriba, se procede a la Valoración de la calidad de la carrera y del programa (ANEAES, 2020b).
El juicio de valor sobre la calidad es el resultado del nivel de logro de los criterios de calidad (Matto Ríos, 2022), sobre la base de la valoración del grado de cumplimiento de los indicadores. Para la valoración de los indicadores se utilizará la escala definida en la tabla 1.
Escala valorativa | Descripción |
Cumple totalmente | Cuando el/los aspectos evaluados en el indicador se cumplen |
Cumple parcialmente | Cuando algún aspecto evaluado en el indicador no se cumple |
No cumple | Cuando ninguno de los aspectos evaluados en el indicador se cumple |
Fuente: ANEAES (2018b).
La evaluación del criterio se realiza una vez determinado el nivel de logro de cada uno de los indicadores asociados al mismo, con una escala cualitativa, al que se asociará una valoración numérica, según sea el resultado obtenido, conforme a la tabla 2 (ANEAES, 2020b).
Escala cualitativa | Descripción | Escala cuantitativa |
---|---|---|
Pleno | Cuando se cumple totalmente con todos los indicadores. | 5 |
Satisfactorio | Si la cantidad de indicadores es par, el criterio alcanza el nivel de satisfactorio cuando: Cumple totalmente con la mitad de los indicadores como mínimo y el resto cumple parcialmente Si la cantidad de indicadores es impar, el criterio alcanza el nivel de satisfactorio cuando: Cumple totalmente con la mayoría de los indicadores como mínimo y el resto cumple parcialmente. | 4 |
Suficiente | Si la cantidad de indicadores es par, el criterio alcanza el nivel de suficiente cuando: Cumple totalmente con la mitad de los indicadores como mínimo y en el resto de los indicadores hay al menos uno que no cumple. Si la cantidad de indicadores es impar, el criterio alcanza el nivel de suficiente cuando: Cumple totalmente con la mayoría de los indicadores como mínimo y en el resto de los indicadores hay al menos uno que no cumple. | 3 |
Escaso | Si la cantidad de indicadores es par, el criterio alcanza el nivel de escaso cuando: Cumple totalmente con menos de la mitad de los indicadores. Si la cantidad de indicadores es impar, el criterio alcanza el nivel de escaso cuando: Cumple totalmente con menos de la mayoría de los indicadores. | 2 |
No se cumple | Cuando no se cumple con ninguno de los indicadores. | 1 |
Fuente: (ANEAES 2020b).
Posteriormente, la Agencia, ha emitido la Guía para la elaboración del Informe de Autoevaluación aprobada por Resolución Nº 175 del Consejo Directivo en fecha 27 de julio de 2020, la misma tiene por objeto orientar a las Instituciones de Educación Superior para el proceso de redacción de informes como resultado de una adecuada, ordenada y sistemática valoración de las evidencias y su grado de cumplimiento de cada uno de los indicadores y por consiguiente con los criterios de calidad establecidos.
La guía establece en su concepto que el informe de autoevaluación debe mostrar el resultado final del proceso, ofreciendo una imagen realista de la carrera teniendo en cuenta el cumplimiento o no de los indicadores, con una redacción claramente sencilla y significativa.
La estructura del informe cuenta con la propuesta de redacción teniendo en cuenta los aspectos formales, además, la descripción del proceso de autoevaluación, que debe ser coherente con las evidencias obtenidas y la confiabilidad de las fuentes de informaciones y demás elementos importantes. Otro apartado, es la síntesis evaluativa, en donde se debe exponer el nivel de cumplimiento de los criterios de calidad.
Para el cumplimiento de este proceso, la Matriz de calidad está distribuida en 5 Dimensiones, 14 Componentes, 29 Criterios y 192 Indicadores (Tabla 3).
Dimensiones | Componentes | Criterios | Indicadores |
---|---|---|---|
1. Gobernanza de la Carrera | 2 | 6 | 40 |
2. Proyecto Académico | 4 | 9 | 56 |
3. Personas | 4 | 9 | 56 |
4. Recursos | 2 | 3 | 25 |
5. Resultado e Impacto | 2 | 2 | 15 |
Totales | 14 | 29 | 192 |
Fuente: Elaboración Propia, basado en la Guía de elaboración de informe aprobado por la Resolución Nº 175 (2020).
La Agencia propone los criterios para la redacción del Informe, que sean de carácter, técnico, que se cumpla una metodología apropiada para recabar y evaluar la información procesada, objetivo, que muestra la imagen fiel y no distorsionada de lo evaluado sobre la base de las evidencias obtenidas y aceptadas, representativo, que involucra a todos los actores de la comunidad educativa o el contexto educativo y analítico, desea llegar a la profundidad y en forma detallada sobre los hallazgos observados detectando las causas y sus efectos.
La autoevaluación puede considerarse muy beneficiosa tanto para los actores participantes como para el objeto evaluado, ya que los primeros analizan, reflexionan, comprenden la realidad y adquieren mayor objetividad en sus valoraciones; y el objeto evaluado (ANEAES, 2020c).
La Gestión Institucional de la Agencia, busca generar confianza en la sociedad y en el entorno educativo, sobre sus procesos de evaluación y acreditación, por ello se encuentra abocada a la mejora continua, exigiendo que las Instituciones sometidas a estos procesos, que puedan demostrar fehacientemente, el nivel de gobernanza, la solvencia de los proyectos educativos, las competencias profesionales, los recursos institucionales y el impacto en la sociedad.
Perspectiva de Evaluación bajo el enfoque de la Matriz de Madurez
La Agencia de los Estados Unidos para el Desarrollo Internacional (USAID), en los años 2006; 2007; y 2008, a través de sus autoridades para Latinoamérica, han realizado un análisis del contexto nacional, y como resultado del mismo, han elaborado una propuesta relevante, significativa y puesto a consideración de las Autoridades Legítimamente constituidas de la República del Paraguay, un instrumento de control y de gestión, conocido como modelo estándar de control interno, de orden internacional, puesto que se implementa en varios países de América Latina, con alta efectividad, y que cuenta con diferentes criterios seleccionados y estructurados altamente exigentes (Vega de la Cruz, et al., 2017), con la posibilidad de ser implementado y aplicado en los diferentes Organismos y Entidades del Estado (OEE) de Paraguay, sin excepción alguna, por ser un modelo, flexible y capaz de adaptarse o de implementarse en las diferentes instituciones por más que la naturaleza de dichas instituciones sean diferentes, tales como, instituciones de la administración central, empresas públicas, instituciones educativas, instituciones de seguridad, entre otros.
El Estado Paraguayo ejecuta el Programa Umbral que fuera el apoyo técnico y financiero de estos organismos internacionales, mencionados más arriba, esto implica poner en práctica el programa diseñado, elaborado y construido para que durante el tiempo que sea necesario y dure su proceso de análisis, inicio y de su implementación activa, al igual que en su etapa de desarrollo, permita a los diferentes Organismos y Entidades del Estado (OEE), mejorar sus procesos que resulten en una mejora continua de sus indicadores de eficiencia, al igual que los indicadores de integridad y transparencia en la gestión pública, en los procesos y la administración de los recursos pertenecientes y generados por estado. En este contexto el Estado Paraguayo, a través de sus instituciones que ejercer la función de control, en el año 2008, aceptó muy respetuosamente la cooperación de carácter técnico y gratuito, destinado a mejorar todos sus indicadores de eficiencia. Para tener la posibilidad de lograr cada uno de estos objetivos, el Programa Umbral propuso un Marco único de Control Interno, basado en modelos de Control Interno ya aprobados y ejecutados en otros países y reconocidos internacionalmente, e inmediatamente se dispuso a través de mecanismos legales la puesta en marcha en sus Organismos y Entidades del Estado (OEE).
La Ley Nº 276 (1994) “Orgánica y Funcional de la Contraloría General de la Republica establece: dentro del marco determinado por los Artículos 281 y 283 de la Constitución Nacional (1992), tiene por objeto velar por el cumplimiento de las normas jurídicas.
La Contraloría General de la República es el órgano de control de las actividades del Estado, en la forma determinada por la Constitución Nacional. En virtud a este mandato Constitucional que le confiere la carta magna y al marco legal vigente, la Contraloría General de la Republica en uso de sus atribuciones legales, ha dictado la Resolución CGR Nº 425, de fecha 9 de mayo de 2008, “Por la cual establece y adopta el Modelo Estándar de Control Interno para las Entidades Públicas del Paraguay - MECIP, como marco para el control, fiscalización y evaluación de los sistemas de control interno de las entidades sujetas a la supervisión de la Contraloría General de la Republica (CGR)”
Seguidamente, la CGR ha dictado la Resolución CGR Nº 377, de fecha 13 de mayo de 2016, “Por la cual se adopta la (NRM) Norma de Requisitos Mínimos para un sistema de control del Modelo Estándar de Control Interno para las Entidades Públicas del Paraguay - MECIP:2015., su implementación efectiva se realizó desde el 2018.
Así mismo, la CGR ha dictado la Resolución CGR Nº 147 de fecha 25 de marzo de 2019, que menciona en su punto 2 del Considerando “Control de Calidad, se refiere a la Norma de Requisitos Mínimos y lo define como un conjunto de normas, principios, acciones y procesos efectuados por las autoridades, la administración y los funcionarios de una entidad, a fin de asegurar razonablemente que los objetivos de la institución serán alcanzados. Además, resulta necesario la aprobación de una herramienta de evaluación referente al grado de adopción de las NRM, con su posterior actualización por Resolución CGR Nº 583 de fecha 31 de octubre de 2019.
En este contexto, se dicta la Resolución CGR Nº 147 de fecha 25 de marzo de 2019, Por la cual se aprueba la Matriz de Evaluación por niveles de madurez.
Los modelos de evaluación por Nivel de Madurez pueden ser utilizados para dar soporte a las organizaciones en la búsqueda de la excelencia en sus Sistemas de Control, acompañándolas en sus procesos de desarrollo, implementación, mantenimiento y mejora continua. "Madurez" es la plenitud del desarrollo en perfectas condiciones. ¡Es la razón por la que el Éxito ocurre! (Resolución CGR Nº 147, 2019).
Madurez, es el mejoramiento continuo sobre las lecciones aprendidas de años de gestión, el cambio es permanente, contiene mucha experiencia, es alcanzar efectividad en los procesos, detectar en tiempo oportuno, debilidades que puedan subsanarse y evitar que tengan un impacto negativo en la gestión institucional, hacer controles y evaluar permanentemente los resultados comparando con los objetivos propuestos y hacer seguimientos y monitoreo que permitan mantener una gestión de calidad permanente y no temporal. Implica una participación colectiva, responsable, profesional, orientado a conseguir los resultados más favorables posibles para instalar una cultura organizacional sobre la calidad y sobre los criterios de evaluación y control permanente, con la adhesión natural de toda la comunidad educativa.
Parra, et al. (2021), mencionan que los Sistema de Control Interno (SCI) en los establecimientos educativos: “son elementos fundamentales para disminuir riesgos, mejorar la situación organizacional y permite el manejo eficaz y eficiente de los recursos, para cumplir con los objetivos de la organización” (p. 1).
Todas las organizaciones marchan a través de un proceso de madurez, y ese proceso precede a la excelencia. La Curva de Aprendizaje de la madurez se mide con los años (Resolución CGR Nº 147, 2019).
En este contexto, la matriz de evaluación por niveles de madurez cuenta con beneficios directos para las personas y las instituciones en el sentido de evaluar la capacidad institucional de ejercer los controles sobre los procesos y actividades, además favorece a la identificación en tiempo oportuno de las debilidades para poder corregirlas y las fortalezas para mantenerlas, así también, para la implementación de los procesos de mejoras que lleven a las instituciones a la excelencia.
La Matriz de Evaluación, se encuentra dividida en varios niveles: según se citan a continuación: Nivel de Excelencia, consiste en la capacidad de demostrar el nivel de calidad de los procesos, Nivel Optimizado, consiste en demostrar la optimización continúa y las mejoras comprobables, Nivel Gestionado, consisten en demostrar la implementación de los procesos y que cuentan con mediciones de los factores de desempeño asociados, Nivel Diseñado, consiste en demostrar que los procesos se ejecutan de acuerdo a lo planificado, Nivel Inicial, consisten en demostrar que se realizan algunos procesos básicos, en forma aislada y Nivel Deficiente, aquellos procesos que apenas se encuentran definidos y no se ajusta a ningún otro nivel, tal como se presenta en la figura 1.
Las metodologías de Evaluación consisten en que el evaluador deberá realizar las revisiones y evaluaciones documentales como también los trabajos de campos necesarios para poder valorar el objeto o sujeto de estudio, basado en la razonabilidad de las evidencias que sirven de base como medios de verificación, tal como se expone en la tabla 4
Interpretación de Niveles de Madurez | |||
Valoración | Situación | Nivel de Madurez | |
0 | 0,99 | El Control Interno no está sistematizado. Algunos pocos elementos del Sistema de Control Interno se encuentran definidos | Deficiente |
1 | 1,99 | El Sistema de Control Interno se encuentra en fase de Diseño. Algunos Controles básicos están establecidos, pero en general se trata de "impulsos" personales | Inicial |
2 | 2,99 | El Sistema de Control Interno está correctamente definido. Los Controles se ejecutan de acuerdo a lo planificado y existe cierta "disciplina" respecto a ellos | Diseñado |
3 | 3,99 | El Sistema de Control Interno se encuentra desplegado e implementado, y se cuenta con mediciones de los factores de desempeño asociados | Gestionado |
4 | 4,99 | La organización optimiza continuamente su Sistema de Control Interno, logrando mejoras comprobables en su desempeño | Optimizado |
5 | 5 | La organización demuestra un nivel de excelencia que la coloca como "Primera en su Clase" para el elemento evaluado | Excelencia |
Fuente: Resolución CGR Nº 147 (2019).
El casillero pregunta, en esa columna van todos los indicadores en forma de preguntas, de acuerdo a cada componente, es decir, que los indicadores se despliegan en la columna de preguntas (Tabla 5).
Para poder realizar las valoraciones a los indicadores establecidos para cada requisito normativo, y teniendo en cuenta las Evidencias para respaldar el cumplimiento de cada indicador, que deben ser objetivas y verificables, dicha valoración ayudará a definir el Nivel de Madurez alcanzado teniendo en cuenta los conceptos de la tabla 4; colocando una "x" en la columna correspondiente, luego en cada nivel existen tres columnas o posibilidades de valoración cuyo significado son: b= bajo; m= medio; a=alto (Tabla 5).
Componente | ||||||||||||||
Requisito | Pregunta | DEFICIENTE | INICIAL | DISEÑADO | GESTIONADO | OPTIMIZADO | EXCELENCIA | |||||||
b | m | a | b | m | a | b | m | a | b | m | a | b | m | a |
Fuente: Resolución CGR Nº 147 (2019)
La matriz de evaluación, tiene asignado un valor numérico prorrateado o distribuido de acuerdo al nivel de importancia del indicador, es decir el valor asignado por casilla ya se encuentra preestablecida, como base para comparar con la valoración obtenida sobre el objeto o sujeto de estudio.
Finalmente, completada la planilla, se hace un comparativo de las casillas puntuadas y de acuerdo a ese resultado, el sistema calcula en forma automática en qué nivel del proceso de madurez se encuentra el componente analizado. Además, el sistema consolida a nivel global de madurez el resultado de la evaluación de todos los componentes.
METODOLOGÍA
La presente investigación es documental, y se basa en un enfoque cualitativo, de nivel descriptivo (Hernández, et al., 2010). Se realizó la recolección de datos mediante un análisis documental en base de datos, Leyes, Resoluciones, Documentos emitidos por Instituciones oficiales del Estado y artículos científicos, en el año 2023. Los criterios de inclusión fueron: fuentes bibliográficas relacionadas al Modelo de Evaluación y Acreditación y al Modelo de Evaluación por Niveles de Madurez y otros aspectos relevantes que se relacionan a ellas. El procedimiento consistió en una búsqueda en detalle sobre el tema relacionado a la investigación, mediante el uso de Google académico, bases de datos estatales y otras bases de datos existentes en internet, que constituyeron una valiosa fuente de información. Seguidamente se procedió a clasificar los documentos, realizar lecturas en forma analítica, metódica y exhaustiva con el fin de describir las diferentes formas de evaluación planteada.
La técnica de recolección de datos es el análisis documental, para la realización del análisis se ha tomado en cuenta algunos criterios basados en la objetividad y la proporcionalidad. Para el análisis de datos se procedió a comparar los Mecanismos de evaluación y acreditación emitida por la ANEAES y la Evaluación de los sistemas de control interno por Niveles de Madurez emitida por la CGR.
Además, se procedió principalmente a profundizar el análisis sobre las diferencias existentes entre la Escala Valorativa utilizada por la Agencia. Tabla 1, y la Matriz de Valoración utilizada para la evaluación del MECIP 2015, tabla 6.
Las dimensiones, componentes, criterios e indicadores de la Matriz de Calidad de la Agencia, fueron analizados, sin entrar a cuestionar, la forma, la agrupación, la clasificación y los enunciados de cada indicador. Además, fueron relacionados, los indicadores y la forma de evaluarlos y valorarlos de acuerdo a las evidencias necesarias, procesadas y aceptadas que deben satisfacer el cumplimiento o no de cada indicador.
A los efectos demostrativos, se ha procedido a analizar un indicador, de la Matriz de Calidad, seleccionado en forma intencional, y se ha elaborado un listado de evidencias necesarias para el cumplimiento del mismo, meramente en forma enunciativa y no taxativa y la simulación de la valoración según los medios de verificación citados.
RESULTADOS
En este apartado se presenta los resultados obtenidos, a partir del análisis realizado principalmente de la tabla 6. Se ha procedido a comparar y a determinar el grado de correspondencia de los criterios valorativos entre la tabla 1 y la tabla 5.
Escala Valorativa Matriz de Calidad - ANEAES | (a) NO CUMPLE | (b) CUMPLE PARCIALMENTE | (c) CUMPLE TOTALMENTE | ||||||||||||
Matriz de Valoración Niveles de Madurez - CGR | DEFICIENTE | INICIAL | DISEÑADO | GESTIONADO | OPTIMIZADO | EXCELENCIA | |||||||||
B | m | A | b | m | a | b | m | a | b | m | a | b | m | a |
Fuente: Resolución CGR Nº 147 (2019) - ANEAES (2020b).
Según la Escala Valorativa de la Agencia, en su descripción, No Cumple, ocurre cuando ninguno de los aspectos evaluados en el indicador se cumple, que coincide con la Matriz de Valoración por Niveles de Madurez, Nivel Deficiente, que ocurre cuando los procesos apenas se encuentran definidos y no se ajusta a ningún otro nivel (Columna (a) tabla 6).
Esto implica, que las evidencias son nulas o escasas, y por sí mismas, no pueden sustentar que dichos procesos, sean completos, se encuentran en estado incipiente, y no reúnen las características adecuada para ser valoradas con otra calificación, es un estado que no cuenta con lo esencial ni básico, totalmente insuficiente y limitada.
Según la Escala Valorativa de la Agencia, en su descripción, Cumple Totalmente, ocurre cuando el/los aspectos evaluados en el indicador se cumplen, que coincide genéricamente con la Matriz de Valoración por Niveles de Madurez, Nivel Excelencia que consiste en la capacidad de demostrar el nivel de calidad de los procesos (Columna (c) tabla 6).
Esto implica, que las evidencias son suficientes y relevantes, para demostrar el grado de cumplimiento de los indicadores, por reunir las características o especificaciones exigidas, en cuanto a la pertinencia de la evidencia, demuestra que verdaderamente existe una relación e integración sobre los procesos y las normas que los regula y que puede ser evidenciada en los resultados de la evaluación y demuestra la satisfacción de la comunidad educativa. Las evidencias por sí mismas, deben ayudar a emitir una conclusión objetiva para ser valoradas como tal.
Según la Escala Valorativa de la Agencia, en su descripción, Cumple Parcialmente, ocurre cuando algún aspecto evaluado en el indicador no se cumple, y coincide con la Matriz de Valoración por Niveles de Madurez, en cuanto a la valoración intermedia, que se encuentra agrupado en ese nivel de cumplimiento y presenta la escala de valoración en forma segregada en varios niveles según se citan a continuación: Nivel Optimizado, consiste en demostrar la optimización continúa y las mejoras comprobables, Nivel Gestionado, consisten en demostrar la implementación de los procesos y que cuentan con mediciones de los factores de desempeño asociados, Nivel Diseñado, consiste en demostrar que los procesos se ejecutan de acuerdo a lo planificado, Nivel Inicial, consisten en demostrar que se realizan algunos procesos básicos, en forma aislada (Columna (b) tabla 6).
Esto implica, que, para los criterios de la Agencia, solo basta calificar como cumple parcialmente, porque las evidencias no pueden sustentar por sí mismas, la totalidad de las características o especificaciones exigidas, debido a alguna deficiencia en la aplicación o en la norma que lo regula, sin embargo, para los criterios por niveles de madurez, se debe evaluar puntillosamente, cada aspecto de la evidencia, para determinar si en qué posición debe ser clasificado en cuanto a nivel de madurez, como inicial, diseñado, gestionado u optimizado, como también, en un nivel bajo, medio o alto, para medir los niveles de logros objetivamente.
A los efectos demostrativos, de las diferencias que existen en cuanto a la utilización del criterio de valoración de la agencia y los resultados de utilizar los criterios de valoración de la matriz por niveles de madurez, se analiza la tabla 7. Se procede a hacer una lista de los posibles medios de verificación de cada indicador, en forma enunciativa, que no necesariamente revelan todas la documentaciones, procesos o procedimientos que deben tener las Instituciones de Educación Superior, para cumplir el indicador, sino que se expresan meramente enunciativas.
DIMENSIÓN 1. GOBERNANZA DE LA CARRERA | ||||
Componente 1. Organización | ||||
Criterio 1.1.1 | Indicadores | Cumplimiento | Observaciones | Medios de Verificación |
Pertinencia de la estructura organizacional de la carrera | La estructura organizacional responde a las exigencias de la carrera. |
Fuente: ANEAES (2020c).
Primeramente, se analizó el indicador 1.1.1 a. La estructura organizacional responde a las exigencias de la carrera.
Seguidamente se procedió a realizar un listado de los medios de verificación, que sirven de base para demostrar el cumplimiento del mencionado indicador
Estatuto
Organigrama de la Unidad Académica
Organigrama de la Carrera
Resolución de Aprobación del Organigrama
Mecanismo de revisión y actualización de la estructura organizacional
Proyecto Educativo de la Carrera (PE)
Proyecto Educativo Institucional (PEI)
Elaboración de la matriz de necesidad de la carrera, según el PEI, y PE
Indicadores de observación o Lista de Cotejo
Análisis de la relación que existe entre la estructura y las exigencias de la carrera
Según la Escala Valorativa de la Agencia, en su descripción, Cumple Parcialmente, ocurre cuando algún aspecto evaluado en el indicador no se cumple, como resultado del análisis se procede a describir lo siguiente:
Si la Carrera o Programa presenta una evidencia como medio de verificación, se aplica la escala valorativa de la Agencia y este indicador se valora como cumple parcialmente, al igual que presentando, dos evidencias o tres evidencias o cuatro evidencias o todas las evidencias posibles aun cuando algún aspecto no se cumpla.
Esto implica, que las evidencias no reúnen la totalidad de las especificaciones exigidas, por no cumplir íntegramente, con la normativa o con los procesos establecidos institucionalmente.
Sin embargo, aplicado la matriz de valoración por escala de madurez, Si la Carrera o Programa presenta una evidencia, se valorará como Nivel Inicial, presentando dos evidencias, asumiendo que implica un avance se valorará como Nivel Diseñado, si presenta más evidencias que sirven de base para garantizar que los procesos se implementan se valorará como Nivel Gestionado, y si como resultado de esa práctica, se convierte en rutina u optimización continua, se valorará como Nivel Optimizado, cuando algún aspecto no se cumpla para ser valorado como Nivel de Excelencia.
Esto implica, la evaluación objetiva de las evidencias y su grado de cumplimiento, de acuerdo a las especificaciones exigidas. Con esta evaluación, según la escala valorativa de la Agencia, se sobrevalora las evidencias y se beneficia directamente a las carrera o programas que sus procesos tienen en un estado incipiente. Sin embargo, aplicando la matriz de valoración por niveles de madurez, se valorará en forma objetiva y proporcional a los medios de verificación presentados por las carreras o los programas y se aplicará el principio fundamental de la igualdad.
Finalmente, se analizó, que, aplicando la matriz de valoración por niveles de madurez, se podrá valorar objetivamente, las evidencias que sirven como medio de verificación para determinar en qué etapa se encuentra la carrera o el programa respecto a este indicador, relacionando con los Niveles Deficiente, Iniciales, Gestionado, Optimizado o Excelencia.
DISCUSIÓN
En el proceso de análisis, se observó, que la agencia aplica los dos métodos; la matriz de valoración, aprobado por el Consejo Directivo, para los procesos de evaluación y acreditación de carreras de grado y programas de posgrado (ANEAES, 2020b), y aplica los criterios de valoración por niveles de madurez para evaluar los procesos de control interno de la misma Resolución CGR Nº 147 (2019). En este sentido, se evidencia que la agencia, ambos métodos, lo conoce, lo aplica, lo practica, lo difunde, lo socializa, y lo evalúa permanentemente.
La valoración por niveles de madurez en los procesos de autoevaluación y acreditación de carreras de grado y programas de posgrados, implica una innovación importante, debido a que elevará el nivel de calidad, dando mayor garantía de calidad, y confianza, respetando los principios de igualdad, en concordancia con lo mencionado por González et al. (2009) en cuanto a que estos afirman que a las instituciones les corresponde evaluarse generando innovación
Para propiciar un profundo análisis de carácter crítico, técnico y profesional sobre la factibilidad de implementar la evaluación de la calidad de la educación superior, teniendo en cuenta los criterios de valoración por niveles de madurez, establecidos en el Manual del MECIP (MECIP, 2008), es necesario la participación de todos los actores de la educación, además la activa participación de las instituciones, comprometidas con un alto nivel de calidad, y una cultura de la excelencia continua, además, para este propósito, se requiere, que las autoridades de la Agencia, evalúen sus propia gestión, e impulsen la propuesta, que redundará en beneficios para toda la comunidad educativa, de esta manera se encuentra relacionado con lo afirmado por (Peña Chamorro, et al., 2018), este proceso requiere de las instituciones un fuerte consenso y compromiso de los actores implicados, permitiendo de esta manera la consolidación de la cultura de la evaluación y la adopción de medidas correctivas que permitan a las instituciones la mejora continua.
En el contexto de la evaluación, la integración de los criterios de valoración, y su posterior innovación hacia la matriz de valoración por niveles de madurez, será un proceso paulatino, de ajustes continuo, que demandará un alto grado de compromiso entre las Autoridades de la Agencia y las autoridades de las Instituciones de Educación Superior. Esta concepción se centra sobre las bases de la calidad y la cultura organizacional de la evaluación institucional, como una herramienta integral para medir los indicadores de calidad y el grado de cumplimiento y de esa forma marchar hacia el logro de los objetivos. En este sentido, coincide con lo mencionado por la CGR, en la Resolución CGR Nº 377 (2016), con relación a las Normas de Requisitos Mínimos. Es un conjunto de normas, principios, acciones y procesos efectuados por las autoridades, la administración y los funcionarios de una entidad, a fin de asegurar razonablemente que los objetivos de la institución serán alcanzados. Del mismo modo la propia Agencia en su Guía Mecanismo Nacional de Evaluación y Acreditación de la Educación Superior sostiene que la ANEAES, tiene como objetivo evaluar y certificar con este mecanismo la calidad académica de las carreras de grado, en el entendido de que la calidad académica refiere al conjunto de procesos y recursos inherentes a las actividades de docencia, investigación y extensión que se desarrollan en ella, en el marco del cumplimiento de sus objetivos y propósitos, valorada a través de los principios de eficiencia, eficacia, relevancia e integridad.
CONCLUSIONES
Es necesario, comprender que la evaluación permanente es la vía más efectiva para verificar la calidad de los procesos educativos y de gestión institucional, por ello, la Agencia, debe actualizar permanentemente los criterios de evaluación, conforme año tras año, se van mejorando los procesos y van creciendo los niveles de expectativas de los diferentes actores de la comunidad educativa.
Existen diferentes métodos o matrices de valoración de la calidad, por ello, es indispensable, que la Agencia evalúe su capacidad institucional y cuyos resultados, sirvan de base para generar procesos proactivos de evaluación y acreditación donde pueda garantizar el impacto positivo, sobre la ciencia, la cultura, la tecnología, la sociedad, el desarrollo humano, la economía, y todas las dimensiones que atañen a las personas, las instituciones y en especial a la educación.
Para asegurar la calidad, es necesario que la Agencia, pueda innovar permanentemente, en los procesos de evaluación y acreditación, debido a que las Instituciones de Educación Superior, establecen sus procesos de gestión, sobre la base de los criterios de evaluación emitidas por la ANEAES.
Se considera que el análisis planeado, cumple con el objetivo y se concluye, realizar una propuesta de innovación, para la adopción de la matriz de valoración por niveles de madurez en reemplazo de los criterios de valoración, que aplica la ANEAES en los procesos de evaluación y acreditación de carreras y programas, esto implica una evaluación más rigurosa, objetiva y proporcional a las evidencias o medios de verificación que sustentan la valoración de cada indicador de la matriz de calidad, esta propuesta de llevarse a la práctica, contribuirá en elevar los criterios de valoración de la calidad y competitividad a nivel internacional, de las Instituciones de Educación Superior.
La implementación adecuada de la matriz de madurez, permitirá, a la Agencia impulsar la innovación en los criterios de valoración, esto implica que las Instituciones de Educación Superior, formalizaran sus procesos con mayor pulcritud y elevaran su calidad debido al nivel de exigencia de esta matriz, garantizará mayor nivel de confianza ante la comunidad educativa y contribuirá con la excelencia permanente de los procesos evaluativos.
RECOMENDACIONES
A la ANEAES
Realizar un estudio técnico y profesional sobre la factibilidad de implementar la evaluación de la calidad de la educación superior, teniendo en cuenta los criterios de valoración por niveles de madurez y adoptarlo.
Aplicar el principio de igualdad, en la evaluación teniendo en cuenta la proporcionalidad de las evidencias proporcionadas que sirvan de bases como medios de verificación, aplicando los criterios de valoración por niveles de madurez
A las Instituciones de Educación Superior
Anticiparse, y aplicar la evaluación por niveles de madurez, en los procesos de autoevaluación con fines de mejorar la gestión debido a que indefectiblemente, para los fines de evaluación y acreditación deberán aplicar las normativas establecidas por la agencia
A los Comités de Autoevaluación y comité de pares evaluadores
Capacitarse en la evaluación por niveles de madurez, esto implica, la formación continua y especializada, que conlleva a una mayor apertura sobre los distintos métodos de valoración que existen.
Realizar investigaciones sobre la implicancia de la propuesta de implementar los criterios de valoración por niveles de madurez, para analizar el impacto que pueda causar en los procesos de evaluación.