SciELO - Scientific Electronic Library Online

 
vol.11 issue1 author indexsubject indexarticles search
Home Pagealphabetic serial listing  

Services on Demand

Journal

Article

Indicators

  • Have no cited articlesCited by SciELO

Related links

  • Have no similar articlesSimilars in SciELO

Share


Academo (Asunción)

On-line version ISSN 2414-8938

Acad. (Asunción) vol.11 no.1 Asuncion Apr. 2024

https://doi.org/10.30545/academo.2024.ene-abr.6 

Artículo original

Propuesta de innovación en los procesos de autoevaluación y acreditación en Paraguay

Innovation proposal in self-assessment and accreditation processes in Paraguay

Alfredo Orue Sotelo1 
http://orcid.org/0009-0007-3141-6876

Carmen Fabiola Aguilera Antúnez1 
http://orcid.org/0009-0001-9053-3366

1 Universidad Americana. Asunción, Paraguay.


RESUMEN

El objetivo es analizar la escala valorativa de calidad aplicada por la Agencia Nacional de Evaluación y Acreditación de la Educación Superior (ANEAES) de Paraguay, en los procesos de evaluación y acreditación, y el análisis de valoración por niveles de madurez. Escala Valorativa es el juicio de valor sobre la calidad respecto al grado de cumplimiento de indicadores. La evaluación por Nivel de Madurez da soporte a las organizaciones en la búsqueda de la excelencia en sus procesos de desarrollo, implementación, mantenimiento y mejora continua. La investigación es documental, con enfoque cualitativo, nivel descriptivo. Se realiza el análisis documental sobre la relación entre ambas matrices y se procede a comparar entre sí, ambos criterios de valoración. Los resultados muestran que la escala valorativa aplicada por la Agencia, carece de proporcionalidad en la valoración de evidencias en la escala de cumple parcialmente. La valoración por niveles de madurez es objetiva y proporcional a las evidencias que respaldan la valoración de un indicador, por sus diferentes escalas, inicial, diseñado, gestionado y optimizado. Se concluye que la adopción de la matriz de valoración por niveles de madurez constituye una innovación importante en los procesos de evaluación de calidad.

Palabras clave: Escala valorativa; niveles de madurez; evaluación; calidad; ANEAES

ABSTRACT

The objective is to analyze the quality assessment scale applied by the National Agency for Evaluation and Accreditation of Higher Education (ANEAES) of Paraguay, in the evaluation and accreditation processes, and the analysis of valuation by maturity levels. Evaluative Scale is the value judgment on the quality with respect to the degree of compliance with indicators. The Maturity Level evaluation supports organizations in the search for excellence in their development, implementation, maintenance and continuous improvement processes. The research is documentary, with a qualitative approach, descriptive level. The documentary analysis on the relationship between both matrices is carried out and both evaluation criteria are compared with each other. The results show that the assessment scale applied by the Agency lacks proportionality in the assessment of evidence in the partially compliant scale. The assessment by maturity levels is objective and proportional to the evidence that supports the assessment of an indicator, for its different scales, initial, designed, managed and optimized. It is concluded that the adoption of the assessment matrix by maturity levels constitutes an important innovation in the quality evaluation processes.

Keywords: Assessment scale; maturity levels; evaluation; quality; ANEAES

INTRODUCCIÓN

La evaluación educativa está integrada por cuatro componentes básicos, estrechamente interrelacionados: la evaluación del aprendizaje, la evaluación curricular, la evaluación profesoral y la evaluación institucional (Ley Leyva & Espinoza Freire, 2021).

En el Paraguay, existen mecanismos de evaluación de carreras de grados y programas de postgrado, que tienen la finalidad de asegurar la calidad de educación superior, y que permanentemente, se ajusta, conforme van avanzando, las exigencias técnicas y profesionales de cada profesión, apuntando a la mejora continua, involucrando a toda la comunidad educativa, docentes, estudiantes, directivos institucionales, medio externos, sociedad en general, debido, a que existe un interés, tanto del Estado, como de la sociedad, por la calidad en todos los procesos educativos (Hernández Mendocilla, 2022).

El proceso de evaluación de la calidad de las carreras de grado y programas de postgrado, se realizan en el marco del cumplimiento de la Ley Nº 2072 (2003), de la Creación de la Agencia Nacional de Evaluación y Acreditación de la Educación Superior [ANEAES] (ANEAES, 2020a)

La Agencia es un órgano estatal con autonomía técnica y académica, dependiente del Ministerio de Educación y Ciencia, cuya finalidad consiste en evaluar y acreditar la calidad académica de las instituciones de educación superior

El proceso de evaluación de la calidad es totalmente voluntario, excepto para algunas carreras citadas en la Ley Nº 2072 (2003), cuya práctica puedan ocasionar daños contra la integridad de las personas o su patrimonio. Las Instituciones afectadas, se encuentra debidamente definidas en la Ley Nº 4995 (2013) de Educación Superior, que en su Artículo 3º menciona: a las Universidades, los Institutos Superiores y los Institutos de Formación Profesional del Tercer Nivel.

Una de las funciones de la Agencia según el Artículo 4º de la Ley Nº 2072 (2003), consiste en realizar las evaluaciones externas y acreditar la calidad académica de las carreras y programas de postgrado. Para el cumplimiento de sus funciones, primeramente, se establecen los mecanismos, procedimientos y requisitos para la evaluación y acreditación, cuya atribución recae en el Consejo Directivo de la ANEAES.

Se consideró oportuno, realizar esta investigación, debido a los constantes avances gestionados por la Agencia, con el objetivo de presentar una propuesta de innovación para en los procesos de evaluación y acreditación de la calidad en la educación superior.

Perspectiva de Evaluación de la Agencia

La ANEAES, ha emitido la Guía de Evaluación Externa, aprobada por Resolución Nº 213 del año 2018 y por la Resolución Nº 160 del año 2020 del Consejo Directivo, la misma está predestinada a servir de guía a los pares evaluadores, como un conjunto de orientaciones que ayuden a los mismos a la correcta validación de los informes de autoevaluación emitidos por los Comités de las Instituciones de Educación Superior (Cuellar Garay, et al., 2022a). Aquellas Instituciones, que, han postulado para el proceso de evaluación y acreditación de sus carreras de grado o programas de postgrados, deben tener en cuenta los criterios de calidad (Cruz Ortega, et al., 2021).

Así también, la Agencia, ha emitido la Guía de Autoevaluación aprobada por Resolución Nº 213 del Consejo Directivo en fecha 19 de julio de 2018 y por Resolución Nº 160 del Consejo Directivo en fecha 2 de julio de 2020, la misma tiene por objeto orientar a las Instituciones de Educación Superior para el proceso de autoevaluación, tanto para entender las exigencias de los criterios de calidad, como para formular los informes pertinentes para el efecto.

La autoevaluación tiene como propósito fundamental colectar información, valorarla y, como consecuencia de ello, orientar y reajustar los procesos de las carreras y de los programas por medio de una revisión introspectiva de su funcionamiento (ANEAES, 2020b).

Esto implica una revisión interna de todos los mecanismos, recursos, procesos y procedimientos aplicados por las Instituciones de Educación Superior (ANEAES, 2022), orientados por las dimensiones, criterios e indicadores de la matriz de calidad establecida para cada carrera o programa de postgrado, con el fin de alcanzar la integridad en sus procesos, con una coherente autorregulación que constituye un fundamento principal para la gestión institucional.

Esta gestión de autorregulación, implica la soberanía institucional para emitir sus propias normas, definir sus políticas, e integrar sus procesos, de tal modo a organizar sus planes estratégicos, y generar la documentación necesaria que sirva de base para regular las actividades de los procesos académicos, sin apartarse de las leyes generales y de los criterios de calidad, emitidos por la Agencia.

La Guía establece los beneficios de Autoevaluación, tanto para los actores como para las Instituciones, también establece la Organización y Planificación del Proceso, con la conformación del Comité de Autoevaluación, sus funciones, compromisos y normas de conducta que sirven de base para el logro del éxito de la evaluación. La asignación de responsabilidades, asegura una adecuada diligencia durante todo el proceso de autoevaluación

(Cuellar Garay, et al., 2022b). La Calidad, es una definición, que se vincula con la excelencia de los procesos y los resultados, con la finalidad de causar satisfacción en el beneficiario final, y un impacto positivo dentro de un contexto de cambio y actualización permanente, cuyo propósito es la mejora continua. En la educación, la calidad se centra en la mejora permanente de los procesos educativos, en la gestión institucional, en las personas, en los recursos y el impacto en la sociedad.

La Agencia establece los criterios de calidad cuyos miembros del comité deben realizar el análisis de los requisitos específicos y la evaluación de la disponibilidad de las evidencias, como también, el análisis de la matriz de calidad y lo que implica el desarrollo del mismo, una vez obtenida, todas las documentaciones que respalden los distintos procesos académicos, que sirven de evidencias para proceder al análisis de los resultados.

Una vez concluido todos los procesos mencionados más arriba, se procede a la Valoración de la calidad de la carrera y del programa (ANEAES, 2020b).

El juicio de valor sobre la calidad es el resultado del nivel de logro de los criterios de calidad (Matto Ríos, 2022), sobre la base de la valoración del grado de cumplimiento de los indicadores. Para la valoración de los indicadores se utilizará la escala definida en la tabla 1.

Tabla 1 Escala valorativa de los indicadores Escala valorativa Descripción. 

Escala valorativa Descripción
Cumple totalmente Cuando el/los aspectos evaluados en el indicador se cumplen
Cumple parcialmente Cuando algún aspecto evaluado en el indicador no se cumple
No cumple Cuando ninguno de los aspectos evaluados en el indicador se cumple

Fuente: ANEAES (2018b).

La evaluación del criterio se realiza una vez determinado el nivel de logro de cada uno de los indicadores asociados al mismo, con una escala cualitativa, al que se asociará una valoración numérica, según sea el resultado obtenido, conforme a la tabla 2 (ANEAES, 2020b).

Tabla 2 Escala valorativa de los criterios. 

Escala cualitativa Descripción Escala cuantitativa
Pleno Cuando se cumple totalmente con todos los indicadores. 5
Satisfactorio Si la cantidad de indicadores es par, el criterio alcanza el nivel de satisfactorio cuando: Cumple totalmente con la mitad de los indicadores como mínimo y el resto cumple parcialmente Si la cantidad de indicadores es impar, el criterio alcanza el nivel de satisfactorio cuando: Cumple totalmente con la mayoría de los indicadores como mínimo y el resto cumple parcialmente. 4
Suficiente Si la cantidad de indicadores es par, el criterio alcanza el nivel de suficiente cuando: Cumple totalmente con la mitad de los indicadores como mínimo y en el resto de los indicadores hay al menos uno que no cumple. Si la cantidad de indicadores es impar, el criterio alcanza el nivel de suficiente cuando: Cumple totalmente con la mayoría de los indicadores como mínimo y en el resto de los indicadores hay al menos uno que no cumple. 3
Escaso Si la cantidad de indicadores es par, el criterio alcanza el nivel de escaso cuando: Cumple totalmente con menos de la mitad de los indicadores. Si la cantidad de indicadores es impar, el criterio alcanza el nivel de escaso cuando: Cumple totalmente con menos de la mayoría de los indicadores. 2
No se cumple Cuando no se cumple con ninguno de los indicadores. 1

Fuente: (ANEAES 2020b).

Posteriormente, la Agencia, ha emitido la Guía para la elaboración del Informe de Autoevaluación aprobada por Resolución Nº 175 del Consejo Directivo en fecha 27 de julio de 2020, la misma tiene por objeto orientar a las Instituciones de Educación Superior para el proceso de redacción de informes como resultado de una adecuada, ordenada y sistemática valoración de las evidencias y su grado de cumplimiento de cada uno de los indicadores y por consiguiente con los criterios de calidad establecidos.

La guía establece en su concepto que el informe de autoevaluación debe mostrar el resultado final del proceso, ofreciendo una imagen realista de la carrera teniendo en cuenta el cumplimiento o no de los indicadores, con una redacción claramente sencilla y significativa.

La estructura del informe cuenta con la propuesta de redacción teniendo en cuenta los aspectos formales, además, la descripción del proceso de autoevaluación, que debe ser coherente con las evidencias obtenidas y la confiabilidad de las fuentes de informaciones y demás elementos importantes. Otro apartado, es la síntesis evaluativa, en donde se debe exponer el nivel de cumplimiento de los criterios de calidad.

Para el cumplimiento de este proceso, la Matriz de calidad está distribuida en 5 Dimensiones, 14 Componentes, 29 Criterios y 192 Indicadores (Tabla 3).

Tabla 3 Matriz de Calidad. 

Dimensiones Componentes Criterios Indicadores
1. Gobernanza de la Carrera 2 6 40
2. Proyecto Académico 4 9 56
3. Personas 4 9 56
4. Recursos 2 3 25
5. Resultado e Impacto 2 2 15
Totales 14 29 192

Fuente: Elaboración Propia, basado en la Guía de elaboración de informe aprobado por la Resolución Nº 175 (2020).

La Agencia propone los criterios para la redacción del Informe, que sean de carácter, técnico, que se cumpla una metodología apropiada para recabar y evaluar la información procesada, objetivo, que muestra la imagen fiel y no distorsionada de lo evaluado sobre la base de las evidencias obtenidas y aceptadas, representativo, que involucra a todos los actores de la comunidad educativa o el contexto educativo y analítico, desea llegar a la profundidad y en forma detallada sobre los hallazgos observados detectando las causas y sus efectos.

La autoevaluación puede considerarse muy beneficiosa tanto para los actores participantes como para el objeto evaluado, ya que los primeros analizan, reflexionan, comprenden la realidad y adquieren mayor objetividad en sus valoraciones; y el objeto evaluado (ANEAES, 2020c).

La Gestión Institucional de la Agencia, busca generar confianza en la sociedad y en el entorno educativo, sobre sus procesos de evaluación y acreditación, por ello se encuentra abocada a la mejora continua, exigiendo que las Instituciones sometidas a estos procesos, que puedan demostrar fehacientemente, el nivel de gobernanza, la solvencia de los proyectos educativos, las competencias profesionales, los recursos institucionales y el impacto en la sociedad.

Perspectiva de Evaluación bajo el enfoque de la Matriz de Madurez

La Agencia de los Estados Unidos para el Desarrollo Internacional (USAID), en los años 2006; 2007; y 2008, a través de sus autoridades para Latinoamérica, han realizado un análisis del contexto nacional, y como resultado del mismo, han elaborado una propuesta relevante, significativa y puesto a consideración de las Autoridades Legítimamente constituidas de la República del Paraguay, un instrumento de control y de gestión, conocido como modelo estándar de control interno, de orden internacional, puesto que se implementa en varios países de América Latina, con alta efectividad, y que cuenta con diferentes criterios seleccionados y estructurados altamente exigentes (Vega de la Cruz, et al., 2017), con la posibilidad de ser implementado y aplicado en los diferentes Organismos y Entidades del Estado (OEE) de Paraguay, sin excepción alguna, por ser un modelo, flexible y capaz de adaptarse o de implementarse en las diferentes instituciones por más que la naturaleza de dichas instituciones sean diferentes, tales como, instituciones de la administración central, empresas públicas, instituciones educativas, instituciones de seguridad, entre otros.

El Estado Paraguayo ejecuta el Programa Umbral que fuera el apoyo técnico y financiero de estos organismos internacionales, mencionados más arriba, esto implica poner en práctica el programa diseñado, elaborado y construido para que durante el tiempo que sea necesario y dure su proceso de análisis, inicio y de su implementación activa, al igual que en su etapa de desarrollo, permita a los diferentes Organismos y Entidades del Estado (OEE), mejorar sus procesos que resulten en una mejora continua de sus indicadores de eficiencia, al igual que los indicadores de integridad y transparencia en la gestión pública, en los procesos y la administración de los recursos pertenecientes y generados por estado. En este contexto el Estado Paraguayo, a través de sus instituciones que ejercer la función de control, en el año 2008, aceptó muy respetuosamente la cooperación de carácter técnico y gratuito, destinado a mejorar todos sus indicadores de eficiencia. Para tener la posibilidad de lograr cada uno de estos objetivos, el Programa Umbral propuso un Marco único de Control Interno, basado en modelos de Control Interno ya aprobados y ejecutados en otros países y reconocidos internacionalmente, e inmediatamente se dispuso a través de mecanismos legales la puesta en marcha en sus Organismos y Entidades del Estado (OEE).

La Ley Nº 276 (1994) “Orgánica y Funcional de la Contraloría General de la Republica establece: dentro del marco determinado por los Artículos 281 y 283 de la Constitución Nacional (1992), tiene por objeto velar por el cumplimiento de las normas jurídicas.

La Contraloría General de la República es el órgano de control de las actividades del Estado, en la forma determinada por la Constitución Nacional. En virtud a este mandato Constitucional que le confiere la carta magna y al marco legal vigente, la Contraloría General de la Republica en uso de sus atribuciones legales, ha dictado la Resolución CGR Nº 425, de fecha 9 de mayo de 2008, Por la cual establece y adopta el Modelo Estándar de Control Interno para las Entidades Públicas del Paraguay - MECIP, como marco para el control, fiscalización y evaluación de los sistemas de control interno de las entidades sujetas a la supervisión de la Contraloría General de la Republica (CGR)”

Seguidamente, la CGR ha dictado la Resolución CGR Nº 377, de fecha 13 de mayo de 2016, “Por la cual se adopta la (NRM) Norma de Requisitos Mínimos para un sistema de control del Modelo Estándar de Control Interno para las Entidades Públicas del Paraguay - MECIP:2015., su implementación efectiva se realizó desde el 2018.

Así mismo, la CGR ha dictado la Resolución CGR Nº 147 de fecha 25 de marzo de 2019, que menciona en su punto 2 del Considerando “Control de Calidad, se refiere a la Norma de Requisitos Mínimos y lo define como un conjunto de normas, principios, acciones y procesos efectuados por las autoridades, la administración y los funcionarios de una entidad, a fin de asegurar razonablemente que los objetivos de la institución serán alcanzados. Además, resulta necesario la aprobación de una herramienta de evaluación referente al grado de adopción de las NRM, con su posterior actualización por Resolución CGR Nº 583 de fecha 31 de octubre de 2019.

En este contexto, se dicta la Resolución CGR Nº 147 de fecha 25 de marzo de 2019, Por la cual se aprueba la Matriz de Evaluación por niveles de madurez.

Los modelos de evaluación por Nivel de Madurez pueden ser utilizados para dar soporte a las organizaciones en la búsqueda de la excelencia en sus Sistemas de Control, acompañándolas en sus procesos de desarrollo, implementación, mantenimiento y mejora continua. "Madurez" es la plenitud del desarrollo en perfectas condiciones. ¡Es la razón por la que el Éxito ocurre! (Resolución CGR Nº 147, 2019).

Madurez, es el mejoramiento continuo sobre las lecciones aprendidas de años de gestión, el cambio es permanente, contiene mucha experiencia, es alcanzar efectividad en los procesos, detectar en tiempo oportuno, debilidades que puedan subsanarse y evitar que tengan un impacto negativo en la gestión institucional, hacer controles y evaluar permanentemente los resultados comparando con los objetivos propuestos y hacer seguimientos y monitoreo que permitan mantener una gestión de calidad permanente y no temporal. Implica una participación colectiva, responsable, profesional, orientado a conseguir los resultados más favorables posibles para instalar una cultura organizacional sobre la calidad y sobre los criterios de evaluación y control permanente, con la adhesión natural de toda la comunidad educativa.

Parra, et al. (2021), mencionan que los Sistema de Control Interno (SCI) en los establecimientos educativos: “son elementos fundamentales para disminuir riesgos, mejorar la situación organizacional y permite el manejo eficaz y eficiente de los recursos, para cumplir con los objetivos de la organización” (p. 1).

Todas las organizaciones marchan a través de un proceso de madurez, y ese proceso precede a la excelencia. La Curva de Aprendizaje de la madurez se mide con los años (Resolución CGR Nº 147, 2019).

En este contexto, la matriz de evaluación por niveles de madurez cuenta con beneficios directos para las personas y las instituciones en el sentido de evaluar la capacidad institucional de ejercer los controles sobre los procesos y actividades, además favorece a la identificación en tiempo oportuno de las debilidades para poder corregirlas y las fortalezas para mantenerlas, así también, para la implementación de los procesos de mejoras que lleven a las instituciones a la excelencia.

La Matriz de Evaluación, se encuentra dividida en varios niveles: según se citan a continuación: Nivel de Excelencia, consiste en la capacidad de demostrar el nivel de calidad de los procesos, Nivel Optimizado, consiste en demostrar la optimización continúa y las mejoras comprobables, Nivel Gestionado, consisten en demostrar la implementación de los procesos y que cuentan con mediciones de los factores de desempeño asociados, Nivel Diseñado, consiste en demostrar que los procesos se ejecutan de acuerdo a lo planificado, Nivel Inicial, consisten en demostrar que se realizan algunos procesos básicos, en forma aislada y Nivel Deficiente, aquellos procesos que apenas se encuentran definidos y no se ajusta a ningún otro nivel, tal como se presenta en la figura 1.

Figura 1 Matriz de Evaluación por Niveles de Madurez. 

Las metodologías de Evaluación consisten en que el evaluador deberá realizar las revisiones y evaluaciones documentales como también los trabajos de campos necesarios para poder valorar el objeto o sujeto de estudio, basado en la razonabilidad de las evidencias que sirven de base como medios de verificación, tal como se expone en la tabla 4

Tabla 4 Matriz de Interpretación de Niveles de Madurez. 

Interpretación de Niveles de Madurez
Valoración Situación Nivel de Madurez
0 0,99 El Control Interno no está sistematizado. Algunos pocos elementos del Sistema de Control Interno se encuentran definidos Deficiente
1 1,99 El Sistema de Control Interno se encuentra en fase de Diseño. Algunos Controles básicos están establecidos, pero en general se trata de "impulsos" personales Inicial
2 2,99 El Sistema de Control Interno está correctamente definido. Los Controles se ejecutan de acuerdo a lo planificado y existe cierta "disciplina" respecto a ellos Diseñado
3 3,99 El Sistema de Control Interno se encuentra desplegado e implementado, y se cuenta con mediciones de los factores de desempeño asociados Gestionado
4 4,99 La organización optimiza continuamente su Sistema de Control Interno, logrando mejoras comprobables en su desempeño Optimizado
5 5 La organización demuestra un nivel de excelencia que la coloca como "Primera en su Clase" para el elemento evaluado Excelencia

Fuente: Resolución CGR Nº 147 (2019).

El casillero pregunta, en esa columna van todos los indicadores en forma de preguntas, de acuerdo a cada componente, es decir, que los indicadores se despliegan en la columna de preguntas (Tabla 5).

Para poder realizar las valoraciones a los indicadores establecidos para cada requisito normativo, y teniendo en cuenta las Evidencias para respaldar el cumplimiento de cada indicador, que deben ser objetivas y verificables, dicha valoración ayudará a definir el Nivel de Madurez alcanzado teniendo en cuenta los conceptos de la tabla 4; colocando una "x" en la columna correspondiente, luego en cada nivel existen tres columnas o posibilidades de valoración cuyo significado son: b= bajo; m= medio; a=alto (Tabla 5).

Tabla 5 Matriz de Valoración. 

Componente
Requisito Pregunta DEFICIENTE INICIAL DISEÑADO GESTIONADO OPTIMIZADO EXCELENCIA
b m a b m a b m a b m a b m a

Fuente: Resolución CGR Nº 147 (2019)

La matriz de evaluación, tiene asignado un valor numérico prorrateado o distribuido de acuerdo al nivel de importancia del indicador, es decir el valor asignado por casilla ya se encuentra preestablecida, como base para comparar con la valoración obtenida sobre el objeto o sujeto de estudio.

Finalmente, completada la planilla, se hace un comparativo de las casillas puntuadas y de acuerdo a ese resultado, el sistema calcula en forma automática en qué nivel del proceso de madurez se encuentra el componente analizado. Además, el sistema consolida a nivel global de madurez el resultado de la evaluación de todos los componentes.

METODOLOGÍA

La presente investigación es documental, y se basa en un enfoque cualitativo, de nivel descriptivo (Hernández, et al., 2010). Se realizó la recolección de datos mediante un análisis documental en base de datos, Leyes, Resoluciones, Documentos emitidos por Instituciones oficiales del Estado y artículos científicos, en el año 2023. Los criterios de inclusión fueron: fuentes bibliográficas relacionadas al Modelo de Evaluación y Acreditación y al Modelo de Evaluación por Niveles de Madurez y otros aspectos relevantes que se relacionan a ellas. El procedimiento consistió en una búsqueda en detalle sobre el tema relacionado a la investigación, mediante el uso de Google académico, bases de datos estatales y otras bases de datos existentes en internet, que constituyeron una valiosa fuente de información. Seguidamente se procedió a clasificar los documentos, realizar lecturas en forma analítica, metódica y exhaustiva con el fin de describir las diferentes formas de evaluación planteada.

La técnica de recolección de datos es el análisis documental, para la realización del análisis se ha tomado en cuenta algunos criterios basados en la objetividad y la proporcionalidad. Para el análisis de datos se procedió a comparar los Mecanismos de evaluación y acreditación emitida por la ANEAES y la Evaluación de los sistemas de control interno por Niveles de Madurez emitida por la CGR.

Además, se procedió principalmente a profundizar el análisis sobre las diferencias existentes entre la Escala Valorativa utilizada por la Agencia. Tabla 1, y la Matriz de Valoración utilizada para la evaluación del MECIP 2015, tabla 6.

Las dimensiones, componentes, criterios e indicadores de la Matriz de Calidad de la Agencia, fueron analizados, sin entrar a cuestionar, la forma, la agrupación, la clasificación y los enunciados de cada indicador. Además, fueron relacionados, los indicadores y la forma de evaluarlos y valorarlos de acuerdo a las evidencias necesarias, procesadas y aceptadas que deben satisfacer el cumplimiento o no de cada indicador.

A los efectos demostrativos, se ha procedido a analizar un indicador, de la Matriz de Calidad, seleccionado en forma intencional, y se ha elaborado un listado de evidencias necesarias para el cumplimiento del mismo, meramente en forma enunciativa y no taxativa y la simulación de la valoración según los medios de verificación citados.

RESULTADOS

En este apartado se presenta los resultados obtenidos, a partir del análisis realizado principalmente de la tabla 6. Se ha procedido a comparar y a determinar el grado de correspondencia de los criterios valorativos entre la tabla 1 y la tabla 5.

Tabla 6 Comparación entre la tabla 1 (Escala Valorativa) y la tabla 5 (Matriz de Valoración). 

Escala Valorativa Matriz de Calidad - ANEAES (a) NO CUMPLE (b) CUMPLE PARCIALMENTE (c) CUMPLE TOTALMENTE
Matriz de Valoración Niveles de Madurez - CGR DEFICIENTE INICIAL DISEÑADO GESTIONADO OPTIMIZADO EXCELENCIA
B m A b m a b m a b m a b m a

Fuente: Resolución CGR Nº 147 (2019) - ANEAES (2020b).

Según la Escala Valorativa de la Agencia, en su descripción, No Cumple, ocurre cuando ninguno de los aspectos evaluados en el indicador se cumple, que coincide con la Matriz de Valoración por Niveles de Madurez, Nivel Deficiente, que ocurre cuando los procesos apenas se encuentran definidos y no se ajusta a ningún otro nivel (Columna (a) tabla 6).

Esto implica, que las evidencias son nulas o escasas, y por sí mismas, no pueden sustentar que dichos procesos, sean completos, se encuentran en estado incipiente, y no reúnen las características adecuada para ser valoradas con otra calificación, es un estado que no cuenta con lo esencial ni básico, totalmente insuficiente y limitada.

Según la Escala Valorativa de la Agencia, en su descripción, Cumple Totalmente, ocurre cuando el/los aspectos evaluados en el indicador se cumplen, que coincide genéricamente con la Matriz de Valoración por Niveles de Madurez, Nivel Excelencia que consiste en la capacidad de demostrar el nivel de calidad de los procesos (Columna (c) tabla 6).

Esto implica, que las evidencias son suficientes y relevantes, para demostrar el grado de cumplimiento de los indicadores, por reunir las características o especificaciones exigidas, en cuanto a la pertinencia de la evidencia, demuestra que verdaderamente existe una relación e integración sobre los procesos y las normas que los regula y que puede ser evidenciada en los resultados de la evaluación y demuestra la satisfacción de la comunidad educativa. Las evidencias por sí mismas, deben ayudar a emitir una conclusión objetiva para ser valoradas como tal.

Según la Escala Valorativa de la Agencia, en su descripción, Cumple Parcialmente, ocurre cuando algún aspecto evaluado en el indicador no se cumple, y coincide con la Matriz de Valoración por Niveles de Madurez, en cuanto a la valoración intermedia, que se encuentra agrupado en ese nivel de cumplimiento y presenta la escala de valoración en forma segregada en varios niveles según se citan a continuación: Nivel Optimizado, consiste en demostrar la optimización continúa y las mejoras comprobables, Nivel Gestionado, consisten en demostrar la implementación de los procesos y que cuentan con mediciones de los factores de desempeño asociados, Nivel Diseñado, consiste en demostrar que los procesos se ejecutan de acuerdo a lo planificado, Nivel Inicial, consisten en demostrar que se realizan algunos procesos básicos, en forma aislada (Columna (b) tabla 6).

Esto implica, que, para los criterios de la Agencia, solo basta calificar como cumple parcialmente, porque las evidencias no pueden sustentar por sí mismas, la totalidad de las características o especificaciones exigidas, debido a alguna deficiencia en la aplicación o en la norma que lo regula, sin embargo, para los criterios por niveles de madurez, se debe evaluar puntillosamente, cada aspecto de la evidencia, para determinar si en qué posición debe ser clasificado en cuanto a nivel de madurez, como inicial, diseñado, gestionado u optimizado, como también, en un nivel bajo, medio o alto, para medir los niveles de logros objetivamente.

A los efectos demostrativos, de las diferencias que existen en cuanto a la utilización del criterio de valoración de la agencia y los resultados de utilizar los criterios de valoración de la matriz por niveles de madurez, se analiza la tabla 7. Se procede a hacer una lista de los posibles medios de verificación de cada indicador, en forma enunciativa, que no necesariamente revelan todas la documentaciones, procesos o procedimientos que deben tener las Instituciones de Educación Superior, para cumplir el indicador, sino que se expresan meramente enunciativas.

Tabla 7 Criterio 1.1.1 Pertinencia de la estructura organizacional de la carrera. 

DIMENSIÓN 1. GOBERNANZA DE LA CARRERA
Componente 1. Organización
Criterio 1.1.1 Indicadores Cumplimiento Observaciones Medios de Verificación
Pertinencia de la estructura organizacional de la carrera La estructura organizacional responde a las exigencias de la carrera.

Fuente: ANEAES (2020c).

Primeramente, se analizó el indicador 1.1.1 a. La estructura organizacional responde a las exigencias de la carrera.

Seguidamente se procedió a realizar un listado de los medios de verificación, que sirven de base para demostrar el cumplimiento del mencionado indicador

Estatuto

Organigrama de la Unidad Académica

Organigrama de la Carrera

Resolución de Aprobación del Organigrama

Mecanismo de revisión y actualización de la estructura organizacional

Proyecto Educativo de la Carrera (PE)

Proyecto Educativo Institucional (PEI)

Elaboración de la matriz de necesidad de la carrera, según el PEI, y PE

Indicadores de observación o Lista de Cotejo

Análisis de la relación que existe entre la estructura y las exigencias de la carrera

Según la Escala Valorativa de la Agencia, en su descripción, Cumple Parcialmente, ocurre cuando algún aspecto evaluado en el indicador no se cumple, como resultado del análisis se procede a describir lo siguiente:

Si la Carrera o Programa presenta una evidencia como medio de verificación, se aplica la escala valorativa de la Agencia y este indicador se valora como cumple parcialmente, al igual que presentando, dos evidencias o tres evidencias o cuatro evidencias o todas las evidencias posibles aun cuando algún aspecto no se cumpla.

Esto implica, que las evidencias no reúnen la totalidad de las especificaciones exigidas, por no cumplir íntegramente, con la normativa o con los procesos establecidos institucionalmente.

Sin embargo, aplicado la matriz de valoración por escala de madurez, Si la Carrera o Programa presenta una evidencia, se valorará como Nivel Inicial, presentando dos evidencias, asumiendo que implica un avance se valorará como Nivel Diseñado, si presenta más evidencias que sirven de base para garantizar que los procesos se implementan se valorará como Nivel Gestionado, y si como resultado de esa práctica, se convierte en rutina u optimización continua, se valorará como Nivel Optimizado, cuando algún aspecto no se cumpla para ser valorado como Nivel de Excelencia.

Esto implica, la evaluación objetiva de las evidencias y su grado de cumplimiento, de acuerdo a las especificaciones exigidas. Con esta evaluación, según la escala valorativa de la Agencia, se sobrevalora las evidencias y se beneficia directamente a las carrera o programas que sus procesos tienen en un estado incipiente. Sin embargo, aplicando la matriz de valoración por niveles de madurez, se valorará en forma objetiva y proporcional a los medios de verificación presentados por las carreras o los programas y se aplicará el principio fundamental de la igualdad.

Finalmente, se analizó, que, aplicando la matriz de valoración por niveles de madurez, se podrá valorar objetivamente, las evidencias que sirven como medio de verificación para determinar en qué etapa se encuentra la carrera o el programa respecto a este indicador, relacionando con los Niveles Deficiente, Iniciales, Gestionado, Optimizado o Excelencia.

DISCUSIÓN

En el proceso de análisis, se observó, que la agencia aplica los dos métodos; la matriz de valoración, aprobado por el Consejo Directivo, para los procesos de evaluación y acreditación de carreras de grado y programas de posgrado (ANEAES, 2020b), y aplica los criterios de valoración por niveles de madurez para evaluar los procesos de control interno de la misma Resolución CGR Nº 147 (2019). En este sentido, se evidencia que la agencia, ambos métodos, lo conoce, lo aplica, lo practica, lo difunde, lo socializa, y lo evalúa permanentemente.

La valoración por niveles de madurez en los procesos de autoevaluación y acreditación de carreras de grado y programas de posgrados, implica una innovación importante, debido a que elevará el nivel de calidad, dando mayor garantía de calidad, y confianza, respetando los principios de igualdad, en concordancia con lo mencionado por González et al. (2009) en cuanto a que estos afirman que a las instituciones les corresponde evaluarse generando innovación

Para propiciar un profundo análisis de carácter crítico, técnico y profesional sobre la factibilidad de implementar la evaluación de la calidad de la educación superior, teniendo en cuenta los criterios de valoración por niveles de madurez, establecidos en el Manual del MECIP (MECIP, 2008), es necesario la participación de todos los actores de la educación, además la activa participación de las instituciones, comprometidas con un alto nivel de calidad, y una cultura de la excelencia continua, además, para este propósito, se requiere, que las autoridades de la Agencia, evalúen sus propia gestión, e impulsen la propuesta, que redundará en beneficios para toda la comunidad educativa, de esta manera se encuentra relacionado con lo afirmado por (Peña Chamorro, et al., 2018), este proceso requiere de las instituciones un fuerte consenso y compromiso de los actores implicados, permitiendo de esta manera la consolidación de la cultura de la evaluación y la adopción de medidas correctivas que permitan a las instituciones la mejora continua.

En el contexto de la evaluación, la integración de los criterios de valoración, y su posterior innovación hacia la matriz de valoración por niveles de madurez, será un proceso paulatino, de ajustes continuo, que demandará un alto grado de compromiso entre las Autoridades de la Agencia y las autoridades de las Instituciones de Educación Superior. Esta concepción se centra sobre las bases de la calidad y la cultura organizacional de la evaluación institucional, como una herramienta integral para medir los indicadores de calidad y el grado de cumplimiento y de esa forma marchar hacia el logro de los objetivos. En este sentido, coincide con lo mencionado por la CGR, en la Resolución CGR Nº 377 (2016), con relación a las Normas de Requisitos Mínimos. Es un conjunto de normas, principios, acciones y procesos efectuados por las autoridades, la administración y los funcionarios de una entidad, a fin de asegurar razonablemente que los objetivos de la institución serán alcanzados. Del mismo modo la propia Agencia en su Guía Mecanismo Nacional de Evaluación y Acreditación de la Educación Superior sostiene que la ANEAES, tiene como objetivo evaluar y certificar con este mecanismo la calidad académica de las carreras de grado, en el entendido de que la calidad académica refiere al conjunto de procesos y recursos inherentes a las actividades de docencia, investigación y extensión que se desarrollan en ella, en el marco del cumplimiento de sus objetivos y propósitos, valorada a través de los principios de eficiencia, eficacia, relevancia e integridad.

CONCLUSIONES

Es necesario, comprender que la evaluación permanente es la vía más efectiva para verificar la calidad de los procesos educativos y de gestión institucional, por ello, la Agencia, debe actualizar permanentemente los criterios de evaluación, conforme año tras año, se van mejorando los procesos y van creciendo los niveles de expectativas de los diferentes actores de la comunidad educativa.

Existen diferentes métodos o matrices de valoración de la calidad, por ello, es indispensable, que la Agencia evalúe su capacidad institucional y cuyos resultados, sirvan de base para generar procesos proactivos de evaluación y acreditación donde pueda garantizar el impacto positivo, sobre la ciencia, la cultura, la tecnología, la sociedad, el desarrollo humano, la economía, y todas las dimensiones que atañen a las personas, las instituciones y en especial a la educación.

Para asegurar la calidad, es necesario que la Agencia, pueda innovar permanentemente, en los procesos de evaluación y acreditación, debido a que las Instituciones de Educación Superior, establecen sus procesos de gestión, sobre la base de los criterios de evaluación emitidas por la ANEAES.

Se considera que el análisis planeado, cumple con el objetivo y se concluye, realizar una propuesta de innovación, para la adopción de la matriz de valoración por niveles de madurez en reemplazo de los criterios de valoración, que aplica la ANEAES en los procesos de evaluación y acreditación de carreras y programas, esto implica una evaluación más rigurosa, objetiva y proporcional a las evidencias o medios de verificación que sustentan la valoración de cada indicador de la matriz de calidad, esta propuesta de llevarse a la práctica, contribuirá en elevar los criterios de valoración de la calidad y competitividad a nivel internacional, de las Instituciones de Educación Superior.

La implementación adecuada de la matriz de madurez, permitirá, a la Agencia impulsar la innovación en los criterios de valoración, esto implica que las Instituciones de Educación Superior, formalizaran sus procesos con mayor pulcritud y elevaran su calidad debido al nivel de exigencia de esta matriz, garantizará mayor nivel de confianza ante la comunidad educativa y contribuirá con la excelencia permanente de los procesos evaluativos.

RECOMENDACIONES

A la ANEAES

Realizar un estudio técnico y profesional sobre la factibilidad de implementar la evaluación de la calidad de la educación superior, teniendo en cuenta los criterios de valoración por niveles de madurez y adoptarlo.

Aplicar el principio de igualdad, en la evaluación teniendo en cuenta la proporcionalidad de las evidencias proporcionadas que sirvan de bases como medios de verificación, aplicando los criterios de valoración por niveles de madurez

A las Instituciones de Educación Superior

Anticiparse, y aplicar la evaluación por niveles de madurez, en los procesos de autoevaluación con fines de mejorar la gestión debido a que indefectiblemente, para los fines de evaluación y acreditación deberán aplicar las normativas establecidas por la agencia

A los Comités de Autoevaluación y comité de pares evaluadores

Capacitarse en la evaluación por niveles de madurez, esto implica, la formación continua y especializada, que conlleva a una mayor apertura sobre los distintos métodos de valoración que existen.

Realizar investigaciones sobre la implicancia de la propuesta de implementar los criterios de valoración por niveles de madurez, para analizar el impacto que pueda causar en los procesos de evaluación.

A la Comunidad Educativa

Demandar que los procesos de evaluación y acreditación sean más exigentes a los efectos de lograr la excelencia en cuanto a la calidad en la educación superior

A los Investigadores

Estudiar el impacto que ocasionará la implementación de la matriz de valoración por niveles de madurez, en los procesos de evaluación y acreditación, un desafío interesante para analizar desde otra perspectiva.

REFERENCIAS BIBLIOGRÁFICAS

ANEAES. (2018a). Conceptos fundamentales. http://www.aneaes.gov.py/v2/application/files/8115/3297/2613/Conceptos_Fundamental es.pdfLinks ]

ANEAES. (2018b). Mecanismo de evaluación y acreditación de carreras de grado. http://www.aneaes.gov.py/v2/application/files/8915/3297/2613/Mecanismo_de_Evaluacion_de_Carreras_de_Grado.pdfLinks ]

ANEAES. (2020a). Mecanismo de evaluación y acreditación de carreras de grado y postgrado: Guía de evaluación externa. http://www.aneaes.gov.py/v2/application/files/9815/9716/7472/4._Guia_de_Evaluacion_Externa_CG_y_PP.pdfLinks ]

ANEAES. (2020b). Mecanismo de evaluación y acreditación de carreras de grado y postgrado: Guía de autoevaluación. http://www.aneaes.gov.py/v2/application/files/3915/9716/7472/2._Guia_de_Autoevaluacion_de_CG_y_PP.pdfLinks ]

ANEAES. (2020c). Mecanismo de evaluación y acreditación de carreras de grado: Guía para la elaboración de informe de autoevaluación. http://www.aneaes.gov.py/v2/application/files/1215/9647/2115/Guia_elaboracion_Informe_Autoevaluacion_bioseguridad.pdfLinks ]

ANEAES. (2022). Protocolo modalidad combinada. http://www.aneaes.gov.py/v2/application/files/6316/4881/8594/Resolucion_55_2022_pr otocolo.pdfLinks ]

Constitución Nacional. (1992). Congreso Nacional de la República del Paraguay. https://www.bacn.gov.py/leyes-paraguayas/9580/constitucion-nacionalLinks ]

Cruz Ortega, F. A., Paniagua, P., & Jiménez Chavés, V. (2021). Mecanismo de evaluación y acreditación de la Carrera de Ingeniería Industrial de la Universidad Americana durante el 2018-2020. ScientiAmericana, 8(2), 43-50. http://dx.doi.org/10.30545/scientiamericana.2021.jul-dic.5 [ Links ]

Cuellar Garay, M. B, Patiño, M. I., & Parra Trepowski, O. I. (2022a). Visita de evaluación externa institucional en la modalidad combinada: Visión de los protagonistas. ScientiAmericana, 9(1), 47-55. https://revistacientifica.sudamericana.edu.py/index.php/scientiamericana/article/view/194/232Links ]

Cuellar Garay, M. B., Patiño, M. I., & Parra Trepowski, O. Y. (2022b). Impacto de la pandemia en procesos de autoevaluación institucional: Experiencia Paraguay. ScientiAmericana, 9(1), 1-19. https://revistacientifica.sudamericana.edu.py/index.php/scientiamericana/article/view/195/234Links ]

González, E., Espinoza, O, & Latorre, C. L. (2009). Un modelo de equidad para la educación superior: Análisis de su aplicación en el caso chileno. Revista de la Educación Superior, 38(2), 97-111. [ Links ]

Hernández Mendocilla, D. S. (2022). La calidad educativa y la gestión escolar. Ciencia Latina Revista Científica Multidisciplinar, 6(6), 9794-9815. https://doi.org/10.37811/cl_rcm.v6i6.4102 [ Links ]

Hernández, R., Fernandez, C., & Baptista, P. (2010). Metodología de la investigación. McGraw-Hill. [ Links ]

Ley Leyva, N. V., & Espinoza Freire, E. E. (2021). Características de la evaluación educativa en el proceso de aprendizaje. Universidad y Sociedad, 13(6), 363-370. https://rus.ucf.edu.cu/index.php/rus/article/view/2400Links ]

Ley Nº 2072. (2003). De la creación de la Agencia de Evaluación y Acreditación de la Educación Superior. https://www.bacn.gov.py/leyes-paraguayas/2636/ley-n-2072-creacion-de-la-agencianacional-de-evaluacion-y-acreditacion-de-la-educacion-superior Links ]

Ley Nº 276. (1994). Ley 276 Orgánica y Funcional de la Contraloría General de la Republica. https://www.contraloria.gov.py/index.php/la-cgr/marco-normativo/74-ley-nr-276-94Links ]

Ley Nº 4995 (2013). De Educación Superior. https://www.bacn.gov.py/leyes-paraguayas/4401/ley-n-4995-de-educacion-superiorLinks ]

Matto Ríos, A. C. (2022). La calidad y la evaluación en la educación superior, una aproximación. Revista Científica de la Facultad de Filosofía, 12(1). https://revistascientificas.una.py/index.php/rcff/article/view/2640Links ]

MECIP. (2008). Manual del Modelo Estándar de Control Interno para Instituciones Públicas del Paraguay. Asunción, Paraguay. [ Links ]

Parra, J. O., Muñoz, J. C., Sánchez, G. C., & Zamora, G. Z. (2021). Gestión administrativa de las instituciones de educación superior: Universidad Católica de Cuenca-Ecuador. Revista de Ciencias Sociales (Ve), 27(1). http://www.redalyc.org/journal/280/28065533035/html/Links ]

Peña Chamorro, L. R., Almuinas Rivero, J. L., & Galarza López, J. (2018). La autoevaluación institucional con fines de mejora continua en las instituciones de Educación Superior. Universidad y Sociedad, 10(4), 18-24. [ Links ]

Resolución CGR Nº 147. (2019). Por la cual se aprueba la “Matriz de Evaluación por Niveles de Madurez - MECIP 2015. Contraloría General de la República. https://www.contraloria.gov.py/index.php/categorias-de-archivos/file/26488-res-cgr-n-147-2019-matriz-de-evaluacionLinks ]

Resolución CGR Nº 377. (2016). Por la cual se adopta la Norma de Requisitos Mínimos para un Sistema de Control Interno del Modelo Estándar de Control Interno para Instituciones Públicas del Paraguay - MECIP 2015. Contraloría General de la República. https://www.contraloria.gov.py/index.php/categorias-de-archivos/file/21680-res-cgr-n-377-16-por-la-cual-se-adopta-la-norma-de-requisitos-minimos-para-un-sistema-de-control-interno-del-modelo-estandar-de-control-interno-para-instituciones-publicas-del-paraguay-mecip-2015Links ]

Resolución CGR Nº 425. (2008). Por la cual se establece y adopta el Modelo Estándar de Control Interno para las entidades públicas del Paraguay - MECIP, como marco para el control, fiscalización y evaluación de los sistemas de control interno de las entidades sujetas a la supervisión. Paraguay. Contraloría General de la República. https://www.contraloria.gov.py/index.php/la-cgr/resoluciones-de-caracter-general/file/1745-resolucion-cgr-0425-08Links ]

Resolución CGR Nº 583. (2019). Por la cual se actualiza el Manual de Auditoria Gubernamental (MAGU). Contraloría General de la República. https://www.contraloria.gov.py/index.php/categorias-de-archivos/file/26380-resolucion-cgr-n-583-2019Links ]

Resolución Nº 160. (2020). De la Agencia Nacional de Evaluación y Acreditación de la Educación Superior, Mecanismo de Evaluación y Acreditación de Carreras de Grado y Postgrado: Guía de autoevaluación. http://www.aneaes.gov.py/v2/application/files/3915/9716/7472/2._Guia_de_Autoevaluacion_de_CG_y_PP.pdfLinks ]

Resolución Nº 175. (2020). Del Consejo Directivo de la Agencia Nacional de Evaluación y Acreditación de la Educación Superior, Mecanismo de Evaluación y Acreditación de Carreras de Grado: Guía para la elaboración de Informe de Autoevaluación. http://www.aneaes.gov.py/v2/application/files/1215/9647/2115/Guia_elaboracion_Informe_Autoevaluacion_bioseguridad.pdfLinks ]

Resolución Nº 213 (2018). De la Agencia Nacional de Evaluación y Acreditación de la Educación Superior, Mecanismo de Evaluación y Acreditación de Carreras de Grado y Postgrado: Guía de autoevaluación. http://www.aneaes.gov.py/v2/application/files/3915/9716/7472/2._Guia_de_Autoevaluacion_de_CG_y_PP.pdfLinks ]

Vega de la Cruz, L. O., Pérez Pravia, M. C., Nieves Julbe, A. F. (2017). Procedimiento para evaluar el nivel de madurez y eficacia del Control interno. Visión de Futuro, 21(2), 212-230. http://www.scielo.org.ar/scielo.php?script=sci_arttext&pid=S1668-87082017000200006&lng=es&tlng=esLinks ]

1Fuente de financiamiento: Propia de los Autores.

2Editor responsable: Dr. Herib Caballero Campos.

Recibido: 10 de Marzo de 2023; Aprobado: 24 de Agosto de 2023

Correspondencia: Alfredo Orue Sotelo (alfred_orue@hotmail.es)

Conflicto de Interés: Ninguno.

Contribución de los autores: Todos los autores han contribuido de forma activa en todos los procesos de elaboración del manuscrito.

Creative Commons License Este es un artículo publicado en acceso abierto bajo una licencia Creative Commons