INTRODUCCIÓN

Evaluar la calidad metodológica de las tesis es subjetiva y compleja debido a que la propia Ciencia es imprecisa y se fundamenta en paradigmas dominantes en cada época y en cada sociedad (^{Vara, 2010}). La calidad, que en esta investigación, es interpretada como la rigurosidad científica se asocia “a la exactitud, precisión, objetividad y minuciosidad con la cual se realiza una investigación, y podría resumirse en la cualidad de la investigación que determina la validez y confianza en las conclusiones” (Vara, 2010, p.39). En tanto, la metodología es entendida como “la estrategia a seguir en la organización del proceso y de la recolección de datos e información importante e imprescindible, así como la organización e interpretación de la misma” (Llanos, Jiménez y Ramos, 2004, p.56).

Por otro lado, las tesis especialmente las doctorales, al representar el más alto nivel de estudios especializados en investigación científica, se espera generen conocimiento altamente novedoso, original y riguroso metodológicamente. A más es de esta contribución las tesis, denotan al menos otros tres significados: la oportunidad de aprender a investigar y la certificación de suficiencia en alguna competencia y generalmente constituye el pase que permite el ingreso a los círculos de producción intelectual (^{Vara, 2010}; Mamani, 2018).

Se espera que al finalizar la tesis, especialmente entre quienes han realizado programas de postgrado de tipo académico o investigativo, se produzca una transformación conceptual e investigativa, donde se maneje los instrumentos epistemológicos y metodológicos necesarios para investigar de manera independiente y aquí la rigurosidad o calidad científica resulta imperativa (^{Ochoa, 2011}).

Los tesistas y tutores disponen en la mayoría de los casos de reglamentos proveídos por las instituciones, donde se delinean los contenidos básicos que deben abordar estos trabajos; sin embargo la discrecionalidad y la rigurosidad a lo cuestionables están latentes. Aún así, son pocos los estudios que se ocuparon en desarrollar y validar instrumentos para medir la calidad de las tesis. Mandujano y Grajeda (2013) analizaron 172 tesis y encontraron que solo una de cada 5 fue aceptable; otro trabajo realizado en la Universidad de Trujillo, con 837 tesis encontró que en los últimos 10 años los trabajos muestran buena calidad y existe una tendencia a la mejora (Mamani, 2018). En la Universidad Ricardo Palma se evaluaron 100 tesis de la Facultad de Medicina y se encontró que el nivel de calidad de tesis para obtener el título de médico cirujano fue de calidad superior (74%) y sí tiene factores asociados (^{Guerrero y Vargas, 2017}).

En tanto, ^{Gatti (2001}), menciona que la mala calidad de las tesis se debe principalmente a la poca experiencia del estudiantado en elaboración de trabajos científicos, pues en ocasiones la tesis constituye su primer y quizás el último contacto, con el mundo científico y se puede obtener el grado (máster o doctor) con un trabajo de tesis modesto, pero que cumpla con los requerimiento mínimos. En esta línea, Sánchez (2003), citado por ^{Vara (2010}) atribuye la calidad deficiente de las tesis al formalismo académico que impera al momento de la elaboración del trabajo donde la necesidad de titulación, el cumplimiento de plazos y la adecuación a estilos o formatos son priorizados, en detrimento del significado que pueda tener la tesis para la sociedad, pues no se articula la relación entre la infraestructura científico-tecnológica, las políticas estatales y el aparato productivo.

En Paraguay, la acreditación de la calidad de programas de postgrado través de la Agencia Nacional de Evaluación y Acreditación de la Educación Superior (ANEAES), es incipiente y se basa, principalmente, en criterios administrativo o institucional y en menor medida criterios pedagógicos, por lo que una evaluación de la rigurosidad de las tesis no forma parte del alcance de la Acreditación.

Otra institución a nivel nacional involucrada con programas de postgrado es El Consejo Nacional de Ciencia y Tecnología (CONACYT) que a través del Programa Paraguayo para el Desarrollo de la Ciencia y Tecnología (PROCIENCIA), financia programas de postgrado con recursos del Fondo para la Excelencia de la Educación y la Investigación. Si bien el CONACYT tiene requisitos a los cuales deben adecuarse las tesis provenientes de Programas fortalecidos, no tiene un criterio armonizado para evaluar la calidad o rigurosidad de las investigaciones recayendo esta tarea enteramente al interior de cada unidad académica donde se imparte el postgrado.

Asimismo, la Universidad Nacional de Asunción (UNA), con catorce unidades académicas o Facultades, no dispone de criterios o indicadores armonizados para evaluar la calidad de las tesis, y las evaluaciones en algunas unidades son más exhaustivas o rigurosas que en otras. La evaluación, en las unidades académicas se da básicamente mediante el juicio de los jurados, los revisores de tesis y los profesores de metodología. ^{Vara (2010}), sostiene que el control de calidad que aportan los jurados o tribunales de tesis, en ocasiones, no son suficientes para garantizar la rigurosidad científica, dado que los integrantes de este estamento en un buen porcentaje son docentes externos a la casa de estudios, docentes invitados que no forman parte del plantel de la institución, o docentes que realizan la labor de revisión sin una retribución monetaria, por lo que no es posible aplicar exigencias sobre la profundidad con la cual revisan las tesis.

En consecuencia, el problema que dio origen a la investigación es la falta de un instrumento armonizado que pueda medir o evaluar de manera estable, la calidad o rigurosidad metodológica de las tesis, por lo cual el objetivo fue desarrollar y validar este instrumento. Si bien, la calidad metodológica, por si misma, no garantiza la calidad de la investigación, ayuda a generar resultados que sean menos cuestionables.

METODOLOGÍA

El diseño del trabajo fue de tipo instrumental, respecto a una Lista de Cotejo desarrollada para los fines de la presente investigación; siendo también descriptiva con componente correlacional en lo que respecta a las diferencias entre los componentes de la Lista de cotejo y grado adquirido (doctorado, maestría) y transversal (Llanos et al., 2004).

Los pasos que se siguieron para desarrollar y validar el instrumento fueron:

1. Elaboración del instrumento en forma de Lista de Cotejo, para lo cual se tomaron como base los trabajos de Ortega, Romero y Guzmán (2014), ^{Vara (2010}) y ^{Málaga, Vera y Oliveros (2008}); así como Listas de Cotejo de Evaluación de tesis de distintas Facultades y Universidades a nivel local. La Lista de Cotejo contó con ocho componentes y 26 ítems, evaluados mediante una Escala Tipo Likert, con cuatro posibilidades para calificar la claridad y la relevancia. Para la claridad se utilizaron: El ítem es claro tiene semántica y sintaxis adecuada, se requiere una modificación muy específica de algunos de los términos del ítem, el ítem requiere bastantes modificaciones o una modificación muy grande en el uso de las palabras de acuerdo con su significado o por la ordenación de las mismas. El ítem no es claro. La relevancia de contenidos fue evaluada con las siguientes escalas: El ítem es muy relevante y debe ser incluido, el ítem es relativamente importante. El ítem tiene alguna relevancia, pero otro ítem puede estar incluyendo lo que mide éste. El ítem puede ser eliminado sin que se vea afectada la medición de la dimensión.

2. Selección de expertos o jueces cuyos criterios de inclusión fueron: poseer grado de Doctor o PhD, ser docente investigador activo, es decir con publicaciones continuas y desempeñarse como evaluador de tesis en Tribunales examinadores o tutores de tesis. La selección fue no probabilística por conveniencia y participaron 3 expertos.

3. Validación de contenidos mediante Criterio de Expertos. Con este paso se midió la concordancia entre expertos (Robles y Rojas, 2015). La validez del instrumento se calculó con el Coeficiente de Validez de Contenido (CVC), propuesto por Hernández-Nieto (2002) citado en ^{Pedrosa, Suárez y García (2014}), y se mantuvieron los ítems con un CVC superior a 0,70.

4. La lista de cotejo obtenida de la evaluación de los jueces fue sometida a análisis estadísticos para la comprobación de la fiabilidad y validez del instrumento. El instrumento contenía 28 ítems agrupados en ocho dimensiones que luego quedó en 24 ítems y 7 Dimensiones. El instrumento es una escala tipo Likert de tres opciones: Muy Bien, Regular e Insuficiente. Y las dimensiones definidas en la versión final evalúan los siguientes aspectos: i) Problema de investigación; ii) Justificación, iii) Hipótesis iv) Objetivo, v) Método vi) Discusión y vii) Conclusión.

La validez, se evaluó mediante la Correlación r de Pearson ítem-total; mientras la fiabilidad fue medida mediante el Alfa de Cronbach, se consideró como bueno un valor superior a 0,7 (Bojórquez et al., 2013). La muestra estuvo integrada por 10 tesis, 6 de maestría y 4 de doctorado, una de cada área de las ciencias, seleccionadas al azar.

5. Aplicación Piloto del Instrumento a tesis de maestría y doctorado cuyo criterio de inclusión fue, haber sido un Programa fortalecido por el Consejo Nacional de Ciencia y Tecnología (CONACYT) durante el periodo 2012-2019 y que se encuentre publicada la tesis completa en el portal Internet del CONACYT. La muestra final de tesis, seleccionada al azar se observa en la tabla 1.

RESULTADOS

El resultado global del instrumento sometido a expertos arrojó un Coeficiencia de Validez de Contenido (CVC) de 0,81 considerado como bueno, con lo cual se puede decir que los expertos coinciden mayoritariamente que los ítems son claros en cuanto a su significado, así como respecto a la relevancia, es decir, coincidieron que prácticamente todos los ítems debieran estar presentes en el instrumento final. Los componentes que tuvieron la menor coincidencia tanto en claridad como en relevancia fueron el Método o Metodología (Ítem Diseño CVC=0,61) y la Formulación de la Pregunta (CVC=0,59), que fueron reformulados para construir la segunda Lista de Cotejo o Instrumento Final (tabla 2), conformada por veinticuatro ítems o variables y que fue la sometida a la validación y prueba de fiabilidad estadística.

Análisis de la validez y confiabilidad

Para la confiabilidad el Alfa de Cronbach, arrojó un resultado de 0,789 (tabla 3), considerado como aceptable. El número de elementos hace referencia a la cantidad de ítems.

El nivel de confiabilidad del instrumento en caso de eliminar alguno de los ítems que lo integran, muestra que la variación entre ítems no es muy elevada, lo cual da indicios de una buena consistencia interna.

Los resultados del estadístico r de Pearson que correlacionan el puntaje específico de cada ítems con el puntaje global, utilizado para calcular la evidencia de validez en la estructura interna que determina la relación de los ítems entre sí y a su vez con el constructo valorado por el instrumento, es decir la calidad metodológica, muestra que prácticamente todos los ítems se presentan significativos y la correlación se halla por encima de 0,5 (tabla 5).

El hecho que los ítems muestren correlación positiva entre cada ítem y la suma total, se traduce en que el ítem es consistente, es decir, la participación del ítem en la suma total, es importante. Ahora, para que exista una buena correlación entre cada uno de los ítems con la suma total, la condición es que debe haber buena dispersión en sus resultados tanto en cada ítem como en la suma total. Como la dispersión o variabilidad se mide en términos de varianza, entonces, debe haber valores altos de varianza en cada uno de los ítems y también en el puntaje total (^{Supo, 2013}).

Se observa, en tanto, que también hay ítems cuya participación en la suma es menor, tal es el caso de gestión y procesamiento de los datos (r=0,490), del análisis de las implicaciones teóricas y prácticas de la investigación (r=0,377), de hacer mención a las limitaciones del estudio (r=0,391) y el hecho de realizar recomendaciones (r=0,455). Sin embargo al no registrar valores de correlación negativos, se decide no eliminar estos ítems del instrumento final.

Tabla 5.  Correlación y significancia ítems- total. 

Resultados de la prueba del Instrumento

Para la Dimensión Problema de Investigación un 41,25% de las tesis desarrolló de manera Regular, lo cual indica que los ítems no fueron abordados de manera conveniente. Por ejemplo, las mayores deficiencias se observan en la Delimitación y Formulación del Problema donde un 50% y 70% respectivamente de las tesis analizadas, lo presentan de manera insuficiente sea por ausencia de los ítems o abordaje muy superficial o exiguo. En otro orden, no se encontraron diferencias entre las tesis de maestrías y doctorados, es decir el comportamiento descrito se da en ambos niveles.

Con respecto a la Dimensión Hipótesis y Objetivos de investigación, un 52,5% de las tesis lo aborda Muy Bien. Con los objetivos, el principal aspecto a mejorar es mencionar de manera clara qué se quiere estudiar, para qué estudiar y como se va a estudiar. Por ejemplo algunos objetivos dicen: “Identificar los aspectos que van a ser analizados en los Planes Nacionales Sectoriales, implementados en el Paraguay entre los años 2000 y 2018”. Como otro aspecto a mejorar es la confusión que existe entre objetivos y actividades a desarrollar para la consecución de los objetivos.

La Dimensión Método, un 55% de las tesis lo presenta Muy bien, siendo la mayor falencia el Diseño y el Control de calidad o credibilidad de los instrumentos de recolección de datos. En relación a los Instrumentos de recolección de datos se pudo ver que algunas tesis consignan que los instrumentos de recolección han sido los talleres realizados, también hay confusión respecto a Enfoque con objeto de investigación. Otra confusión es en cuanto a técnicas de muestreo. Expresiones tales como: “Consiste en una investigación realizada sobre una muestra de sujetos representativa” y con anterioridad el investigador advierte que el tipo de muestreo utilizado es “probabilístico por conveniencia”, por ejemplo. Asimismo se visualiza confusión entre paradigmas, pues en algunos casos se menciona que el trabajo es descriptivo con aplicación de encuestas (cuestionarios), para posteriormente mencionarse que se realizaron trabajos en talleres como grupo focal.

Respecto a si existen diferencias entre las tesis de maestrías y doctorados entre los ítems que componen la Dimensión Método, no se observó diferencias significativas (Prueba de U Mann-Whitney).

En tanto para las Dimensiones Discusión y Conclusión, los resultados muestran que un 40% de las tesis lo abordan muy bien, y un 33,3% lo presentan de manera insuficiente donde los ítems con mayores márgenes de mejora son el análisis de los hallazgos con las teorías e investigaciones ya desarrolladas sobre el tema, así como relacionar los hallazgos con los objetivos propuestos.

DISCUSIÓN

La deficiente formulación del Problema de Investigación es una cuestión crítica y en este sentido ^{Sabino (1994}), afirma que el planteamiento de un problema concreto, bien definido y factible representa la diferencia entre el éxito o no en una tesis. Escritos tales como: ¿Qué se investigará en...? y se copia el título del trabajo, no son admisibles.

Por otra parte, el abordaje de la Hipótesis, Supuesto o Proposición de investigación, amerita especial atención dado que existe como una práctica consuetudinaria, en el ámbito de las tesis, de explicitar la Hipótesis a todo tipo de trabajo. Por un lado, al ser la hipótesis una suposición de relaciones entre hechos o fenómenos sujeta a verificación, que muestra la relación entre dos o más variables donde se debe enunciar cómo se va a comprobar esa relación, que luego pretende generalizarse, es propio del paradigma positivista. Por otro lado, hay como una aceptación generalizada que en la investigación Descriptiva no se consigna hipótesis, lo cual no resulta acertada. En este sentido ^{Supo (2019}) manifiesta que si el enunciado del estudio es una proposición (puede ser calificado como falso o verdadero), el estudio llevará hipótesis, pero si el enunciado del estudio no es una proposición, el estudio no llevará hipótesis. En tanto, en la investigación cualitativa, donde no se pretende medir, contar ni establecer relaciones de causalidad sino develar o revelar datos del sentido o el significado que tienen los fenómenos en la mente de las personas, la formulación de la hipótesis “no tiene sentido” (^{Monje, 2011}, p.91; Martínez, 2013).

En relación al Diseño de investigación al interior de la Dimensión Método, atendiendo a la multiplicidad, ambigüedad e incluso dificultad de comprensión de los términos tipo, diseño, método o enfoque de investigación (^{Tam, Vera y Oliveros, 2008}), en este instrumento se consideró útil abordar desde la perspectiva de ^{Vara (2010}) quien expone 3 aspectos a considerar en el diseño de la investigación: 1) El nivel de control que el investigador tendrá sobre la variable o dimensión pudiendo en consecuencia ser observacional, asociativas, relacional, cuasi-experimental o experimental; 2) Nivel o profundidad de desarrollo del tema, siendo exploratoria, descriptiva, asociativa y explicativa y, 3) Según la naturaleza de los datos, Cuantitativo, Cualitativo, Socio critico.

La Discusión que consiste en pasar del segmento expositivo de los resultados al “estado general de interpretación”, de dilucidar qué significan los resultados y porqué ocurrieron de ese modo de la mano de la hipótesis y de lo que dicen otros autores (^{Eslava-Schmalbalch y Alzate, 2011}, p.3), confiere robustez a la investigación y en estos aspectos se observan márgenes de mejora en las tesis analizadas.

En consecuencia, se desarrolló y validó un instrumento estable al momento de evaluar la calidad metodológica de las tesis, lo cual disminuye las posibles diferencias entre evaluadores. Así también, el instrumento puede resultar útil para los tesistas quienes en ocasiones no tienen la claridad conceptual para abordar cada ítem que integra la cuestión metodológica.

Respecto a la factibilidad de aplicar el instrumento a investigaciones desarrolladas en distintas áreas del conocimiento y paradigmas, se demostró que la Lista de cotejo desarrollada es útil para ambas situaciones, aunque aún persiste en algunos ámbitos una “interpretación inexacta que las ciencias sociales son necesariamente subjetivas en su conocimiento de la realidad y, por tanto, deben considerarse menos rigurosas en la metodología y más especulativas en la formulación de relaciones de causalidad que las ciencias físico-naturales; sin embargo como han demostrado Kuhn y Lakatos, ni todo el conocimiento de las ciencias sociales está viciado de subjetividad, ni todo el conocimiento de las ciencias físico-naturales está exento de los condicionamientos ideológicos o subjetividad” (^{Calduch, 2014}, p.12).