PAIDEIA XXI
Vol. 9, Nº 2, Lima, julio-diciembre 2019, pp. 187-197
ISSN Versión Impresa: 2221-7770; ISSN Versión Electrónica: 2519-5700
ORIGINAL ARTICLE / ARTÍCULO ORIGINAL
METHODOLOGICAL DIFFERENCES AND
SIMILARITIES IN THE EVALUATION SYSTEM OF
THREE INDEXED LATIN AMERICAN JOURNALS
DIFERENCIAS Y SEMEJANZAS METODOLÓGICAS
EN EL SISTEMA EVALUATIVO DE TRES REVISTAS
LATINOAMERICANAS INDEXADAS
ABSTRACT
doi:10.31381/paideia.v9i2.2751
Edgar M. Hernández-Huaripaucar1a; George Argota-Pérez2; Rosa
Aquije-García1b; Jorge L. Magallanes-Magallanes1c; Flor A. Lavanda-
Reyes1d & José Iannacone3,4
1 Universidad Nacional ¨San Luis Gonzaga¨ (UNICA). Ica, Perú
a) Facultad de Odontología. hernandezcodi@gmail.com
b) Facultad de Ciencia de la Educación y Humanidades. raquije13@hotmail.com
c) Facultad de Agronomía. jolmm999@hotmail.com
c) Facultad de Administración. angielavanda@hotmail.com
2 Centro de Investigaciones Avanzadas y Formación Superior en Educación, Salud y Medio
Ambiente ¨AMTAWI¨. Puno, Perú. george.argota@gmail.com
3 Laboratorio Parasitología. Facultad de Ciencias Biológicas. Universidad Ricardo Palma (URP).
4 Laboratorio de Ecología y Biodiversidad Animal. Facultad de Ciencias Naturales y Matemática.
Universidad Nacional Federico Villarreal (UNFV). Lima-Perú. joseiannacone@gmail.com
Author for correspondence: george.argota@gmail.com
The assessment of the scientic manuscript is a complex process; it depends
on the type of proposal and the methodological culture of the evaluator to
understand the review instructions. The aim of study was to compare the
differences and methodological similarities in the evaluation system of three
indexed Latin American journals. The journals selected were: Colombian
Biological Record: -ABC (Colombia), International Journal of Environmental
Pollution: -RICA (Mexico) and The Biologist (Lima): -TB (Peru). The evaluation
aspects for the authors were accounted for with a total of 11 (ABC), 6 (RICA)
and 11 (TB). The main differences were based on methodological criteria due
to general information related to the topic of research and specic structural
Hernández-Huaripaucar et al.
188
PAIDEIA XXI
development, pointing out the scientic language, as well as suggestions or not,
to the authors. Although the journals presented evaluation formats, meeting
their requirements only results from the methodological and technical training
by the expert evaluator. It was concluded that there was not standardization in
the methodological criteria of the evaluation system on the manuscripts in the
three Latin American indexed journals.
Keywords: evaluation – process – scientic writing
La valoración sobre el manuscrito cientíco resulta un proceso complejo, pues
depende del tipo de propuesta y la cultura metodológica que posea el evaluador
para comprender las instrucciones de revisión. El objetivo del estudio fue
comparar las diferencias y semejanzas metodológicas en el sistema evaluativo
de tres revistas latinoamericanas indexadas. Se seleccionaron las revistas: Acta
Biológica Colombiana: -ABC (Colombia), Revista Internacional de Contaminación
Ambiental: -RICA (México) y The Biologist: -TB (Perú). Fueron contabilizados los
aspectos de evaluación para los autores siendo un total de 11 (ABC), 6 (RICA) y
11 (TB). Las principales diferencias radicaron en criterios de orden metodológico
debido a, informaciones generales relacionadas con el tema investigación y
especícas de desarrollo estructurales, señalamiento sobre el lenguaje cientíco,
además, de sugerencias o no, a los autores. Se observaron dos semejanzas
cardinales que destacaron en la cualicación sobre la interrogante a medirse
y falta de indicación directa por parte del evaluador hacia los autores. Aunque
las revistas presentaron formatos de evaluación, cumplir con sus requisitos solo
resulta de la formación metodológica y técnica por parte del experto–evaluador.
Se concluyó que, no existió una estandarización en los criterios metodológicos
del sistema de evaluación sobre los manuscritos en las tres revistas indexadas
latinoamericanas.
Palabras clave: evaluación – proceso – redacción cientíca
RESUMEN
INTRODUCCIÓN
La evaluación del impacto de
una revista cientíca depende de
la aplicación sobre la información
utilizada; y por ende, el carácter
implícito de la propia producción
investigativa del (los) autor (es) (Pinski
& Narin, 1976; Hirsch, 2005, Martínez
et al., 2014). El argumento relativo a la
evaluación del impacto cientíco de las
revistas continúa siendo la preferencia
fundamental para la cienciometría
(Rousseau, 2005; Bollen et al., 2006).
De forma tradicional, el número
de citas como razón métrica ha sido
utilizado por los investigadores para
Evaluation system of three indexed journals
189
PAIDEIA XXI
considerar el envío de sus trabajos
(Rosselli, 2019) incluyendo asimismo,
el factor de impacto de la revista
(Gareld, 2006; Bergstrom et al.,
2008, Malesios, 2016). Sin embargo,
debe señalarse que, todas la métricas
poseen ciertas limitaciones, pues
miden el impacto de la investigación
durante el trabajo de otros
investigadores pero no, consideran
reconocer en sí misma, el alcance de
las propias publicaciones entre otros
públicos de interés incluyéndose
determinados aspectos o razones
técnicas (Duszak, 2016).
Un aspecto riguroso para la
publicación de cualquier manuscrito
constituye el proceso editorial
evaluador y su revisión por árbitros
calicados (Falco & Rodríguez,
2018) donde los criterios sobre las
estructuras esqueléticas a medir,
varían de una revista a otra (Bansal
& Corley, 2012; Sun & Linton, 2014).
El objetivo del estudio fue
comparar las diferencias y semejanzas
metodológicas en el sistema evaluativo
de tres revistas latinoamericanas
indexadas.
MATERIALES Y MÉTODOS
Se seleccionaron tres revistas la-
tinoamericanas indexadas: Acta Bio-
lógica Colombiana: -ABC (Colombia),
Revista Internacional de Contamina-
ción Ambiental: -RICA (México) y The
Biologist (Lima): -TB (Perú) donde se
consideró, los criterios de las revistas
para la evaluación de manuscritos
como se muestra a continuación:
Por favor comente sobre los siguientes aspectos
Título de artículo
Introducción. ¿Presenta un problema de investigación claramente y dene
los objetivos de trabajo?
Evaluación para los editores:
Acta Biológica Colombiana
Hernández-Huaripaucar et al.
190
PAIDEIA XXI
Materiales y métodos: ¿Es consistente la metodología elegida con los objetivos
propuestos, es válida?
¿Se describe claramente la metodología?
Resultados: son coherentes con los objetivos y la metodología propuesta.
¿Están claramente expresados?
¿Las guras y tablas son claras, están bien hechas y muestran los
resultados de la mejor manera?
¿La leyenda de tablas y guras es clara y pertinente?
Evaluation system of three indexed journals
191
PAIDEIA XXI
Discusión. ¿Es pertinente?
¿Se discuten los resultados que se muestran en relación con el conocimiento
actual?
Referencias: ¿Son las referencias citadas pertinentes, actuales y dentro de
las normas de la revista?
Consideraciones adicionales
Hernández-Huaripaucar et al.
192
PAIDEIA XXI
__________________________________________________________________________
TITULO
TÍTULO:
Evaluación para los editores:
Revista internacional de
Contaminación Ambiental
1. ¿El trabajo presenta datos o ideas
originales meritorios de publicación
en una revista académica de
contaminación ambiental?
Si
No
2. ¿Las observaciones y conclusiones
son válidas?
Si
No
3. ¿El título y el resumen son
pertinentes y comprensibles?
Si
No
4. ¿Los cuadros y guras son
necesarios y adecuados?
Si
No
5. ¿La organización y presentación
del trabajo es buena?
Si
No
6. ¿El lenguaje cientíco es correcto?
Si
No
SUGERENCIAS PARA EL (LOS)
AUTOR (AUTORES):
a) Anotadas en documento
aparte.
b) Anotadas en el manuscrito.
RECOMENDACIÓN PARA EL EDITOR
(ELIJA UNA):
a) El trabajo es aceptable en su
forma actual.
b) El trabajo es aceptable con
correcciones menores.
Evaluation system of three indexed journals
193
PAIDEIA XXI
c) El trabajo puede ser aceptado
después de su corrección y
nueva revisión.
d)El trabajo no es aceptable para
su publicación.
Evaluación para los editores:
The Biologist (Lima)
_________________________________________________________________________
Título:
The Biologist (Lima)
1. ¿Es un trabajo inédito y nuevo que contribuye al
conocimiento cientíco?:
1. En el Perú
2. En la región neotropical
3. En otras partes del mundo
Sí [ ]
Sí [ ]
Sí [ ]
No [ ]
No [ ]
No [ ]
2. ¿Existe concordancia entre el título, el objetivo o la
hipótesis y las conclusiones?
Sí [ ] No [ ]
3. ¿El resumen y el abstract están redactados de
acuerdo a las normas de la revista, y están descritos
los resultados y las conclusiones más importantes
del estudio?
Sí [ ] No [ ]
4. ¿El autor ha cumplido con entregar, en el caso de
que sea pertinente, información sobre aspectos
éticos?
Sí [ ] No [ ]
5. ¿Los materiales y métodos están adecuadamente
descritos como para que otro investigador pueda
repetir el estudio?
Sí [ ] No [ ]
6. ¿El análisis estadístico, si es que sea pertinente
para el estudio, es adecuado para presentar los
resultados?
Sí [ ] No [ ]
7. Si el artículo trata de la descripción de nuevas
taxas, especies o redescripción de especies ¿Se ha
consignado el número de depósito del material en
una colección reconocida?
Sí [ ] No [ ]
Hernández-Huaripaucar et al.
194
PAIDEIA XXI
8. ¿Los resultados son claros, concisos y no se repiten,
y las guras o cuadros están presentados de acuerdo
a las normas de la revista?
Sí [ ] No [ ]
9. ¿La discusión está adecuadamente justicada y
discutida con apoyo de un mínimo de referencias
bibliográcas?
Sí [ ] No [ ]
10. ¿Se comentan las limitaciones del estudio en la
discusión?
Sí [ ] No [ ]
11. ¿Las referencias bibliográcas son relacionadas al
estudio, actuales y están redactadas de acuerdo al
estilo de autor y año?
Sí [ ] No [ ]
1. Derechos
a) Consideración del carácter indi-
vidual a participar, después de
explicar los objetivos y métodos.
b) Sugerencia de negación, a parti-
cipar después de señaladas las
condiciones para realizar el es-
tudio.
2. Deberes
a) Proporcionar oportunidades
para que se opine.
b) Excluir toda posibilidad de en-
gaños indebidos, inuencia o
intimidación.
Calicación nal
Criterios Marcar
Publicable sin modicaciones
Publicable con modicaciones menores
Publicable con modicaciones mayores
Reformular el manuscrito
No es publicable por observaciones que se adjuntan
RESULTADOS Y DISCUSIÓN
La tabla 1 muestra, el número
de criterios que considera cada una
de las revistas indexadas donde
hubo diferencias estadísticamente
signicativas (p < 0,05) entre ellas (F =
25,0; p = ,0012) siendo igual para las
revistas Acta Biológica Colombiana y
The Biologist (Lima).
Aspectos éticos
Evaluation system of three indexed journals
195
PAIDEIA XXI
Tabla 1. Criterios por revistas indexadas / número = No.
Revistas No.
Acta Biológica Colombiana: ABC (Colombia) 11
Revista Internacional de Contaminación Ambiental: RICA
(México)
6
The Biologist: TB (Perú) 11
La tabla 2 muestra, las diferencias y semejanzas según los criterios de eva-
luación para las revistas cientícas indexadas.
Tabla 2. Diferencias y semejanzas / criterios de evaluación / revistas.
Diferencias Semejanzas
Orden metodológico de
informaciones relacionadas con el
tema investigación
Cualicación sobre la interrogante a
medirse
Orden metodológico de
informaciones relacionadas con el
desarrollo estructurales
Falta de indicaciones de forma
directa por parte del evaluador
hacia los autores para la mejora del
manuscrito
Señalamiento sobre el lenguaje
cientíco
Sugerencias o no, a los autores
Los indicadores de calidad en
cualquier escenario posibilitan medir
la calidad sobre lo que se desea
comunicar (Gooiker et al., 2013). En
este estudio, independientemente de
las diferencias en el número de criterios
a evaluar, el factor común esencial
radicó en orientarse la crítica hacia los
aspectos metodológicos relacionados
con cada una de las estructuras de los
manuscritos como niveles objetivos de
evidencia (Campbell et al., 2002).
Los criterios de evaluación de
las publicaciones sin lugar a duda,
Hernández-Huaripaucar et al.
196
PAIDEIA XXI
contribuyen a la crítica constructiva
de aporte cientíco (Wang et al.,
2013), y en tal sentido, valorar
lo que cada comité editor de las
revistas cientícas consideran como
aspecto probablemente ¨relevante¨
para que luego, sea aceptado el
manuscrito a publicarse, parece ser
una consideración estratégica de
referencia. El éxito de la visibilidad de
las revistas cientícas está en evaluar
de forma exigente, las propuestas
de sus indicadores (Onodera &
Yoshikane, 2015; Amjad et al., 2017).
Finalmente, Uddin & Khan (2016)
y Le et al., (2018) señalan que, las
características de la escritura en cada
una de las estructuras metodológicas
marcan el impacto cientíco de lo
pretendido a publicarse y las tres
revistas indexadas seleccionadas
en este estudio evidenciaron dicho
carácter. Asimismo, no se declara
como aspecto a medirse la complejidad
lingüística (sintáctica y léxica) en
indicadores de las revistas pero
implícita se evalúa para que la calidad
cientíca sea aceptada (Nolan, 2013;
Lu et al., 2019).
Se concluyó que, aunque no
existió una estandarización en los
criterios metodológicos del sistema
de evaluación sobre los manuscritos
en las tres revistas indexadas
latinoamericanas, su prestigio
internacional se sustenta en la
rigurosidad evaluativa de los criterios
a medirse siendo lo fundamental para
visibilizar su reconocimiento.
REFERENCIAS BIBLIOGRÁFICAS
Amjad, T.; Ding, Y.; Xu, J.; Zhang, C.; Daud, A.; Tang, J. & Cancion, M. 2017.
Standing on the shoulders of giants. Journal of Informetrics, 11: 307–323.
Bansal, P. & Corley, K. 2012. From the editors –Publishing in AMJ – part 7:
What’s different about qualitative research? Academy of Management
Journal, 55: 509–513.
Bergstrom, C.T.; West J.D. & Wiseman, M.A. 2008. The EigenfactorTM metrics.
Journal of Neuroscience, 28: 11433–11434.
Bollen, J.; Rodríguez, M.A. & Van De Sompel, H. 2006. Journal status.
Scientometrics, 69: 669–687.
Campbell, S.M.; Braspenning, J.; Hutchinson, A. & Marshall, M. 2002. Research
methods used in the development and application of quality indicators in
primary care. Quality and Safety in Health Care, 326: 816–819.
Duszak, R. 2016. The impact factory. Academic Radiology, 23: 659–660.
Falco, P.A. & Rodríguez, M.D. 2018. Ten questions you should consider before
submitting an article to a scientic Journal Intensive Care Nursing, 29: 80–
85.
Gareld, E. 2006. The history and meaning of the journal impact factor. Journal
of the American Medical Association, 295: 90–93.
Treatment of broken mucocele
197
PAIDEIA XXI
Gooiker, G.A.; Kolfschoten, N.E.; Bastiaannet, E.; van de Velde, C.J.; Eddes, E.H.;
van der Harst, E.; Wiggers, T.; Rosendaal, F.R.; Tollenaar R.A. & Wouters,
MW. 2013. Evaluating the validity of quality indicators for colorectal cancer
care. Journal Surgical Oncology, 108: 465–471.
Hirsch, J.E. 2005. An index to quantify an individual’s scientic research output.
Proceedings of the National Academy of Sciences, 102: 16569–16572.
Lee, P. S.; West, J. D. & Howe, B. 2018. Viziometrics: Analyzing visual information
in the scientic literature. IEEE Transactions on Big Data, 4: 117–129.
Lu, C.; Bu, Y.; Wang, J.; Ding, Y.; Torvik, V.; Schnaars, M. & Zhang, C. 2019.
Examining scientic writing styles from the perspective of linguistic complexity.
Journal of the Association for Information Science and Technology, 70: 462–
475.
Malesios, C. 2016. Measuring the robustness of the journal h-index with respect
to publication and citation values: A Bayesian sensitivity analysis. Journal of
Informetrics, 10: 719–731.
Martínez, M.; Herrera, M.; López, G.J. & Herrera, V.E. 2014. H-Classics:
Characterizing the concept of citation classics through H-index. Scien-
tometrics: 1971–1983.
Nolan, M. 2013. Medieval sensation and modern aesthetics aquinas, adorno,
chaucer. The Minnesota Review, 80: 145–158.
Onodera, N. & Yoshikane, F. 2015. Factors affecting citation rates of research
articles. Journal of the Association for Information Science and Technology,
66: 739–764.
Pinski, G. & Narin, F. 1976. Citation inuence for journal aggregates of scientic
publications: theory, with application to the literature of physics. Information
Processing and Management, 12: 297.
Rosselli, D. 2019. I cite you, you cite me: the importance of references. Acta
Neurológica Colombiana, 5: 1–3.
Rousseau, R. 2005. Median and percentile impact factors: a set of new indicators.
Scientometrics, 63: 431–441.
Sun, H. & Linton, J.D. 2014. Structuring papers for success: Making your paper
more like a high impact publication than a desk reject. Technovation, 34:
571–573.
Uddin, S. & Khan, A. 2016. The impact of author-selected keywords on citation
counts. Journal of Informetrics, 10: 1166–1177.
Wang, D.; Song, C. & Barabási, A.L. 2013. Quantifying long-term scientic
impact. Science, 342: 127–132.
Received November 17, 2019.
Accepted December 20, 2019.
