El site de Rafael Repiso

Humor, Comunicación, Sociología, Bibliometría y Redes

Siguiente Nivel

without comments

Level Up! PhdComic

Written by rafaelre

December 9th, 2014 at 3:16 pm

Ranking UNIR de Publicidad 2014. El Ranking ahora es de toda Iberoamérica

without comments

La última actualización del Ranking UNIR de Publicidad desarrolla toda la potencia de esta herramienta, que hasta la pasada edición se limitaba a España y que ahora engloba a toda Iberoamérica. Por tanto el Ranking UNIR de Publicidad ha ampliado su cobertura a la del ámbito de toda la publicidad en español y portugués.

ranking

De periodicidad anual, el principal cambio del ranking es que casi ha sextuplicado su tamaño (Tabla 1), lo que le permite generar un Ibreoamericano de Anuncios y Agencias de Publicidad. Por otra parte mantiene los ranking españoles (anuncios y agencias) y crea otros rankings nacionales en aquellos países que poseen una masa crítica suficiente de premios; Brasil, Argentina, Colombia, México, Chile, Ecuador y Perú.

tablaRanking

El Ranking UNIR de Publicidad se alimenta de los premios recibidos por las agencias iberoamericanas en los principales festivales de publicidad nacionales, iberoamericanos e internacionales, actualmente se utilizan 49 festivales, aunque cada año la cifra va incrementándose. La puntuación que recibe cada anuncio varía del número de premios que ha obtenido así como el valor de éstos (oro, plata, bronce, etc.) y la tipología del festival (nacional, iberoamericano e internacional).

El ranking UNIR de Publicidad permite:

  • Listar y ordenar a las agencias y anuncios en relación con el valor que han recibido en festivales de publicidad.
  • Listar las agencias con mayor prestigio, por años y países
  • Listar y mostrar los anuncios más premiados, por años y países.
  • Identificar a las agencias productoras de anuncios premiados.
  • Registrar la publicidad premiada en Iberoamérica.

 http://rankingdepublicidad.unir.net/

 

Rafael Repiso – Coordinador del Ranking

Written by rafaelre

November 17th, 2014 at 7:19 am

El Proceso Académico de Revisión

without comments

peerreviewproccess

Written by rafaelre

November 13th, 2014 at 10:02 am

El talón de Aquiles del SCImago Journal Rank

without comments



INTRODUCCIÓN AL INDICADOR
El Scimago Journal Rank (SJR) es un indicador de impacto de revistas, análogo al Impact Factor de Eugene Garfield, lanzado en el año 2007 por Felix de Moya Anegón y Vicente Guerrero Bote, del grupo de investigación SCImago, y que es utilizado como indicador referente en Scopus. En torno a este indicador, el grupo SCImago presenta su ranking de revistas SJR que, de forma similar a los Journal Citation Reports, clasifica a las revistas por su impacto dentro de diferentes categorías, ordenadas por cuartiles. Podemos decir que es uno de los indicadores con mayor reconocimiento para medir el impacto de las revistas por su forma de valorar la cantidad y calidad de las citas y además es “made in Spain”.
Este indicador posee tres características diferenciales en relación a su análogo, el Impact Factor:

Posee una ventana de citación de tres años. Este hecho, que ya incluía el Índice de Impacto de IN-RECS, hace que aumente la cantidad de información para el cálculo, con los consecuentes beneficios, especialmente en las áreas de humanidades (hay quien los critica porque piensa que provoca un retrato poco reciente de las revistas).
No tiene en cuenta las auto-citas de las revistas. Esta decisión tiene una consecuencia inmediata: las revistas no pueden auto-incrementar artificialmente su impacto si no es con la connivencia de otras publicaciones, lo cual, si no imposible, es desde luego más difícil de conseguir. Aunque también es discutible esta criminalización de la autocitación.
No todas las citas valen lo mismo, sino que las citas están ponderadas y depende del valor de centralidad de la revista que las emite, en una forma similar al Page Rank de Google. Éste es el principal elemento diferenciador y el apartado más novedoso del indicador, pero en él también radica los principales problemas que expondremos a continuación.

THE PROBLEM
El principal problema del que ha sido acusado este indicador es la complejidad de su cálculo, que dificulta, hasta imposibilitarlo, que los resultados sean replicados. Para realizar el cálculo del SJR de una revista se debe poseer el conjunto de citas de todo el sistema, para en primer lugar obtener el valor de ponderación de cada cita recibida por la revista. Es por ello que, una vez que anualmente se publica el impacto de las revistas, los editores de revistas se limitan a aceptar y creer en la validez de los resultados que se convierte en los que clásicamente se conoce como una caja negra.
De esta característica se deriva un problema aún mayor y que tiene que ver con la exactitud de los resultados. ¿Qué pasa si el sistema sobre el que se aplica el SJR comete errores a la hora de contabilizar las citas en una revista? Es decir, ¿qué pasa con los resultados del SJR si la base de datos Scopus no ha tenido en cuenta alguna cita a una revista o por el contrario ha incluido citas inexistentes? Obviamente que esa revista concreta posee un valor que no le corresponde, pero la peor parte es que, a diferencia del JCR, los errores en la contabilidad de las citas no sólo afectan a las revista que reciben o dejan de recibir las citas, sino que se compromete la exactitud de los cálculos de todas las revistas, puesto que tendría que calcularse de nuevo el valor que a la luz de estas nuevas citas tendrían cada revista en el conjunto. Hay una medida, una proporción, un límite para cada cosa–.EST MODUS IN REBUS.
Y llegados a este punto la pregunta clave es, ¿cómete Scopus este tipo de errores? Sí y por lo que personalmente conozco, los comete en un porcentaje preocupante. En un examen rutinario, cuando se publicó el SJR 2013, identificamos que a la revista Comunicar no se le estaban contando 17 citas recibidas en 2013, de las cuales 6 le hubiesen contado para el SJR 2013 (la misma revista no mostró pérdida de citas en Web of Science). ¿Corrige Scopus estos errores? Pues parece ser que no, una vez que se hacen públicos los valores del SJR no se modifican, por lo que, lo único que se puede hacer es reclamar que se corrijan y se tengan en cuenta para el cálculo de otros indicadores el siguiente año.
Creemos que Scopus, y el grupo SCImago, deberían ser más proactivos y reactivos al problema, conscientes de la “sensibilidad” del indicador que utilizan, están obligado a reducir los errores de precisión y exhaustividad en la indexación de artículos y a crear procesos de corrección de errores. Para ello debe tomar decisiones como aumentar las exigencias de normalización a las revistas y cualquier otro esfuerzo encaminado a  mejorar el proceso de carga e identificación de citas. De forma reactiva deberían crear herramientas de control de fallos.
Si la respuesta a esos errores no afecta al conjunto de los resultados, estamos dispuestos a creerlo aunque no pase de ser una afirmación de muy difícil demostración, pero las consecuencias puntuales sobre algunas revistas pueden ser importantes y afectar gravemente a sus posiciones en los listados
CONSEJOS FINALES
Para acabar el post, me gustaría realizar un par de recomendaciones. En primer lugar se hace imprescindible que las revistas científicas incorporen procesos de normalización en las citas, estilo, inclusión del DOI, etc., para que éstas sean fácilmente identificables (algo que debería ser requisito casi imprescindible para la inclusión en Scopus). Igualmente se recomienda que las revistas planifiquen un estudio anual de citas previo al periodo de cálculo del indicador, con el objetivo de detectar aquellas citas que no son tenidas en cuenta por el sistema y puedan ser reclamadas a Scopus a tiempo. Finalmente sería deseable que Elsevier y Scimago incorporasen un sistema de corrección de errores, por ejemplo un primer cálculo del SJR con un periodo posterior de un par de meses para la corrección de errores hasta el lanzamiento de una versión definitiva.

Written by rafaelre

October 14th, 2014 at 6:37 pm

PHDComics: Las Vacaciones del Catedrático

without comments

PHD Comics Las Vacaciones del Catedrático

Written by rafaelre

July 11th, 2014 at 9:42 am

Posted in PHDComic,Universidad

PHDComics 09/07/2014 Bad News

without comments

BadNews

Written by rafaelre

July 9th, 2014 at 9:33 am

Posted in Humor,PHDComic,Universidad

Tagged with

Evaluación de revistas científicas por FECYT: exigencia, calidad formal y discutible impacto científico

without comments

sellosfecyt

Desde hace unas semanas, tenemos el listado provisional de las revistas que obtienen el sello FECYT, que ha incrementado su importancia en el contexto de las revistas españolas, debido a la desactualización de otros productos de evaluación científica como IN-RECS, DICE o RESH. No obstante, como herramienta de evaluación de la calidad tiene como limitación que solo arroja luz sobre la calidad de las revistas que lo poseen, sin aportar más información que permita distinguirlas entre sí, generando una dicotomía que, mal interpretada, puede conducir a interpretaciones peligrosas en la evaluación de revistas españolas (no todo es blanco o negro).

La evaluación que realiza la FECYT a las revistas aspirantes es un proceso complejo y amplio, midiendo diferentes dimensiones como son:

  • Calidad formal: Cumplimiento de los principales criterios formales de calidad científica de las publicaciones.
  • Procesos: La FECYT audita las revistas, comprobando si aquellos procesos a los que se compromete son llevados a cabo (evaluaciones de trabajos, edición de ejemplares, etc.).
  • Impacto científico: La FECYT, contabiliza y pondera las citas de cada revista. Para que una revista acredite impacto en el área debe superar una horquilla establecida para su área.

Este último apartado es muy discutible tal como se realiza. Se ponderan las citas según la supuesta calidad de la revista que la emite en relación a los productos que la indexen. El constructo de ponderación (Tabla 1) que realizan sobre las revistas es impreciso en algunos aspectos, y la valoración de los productos utilizados es desacertada desde el punto de vista contextual, pero repasemos esta información punto por punto.

tabla1a

En primer lugar no se indica la ventana de citación. ¿Qué años se miden? Si estamos utilizando INRECS 2006-2009 ¿Significa eso que se tienen en cuenta artículos publicados en 2008 y anteriores? ¿Tiene sentido que un sello de calidad de revistas del año 2014 tenga en cuenta el impacto de trabajos de 2008? Cabe destacar que tampoco se indica qué hacen con las auto-citas.

Pero quizás el apartado más controvertido sea el valor que se le ha dado a los diferentes productos, las reglas de cálculo:

  1. ¿Web of Science es lo mismo que Scopus? Por supuesto que no, claramente WoS es mucho más exigente y elitista que Scopus, pensemos que una de las puertas para entrar en Scopus es ser editada por Elsevier (bajo pago) ¿Por qué igualar estos productos? ¿Es lo mismo posicionarse en el cuarto cuartil de Scopus que de WOS? Para ilustrar la diferencia entre los cuartiles entre WoS y Scopus podemos ver en la tabla 2 cómo se posicionan las revistas españolas de educación en los dos productos.tabla2a
  2. Citas WOS. ¿A qué se refiere esta categoría? ¿A las revistas que aún no tienen calculado el impacto? ¿A las revistas de la base de datos Arts & Humanities Citation Index? ¿Significa que una revista de Arts & Humanities Citation Index (pongamos por ejemplo la prestigiosa revista Film Quaterly) vale menos que una revista indexada en ERIH?
  3. Citas familia IN-REC. Estos productos destacaban por su exhaustividad a la hora de analizar revistas, exhaustividad que hacía que hubiese una gran variedad de revistas en relación a su calidad ¿Qué sentido tiene utilizar este producto si no se utilizan las distinciones de cuartiles? ¿Es lo mismo una cita de la revista Trípodos (primer cuartil de Comunicación) a la revista de la SEECI (última posición)?
  4. Citas SciELO. Por fin aparece SciELO como base de datos referente, y lo hace por encima de la familia INREC. En el área de Ciencias Sociales, el referente para Iberoamérica han sido mayoritariamente revistas españolas. Ponderar SciELO (sin calcular el impacto de sus revistas) por encima de IN-RECS es una decisión precipitada y arbitraria, sobre todo porque en España tenemos revistas de gran calidad en Ciencias Sociales, con mayor impacto internacional (hasta ahora) que no tienen posibilidad de entrar en este producto.
  5. Categoría ERIH. Las revistas ERIH se clasifican en tres categorías, NAT, INT1 e INT2, y la diferencia entre estas categorías es exponencial. La simplificación que realiza la FECYT no se justifica (sólo distingue dos categorías, uniendo las categorías INT). Por otra parte, los valores asignados no tienen lógica en el contexto del resto de productos. ¿Tiene más valor la revista Comunicar por pertenecer a la categoría INT de ERIH (12 puntos) que por pertenecer a Web of Science (3 puntos)?

A modo de conclusión, unas breves reflexiones:

  • Siguen siendo necesarios productos de evaluación que aporten información sobre la calidad de las revistas españolas más allá de WOS y Scopus.
  • La ponderación del impacto de las revistas de FECYT es imprecisa e incorrecta, en primer lugar por la falta de precisión al utilizar productos como INRECS o ERIH (no utilizan correctamente las categorías). Para usar mal estos productos, casi mejor no usarlos. En segundo lugar, y este es uno de los principales problemas, porque en conjunto, las puntuaciones que se asignan a los diferentes productos no tienen lógica.
  • Salta SciELO a la palestra. ¿Se debe usar este producto para evaluar revistas, profesores, centros en España? Por otra parte puntuar a SciELO por encima de revistas que aparecen en INRECS en primer cuartil es un error, pero claro, el sistema tampoco distingue entre cuartiles. Hacemos un flaco favor a las revistas españolas de Ciencias Sociales si la FECYT comienza a utilizar como producto de evaluación a una base de datos que veta a las revistas españolas.

Written by rafaelre

June 30th, 2014 at 11:04 am

Curso en la Universidad Jaume I

without comments

Esta semana, Daniel Torres-Salinas y un servidor (Rafael Repiso) hemos estado en Castellón, impartiendo un curso a los profesores y doctorandos de Comunicación de la Universidad Jaume I (y a algún profesor de otro departamento y personal administrativo de Biblioteca y el Servicio de Publicaciones). Es la segunda vez que visitamos la universidad, hace dos años ya estuvimos impartiendo un curso similar (señal de que no quedaron muy descontentos [enlace]).

JaumeI

En esta ocasión se impartieron dos cursos, “Cómo Publicar en Revistas Científicas de Impacto [4ª ed.]” y un nuevo curso de un tema clásico “Peer Review”.

Solamente nos queda agradecer la acogida a la que ya nos tienen acostumbrados los profesores de la Universidad Jaume I, y agradecer específicamente a Javier Marzal, Andreu Casero, Vicent Falomir y el resto de profesores y PAS su amabilidad y acogida. Dentro de dos semanas estaremos en la Universidad San Pablo CEU dando otro curso a los profesores de Comunicación.

 

Curso 4º ed, cómo publicar en revistas científicas de impacto consejos y reglas sobre publicación científica. from Torres Salinas

 

Peer Review. Revisión por pares from Rafael Repiso

 

Written by rafaelre

June 19th, 2014 at 8:21 pm

Las Redes Sociales cambian el modelo editorial científico y amenazan con sustituir a las bibliotecas virtuales universitarias

without comments

La red social académica My Science Work acaba de ofertar una versión Premium para investigadores, que, por la módica cantidad de 80 € mensuales (lo que cuestan dos papers de pago), permitirá a sus miembros más distinguidos una serie de ventajas entre las cuales destaca el acceso a artículos de pago de editoriales como Elsevier, ASPET, Annual Reviews, Canadian Science Publishing, East View, Maney, etc.

MyScienceWork2
Con esta iniciativa “My Science Work” va un paso más allá del resto de redes sociales (ResearchGate, Mendeley, Academia.edu o Quartzy), que ya actuaban como repositorios de los trabajos de sus usuarios y muchas permitían buscar en pbases de datos externas. Casualmente Academia.edu era noticia hace unos meses (“The End of an Era for Academia.edu and Other Academic Networks?” porque Elsevier había emprendido una batalla legal reclamando que se quitasen todos los trabajos que la red ofertaba en los perfiles de sus autores y cuyos derechos eran propiedad de la editorial. Ahora ya sabemos por qué.

Sin duda las redes sociales han irrumpido con fuerza en la academia, las principales ventajas que ofrecen son:

  • Permite a sus usuarios generar sus perfiles profesionales, incluyendo el listado de publicaciones, las cuáles pueden ser subidas y compartidas en la mayoría de las redes. En estos casos las redes sociales actúan como repositorio personal.
  • Crear grupos de trabajo.
  • Páginas de eventos, noticias, congresos, ofertas de empleo.
  • Motores de búsqueda propios para trabajos, en muchos casos conectados con las principales bases de datos (PubMed, CiteSeer, Arxiv…).
  • Generación de estadísticas. Estas redes están aprovechando el gran número de registros sociales que poseen de las visitas a los perfiles, descargas de trabajos y otras interacciones para generar sus propias métricas de uso y altmetrics.
  • Otros servicios. Por otra parte, cada red social parece tener un aspecto diferencial del resto. Mendeley por ejemplo es a la vez un gestor bibliográfico, Quartzy permite a los científicos la gestión administrativa de laboratorios, y tanto ResearchGate como My Science Work permiten realizar búsquedas en bases de datos científicas externas.

redessociales

En definitiva, lo que hace este tipo de redes sociales es aunar una gran cantidad de información científica, ordenarla en un espacio concreto, realizar análisis sobre los datos y difundirla a través de diferentes aplicaciones; métricas sociales, plugins, sistemas de alertas. Los científicos se ven recompensados al ver incrementada su visibilidad y la de sus trabajos, y los efectos que esto conlleva.

No obstante, ahora se plantea algo nuevo, las redes sociales llegan a acuerdos con editoriales científicas para ofrecer acceso a revistas de pago. Y entonces es cuando uno se pregunta ¿por qué las bibliotecas universitarias van en retroceso? Las bibliotecas universitarias ofertan servicios similares a estas redes triunfadores, incluso más potentes porque cuentan con recursos muebles e inmuebles, suscripciones a decenas de bases de datos de pago y un inestimable personal. La respuesta es fácil, porque su mirada va hacia ellos mismos, porque multiplican los recursos, porque en este sistema universitario pocas cosas se hacen de forma sinérgica. También es cierto que, dentro del sistema universitario español, las bibliotecas son una de las unidades con un mayor número de programas de colaboración.

¿Podéis imaginar una red social académica que englobe a las universidades públicas y privadas españolas, gestionadas por la Red de Bibliotecas Universitarias? Cada autor tendría su perfil propio, enlazada con un repositorio nacional (sustituyendo a la decena de repositorios existentes con el consiguiente ahorro). El acceso a los catálogos sería común, cada perfil (alumno, profesor, bibliotecario) podría implementar decenas de posibilidades, incluso una plataforma común permitiría aprovechar los datos para los sistemas propios de evaluación, las posibilidades son casi infinitas.

ihaveadream

Culpabilidad Académica

without comments

Culpabilid Adacadémica

Written by rafaelre

May 22nd, 2014 at 12:45 pm