Reconhecimento da
qualidade de publicações livres
O desenvolvimento
da Ciência tem sido baseado, em grande parte, no
processo de publicação aberta e de revisão dos
resultados pelos pares. Este processo é conduzido
tradicionalmente em um processo de referring
anônimo onde os revisores não são conhecidos
publicamente. O objetivo deste processo de avaliação é
oferecer um sistema justo (fair) de avaliação.
Este sistema está sendo posto em dúvida tanto pela
possibilidade de avaliações tendenciosas baseadas no
anonimato dos avaliadores, quanto pelo enorme tempo
despendido em avaliações e com a conseqüente falta de
qualidade na elaboração das mesmas. Este problema foi
abordado no SIGMOD 2004 no Painel “Rethinking the
Conference Reviewing Process”.
Por outro lado o
“academic reward system” ou sistema de
reconhecimento da qualidade do trabalho de pesquisa
utilizado pela comunidade acadêmica baseia-se, além do
bom processo de revisão pelos pares, na qualidade dos
meios em que um pesquisador consegue publicar seus
artigos. Complementarmente é considerado o número de
citações a estes trabalhos realizadas por outros
pesquisadores. Estes três elementos estão
correlacionados e definem o fator de impacto de uma publicação. O grave problema é a
obtenção destes fatores. Como se trata de um trabalho
imenso, o processo tem sido realizado por organizações
privadas com fins lucrativos. Por outro lado as
publicações de editoras mais conhecidas e com maiores
recursos econômicos são muito mais divulgadas, vendidas
e portanto mais citadas. Neste ambiente a Publicação Livre têm enorme dificuldade para se afirmar. A
utilização de um dos mais conhecidos dos serviços de
indexação, o Science Citation Index, um serviço
comercial que registra o número de referências a
artigos publicados em revistas (ou de serviços
semelhantes), pelos órgãos administrativos e de
fomento, para a valorização do trabalho dos
pesquisadores, é um empecilho importante para a
consolidação de publicações de acesso livre.
Precisamos,
portanto, desenvolver mecanismos que garantam uma forma
pública e de qualidade garantida para a avaliação
aberta de artigos. Um sistema de geração, indexação e
busca personalizada de conteúdos digitais tem por
objetivo auxiliar no processo social de criar
conhecimento, aperfeiçoar este conhecimento através da
revisão pelos pares e indicar ou receber indicação de
conhecimento relevante. Sistemas de avaliação e
recomendação de produtos são largamente usados em
comércio e marketing, para sugerir produtos ou
fornecer informações para ajudar o cliente a decidir a
compra. Estes sistemas se baseiam na avaliação dos
usuários para avaliar os produtos ou serviços
oferecidos; esta mesma metodologia pode ser aplicada para
a avaliação de artigos científicos. Neste caso o
problema é bastante mais complexo do que na
recomendação de produtos materiais, pois é preciso
associar à avaliação um indicador de qualidade do referee.
Existe uma métrica bidimensional: a qualidade do texto
publicado e a qualidade do autor e dos
leitores-comentadores.
Em um modelo de
editoração aberta é tratado o problema de
reconhecimento de artigos baseado no perfil do autor. A
modelagem do perfil do usuário serve para aprimorar o
processo de qualificação do autor e permitir um
processo de revisão de conteúdos. Para que um sistema
possa avaliar a qualidade dos itens considerando o autor,
a qualificação dos referees, e o nível de
conhecimento necessário para a leitura do item é
necessário o acesso a fontes de informação adequadas.
O perfil inicial do autor pode ser estabelecido no
momento do cadastramento do usuário no sistema. Em um
primeiro momento, o sistema procura identificar dados
sobre o autor que possam ajudar na sua qualificação.
Uma forma de adquirir esses dados é realizar uma
consulta no currículo Lattes (CNPq)
do autor. Dados sobre a titulação do autor,
experiência em projetos de pesquisa e publicações em
conferências e periódicos são dados existentes em um
currículo Lattes e que podem ajudar na qualificação do
autor. Certamente outros indicadores como índices de
impacto e número de citações devem ser incluídos
nessa métrica. Além disso, uma forma de avaliar a
qualidade de um autor é verificar as suas publicações,
bem como o número de citações de cada publicação,
pois um artigo que é citado por vários outros artigos,
possui qualidade superior a um artigo que não possui
nenhuma citação. Assim, o sistema pode realizar uma
busca por publicações desse usuário e o número de
citações a essas publicações. Isso pode ser feito a
partir de mecanismos como o Scholar Google, que recolhe
na Web publicações e suas citações, e as organiza de
forma pública e transparente. A evolução é modelada
pelo comportamento do leitor/avaliador analisando as
avaliações deste usuário e considerando a correlação
destas revisões com as análises de outros avaliadores.
O objetivo deste processo dinâmico é permitir que o
ambiente automatizado avalie a qualidade do artigo
baseado na qualificação do autor, nos pareceres de
usuários de uma forma similar ao modelo de page
ranking, utilizado pelo Google, onde referências de
maior qualidade são ponderadas positivamente.
Um sistema baseado nestas premissas
está sendo projetado e implementado no PGCC-UFRGS e
será, oportunamente, aberto ao público para
publicação de artigos e para a avaliação dos
resultados. Espero que, algum dia, possamos dispor de
Publicações Livres com uma forma pública e
transparente de avaliação de qualidade aceita pela
comunidade científica e pelos órgãos administrativos.
O desenvolvimento de publicações livres é um fato de
extrema importância para a Ciência. A troca livre de
informação e a possibilidade de acesso a esta
informação, sem que sejam aplicadas tarifas
exorbitantes, é a melhor forma de acelerar o processo de
desenvolvimento científico e tecnológico. A
privatização do conhecimento, por companhias e
editoras, tem limitado muito a possibilidade de difusão
de novas idéias e de desenvolvimentos recentes. Em uma
fase anterior sempre considerou-se que a pesquisa
consistia em uma etapa pré-competitiva. Atualmente está
ocorrendo uma mudança radical nesse processo, sendo que
todo o conhecimento passa a ser considerado propriedade
privada. A proposta de publicação livre é uma forma de
libertação deste processo. A possibilidade de oferecer
a informação a grupos, cada vez maiores, da sociedade
pode desencadear um novo renascimento , mas para que isto
seja possível é necessário um processo, também
aberto, que permita a avaliação da qualidade das
publicações.
Para
a saber mais
|
Proposta para a Editoração,
Indexação e Busca de Documentos Científicos em
um Processo de Avaliação Aberta. José
Palazzo Moreira de Oliveira, Renata de Matos
Galante, Daniela Leal Musa, Nina Edelweiss. 1º
Workshop em Bibliotecas Digitais (WDL2005), 7 de
Outubro de 2005, Uberlândia.
Lawrence, R. D. et al. (2001)
Personalization of supermarket product
recommendations. Journal of Data Mining and
Knowledge Discovery, v.5, n.1/2, January,
p.11-32.
Harnad, S. (1996) Implementing
Peer Review on the Net: Scientific Quality
Control in Scholarly Electronic Journals. In:
Peek, R. & Newby, G. (Eds.) Scholarly
Publication: The Electronic Frontier. Cambridge
MA: MIT Press. Pp. 103-108.
Middleton, S. E; de Roure, D. C.; Shadbolt, N. R. (2001) “Capturing knowledge
of user preferences: ontologies in recommender
systems”. In Proceedings First International
Conference on Knowledge Capture, p. 100-107,
Victoria, British Columbia, Canada.
Schafer, J. Ben et al. (2001)
E-commerce recommendation applications. Journal
of Data Mining and Knowledge Discovery, v.5,
n.1/2, Janeiro, p.115-153.
Ulrich Pöschl (2004),
Interactive peer review enhances journal quality,
Learned Publishing (2004)17, 105–113,
Association of Learned and Professional Society Publishers,
Clapham, Worthing, West Sussex, BN13
3UU, UK, http://www.copernicus.org/EGU/acp/poeschl_learned_publishing_2004.pdf
|
Consultas sugeridas:
"Qualidade de publicações",
"Conteúdos digitais",
"Sistemas de recomendação",
"Editoração eletrônica",
"Editoras e ciência"
|
|
| Se
você gostou desta crônica e quer
saber sobre publicação das próximas entre em minha rede social no
Facebook. |
|
|
