Uma Proposta para Editoração, Indexação e Busca de Documentos Científicos em um Processo de Avaliação Aberta

José Palazzo Moreira de Oliveira, Renata de Matos Galante,
Daniela Leal Musa, Nina Edelweiss

Instituto de Informática – Universidade Federal do Rio Grande do Sul (UFRGS)
Caixa Postal 15.064 – 91.501-970 – Porto Alegre – RS – Brasil

In: 1º Workshop em Bibliotecas Digitais (WDL2005) – SBBD/SBES, 2005, Uberlândia. CD. Rio de Janeiro: SBC, 2005. v. 1. p. 30-39.

Resumo. Este artigo descreve uma proposta para editoração, indexação e busca de documentos científicos digitais em um processo de avaliação aberta. O foco principal deste artigo é a editoração de documentos digitais com revisão interativa pelos pares e de discussão pública com o tratamento das diversas versões dos documentos publicados ao longo da sua evolução. Além disso, a proposta oferece um serviço de editoração e avaliação da qualidade de artigos em Computação de forma pública, permitindo a livre avaliação pelos pares.

1. Introdução

O desenvolvimento da Ciência tem sido baseado, em grande parte, no processo de publicação aberta e de revisão dos resultados pelos pares. Esse processo é conduzido tradicionalmente em um processo de revisão anônimo onde os revisores não são conhecidos publicamente. O objetivo desse processo de avaliação é oferecer um sistema justo de avaliação. Entretanto, esse sistema de avaliação está sendo posto em dúvida tanto pela possibilidade de avaliações tendenciosas baseadas no anonimato dos avaliadores, quanto pelo enorme tempo despendido em avaliações e com a conseqüente falta de qualidade na elaboração das mesmas. Este problema foi abordado no SIGMOD 2004, no Painel “Rethinking the Conference Reviewing Process” (Franklin et al 2004), onde algumas alternativas foram discutidas tais como a revisão em duas fases, estrutura hierárquica do comitê de avaliação, e open on-line reviewing process. 

    Um sistema de geração, indexação e busca personalizada de conteúdos digitais tem por objetivo auxiliar no processo social de criar conhecimento, aperfeiçoar esse conhecimento através da revisão pelos pares e indicar ou receber indicação de conhecimento relevante. Sistemas de busca personalizada de conteúdos são largamente utilizados em comércio e marketing, para sugerir produtos ou fornecer informações que possam ajudar o cliente a decidir uma compra (Schafer et al., 2001; Lawrence et al., 2001). Esses sistemas se baseiam na avaliação dos pares para reputar os produtos ou serviços oferecidos; esta mesma proposta pode ser aplicada para a avaliação de artigos científicos. Neste caso, o problema é mais complexo do que na recomendação/avaliação de produtos materiais, pois é preciso associar à avaliação um indicador de qualidade do revisor.

      Apenas assegurar a avaliação da qualidade de um artigo não é suficiente para o usuário. Isto é uma conseqüência dos diversos perfis de usuário existentes. Um leitor interessado em conhecer detalhadamente os algoritmos para normalização de esquemas relacionais tem uma necessidade diferente de um leitor, por exemplo, alunos dos primeiros anos da graduação, que precisam conhecer os fundamentos da normalização. Um artigo perfeitamente adaptado para o segundo leitor não terá nenhuma utilidade para o primeiro leitor. Para atender essas necessidades específicas é tratado o problema de sugestão de artigos baseado no interesse e perfil do usuário, utilizando-se de uma ontologia de domínio. A maioria dos sistemas de indexação e busca personalizada de conteúdos utiliza um banco de perfis dos seus usuários, mantendo informações referentes a dados cadastrais e informações sobre o grau de interesse ou conhecimento do usuário em determinados assuntos. A modelagem do perfil do usuário serve para aprimorar o processo de indexação e busca personalizada de conteúdos, para que o sistema só recomende para o usuário itens que forem do seu interesse e adequados ao seu nível de conhecimento. Middleton et al. (2001) afirmam que a modelagem do perfil do usuário é baseada no comportamento deste (behavior–based) ou no seu conhecimento (knowledge–based). No caso da modelagem baseada no conhecimento, os usuários são associados aos chamados modelos estáticos de usuários. Já a abordagem baseada no comportamento, parte do princípio que o próprio comportamento forma o modelo, sendo então aplicadas técnicas de web mining para descobrir padrões úteis de comportamento. O perfil pode ser estabelecido inicialmente no momento do cadastro do usuário, através da indicação direta de alguns assuntos que são do seu interesse. Entretanto, o sistema deve acompanhar a evolução do perfil do usuário, uma vez que este é dinâmico. A evolução poderá ser modelada pelo comportamento do usuário, por exemplo, analisando documentos eletrônicos que o mesmo acessa na Internet, palavras utilizadas para buscas, documentos que foram redigidos ou publicados pelo usuário, conteúdos que são recomendados ou apontados pelo usuário e mensagens enviadas através de meios eletrônicos.

    Neste artigo tratamos especificamente do processo de editoração, indexação e busca de documentos científicos em um processo de avaliação aberta. O foco principal consiste na editoração de documentos digitais com revisão interativa pelos pares e de discussão pública com o tratamento das diversas versões dos documentos publicados ao longo de sua evolução, tendo como base a proposta de Ulrich Pöschl (2004).  Além disso, a proposta oferece um serviço de editoração e avaliação da qualidade de artigos em Computação de forma pública, permitindo a livre avaliação pelos pares. Para que este objetivo seja alcançado é preciso que os revisores (pares) sejam avaliados em suas competências em relação aos diversos tópicos em que podem opinar.

     As demais seções estão organizadas da seguinte forma. A Seção 2 apresenta um estudo comparativo dos trabalhos relacionados ao método proposto. A Seção 3 apresenta uma visão geral da proposta para a editoração, indexação e busca de documentos científicos digitais em um processo de avaliação aberta. A Seção 4 apresenta a modelagem do perfil do usuário e o processo de qualificação dos autores e revisores, que serve para identificar o nível de conhecimento necessário para o acesso aos documentos armazenados no sistema. A Seção 5 apresenta o mecanismo utilizado para o tratamento das diversas versões dos documentos publicados ao longo do tempo, enquanto as conclusões e perspectivas futuras são apresentadas na Seção 6.

2. Trabalhos Relacionados

Os três primeiros precursores da publicação livre certamente foram: a própria construção das normas e dos procedimentos iniciais da Internet, movimento de Software Livre e construção do conteúdo coletivo da World Wide Web (Simon 2001). Outra atividade importante, já agora na área específica de artigos científicos, é a Public Library of Science (PLoS 2005). A PLoS é uma organização sem fins lucrativos de cientistas e físicos comprometida em fazer da literatura científica e médica mundial um recurso público. Inicialmente foram publicadas duas revistas, PLoS Biology e PLoS Medicine. Em 2005 estão sendo lançados o PLoS Computational Biology, o PLoS Genetics, o PLoS Pathogens e o PLoS Reports  que será um fórum aberto para discussão de pesquisa biomédica. Um dos primeiros serviços para a publicação de artigos sobre física é apresentado por Ginsparg, (Ginsparg, 1996) quando cita que o sistema possuía, na época, mais de 35000 usuários em 70 países. Esse autor salienta que: “The essential question at this point is not *whether* the scientific research literature will migrate to fully electronic dissemination, but rather *how quickly* this transition will take place…” ao discutir a transferência das publicações de caros sistemas em papel para ambientes on-line. Um quantidade de Journals com acesso livre ligados à geociências, física, biociências e engenharia podem ser encontrados na organização Copernicus (2005). Entretanto estas publicações ainda mantêm a estrutura de revisão pelos pares realizada secretamente. Uma analogia chocante seria imaginar a reação pública se a Justiça, em um julgamento no tribunal do júri, mantivesse a identificação dos jurados secreta! Todos devem ter acompanhado recentes julgamentos em que foram gastas semanas procurando escolher um júri neutro e imparcial. Entretanto, no caso de Revistas dependemos apenas do critério do Editor! Mais recentemente surgiu o mecanismo de publicações colaborativas como a Wikipedia. Neste caso, apesar dos nomes dos colaboradores ser público, não há nenhum mecanismo estruturado de verificação da qualidade dos conteúdos. Finalmente existem trabalhos como o desenvolvido na Atmospheric Chemistry and Physics, Pöschl, U. (2004), que desenvolvem um processo de revisão em duas etapas, sendo a segunda pública.

      O processo de avaliação, descrito acima, apresenta algumas características que devem ser levadas em conta para uma melhor certificação da qualidade, como: a evolução de um documento e suas características temporais. Um artigo considerado ótimo no tempo t­ poderá ter perdido a atualidade em t₁ e, portanto, mudar de classificação. Tal cenário é um exemplo clássico de uma aplicação que depende do gerenciamento de diversas versões de um mesmo objeto; conforme aplicações dessa natureza migram para Web, elas naturalmente adotam XML como formato para representação de informações, passando a buscar por soluções adequadas ao tratamento de múltiplas versões em XML. Nesse sentido, existe também a necessidade de tornar acessível o histórico de modificações dos artigos. Aplicações desta classe são responsáveis pelas alterações às quais o documento é submetido, tornando-as visíveis ao público. Por exemplo, o modelo SPaR – Sparse Preorder and Range – (Chien et al, 2001), o método de Wong & Lam (Wong; Lam, 2003) e a linguagem TXML (Manukyan; Kalinichenko, 2001) permitem a temporalização de documentos XML representando o histórico da sua evolução ao longo do tempo. Em contrapartida, há também aplicações de monitoramento, cujo objetivo é acompanhar a evolução de um documento modificado por terceiros. Um exemplo de aplicação nesta categoria é o projeto Xyleme (Mirian et al., 2001), cujo propósito é registrar as modificações que ocorrem em páginas buscadas na Web.

       Dentro desse contexto, nosso trabalho consiste em formalizar e validar experimentalmente um ambiente para editoração, indexação e busca de documentos científicos em um processo de avaliação aberta.

3. Proposta para Avaliação Aberta de Documentos Científicos Digitais

A proposta para avaliação aberta tem por objetivo sistematizar os processos de editoração, indexação e busca de documentos científicos digitais. Neste artigo, o foco principal é a editoração de artigos com revisão interativa pelos pares e de discussão pública com o tratamento das diversas versões dos documentos publicados. Com isso, o sistema visa auxiliar no processo social de criar conhecimento, aperfeiçoar este conhecimento através da revisão pelos pares e indicar ou receber indicação de conhecimento relevante. Para tanto deve ser especificado um modelo de qualidade do artigo que leve em conta sua qualidade científica intrínseca, sua legibilidade, sua adequação a um perfil específico de leitor, entre outras características.

       A Figura 1 ilustra, de forma simplificada, a arquitetura proposta. Em linhas gerais, o processo de revisão aberta de artigos ocorre da seguinte forma. Em um primeiro momento, o autor submete um artigo para avaliação, conforme ilustrado na Figura 1(b).  Inicialmente, os autores do artigo são pontuados (detalhes na Seção 4). Se a pontuação for menor que o limiar especificado pelo administrador do sistema, isso significa que o autor é iniciante e a primeira avaliação deverá ser acompanhada por dois revisores experientes cadastrados no sistema. Após o término das revisões, duas saídas são possíveis: (i) o artigo é recusado e devolvido ao autor, sendo o autor aconselhado a reescrever o artigo e submetê-lo novamente; e (ii) o artigo é aprovado, sendo encaminhado para discussão pública. Quando a pontuação dos autores for maior ou igual ao limiar, isso significa que o autor é experiente, sendo o artigo diretamente encaminhado para discussão pública. Estando em discussão pública, inicia-se o processo de evolução do artigo, conforme ilustrado na Figura 1(c).

Figura 1. Arquitetura para revisão aberta de artigos.

Em resumo, o trabalho pode ser decomposto nas seguintes etapas, parcialmente autônomas, porém fortemente relacionadas pelas suas entradas e saídas:

• Autoria e indexação –  trata  da obtenção automática, semi-automática ou manual de metadados dos documentos digitais, de seu armazenamento em formato XML compatível com Dublin Core e com a plataforma BDBComp (um dos objetivos deste trabalho é sua oferta experimental para os Simpósios da SBC, suportados pelo sistema JEMS, e com a possibilidade de transferência de dados para o sistema BDBComp da UFMG)  bem como de sua disponibilização como um Web service;
• Perfil do usuário (Seção 4) – analisando os dados associados a um usuário tais como CV Lattes, documentos previamente recuperados, características de navegação entre outros, é definido um modelo do usuário. Este modelo de usuário é utilizado no processo de recuperação e recomendação de documento, em conjunto com a ontologia de domínio representando o conhecimento sobre a área de Computação (Junior et al, 2005), a qual é utilizada para associar o conteúdo do artigo e o perfil do usuário com os tópicos da área;
• Arquivamento e versões (Seção 5) – trata da modelagem do ciclo de vida de um artigo científico, representado em XML, incluindo as fases de revisão aberta pelos pares e de discussão pública pela comunidade dentro do modelo aplicado pelo Journal Atmospheric Chemistry and Physics.

         A proposta será explicada em detalhes nas próximas seções.

4. Especificação do Perfil do Usuário e Qualificação da Comunidade

Em nossa proposta de avaliação em editoração aberta é tratado o problema de reconhecimento de artigos baseado no perfil do autor. A modelagem do perfil do autor serve para aprimorar o processo de qualificação do autor e permitir um processo de revisão de conteúdos, para que o sistema avalie a qualidade dos itens considerando o autor, a qualificação dos revisores e o nível de conhecimento necessário para a leitura do item. A Figura 1(a) ilustra a qualificação da comunidade.

      O perfil inicial do autor é estabelecido no momento do cadastramento do usuário no sistema. Em um primeiro momento, o sistema procura identificar dados sobre o autor que possam ajudar na sua qualificação. Uma forma de adquirir esses dados é realizar uma consulta no currículo Lattes (CNPq 2005) do autor. Dados sobre a titulação do autor, experiência em projetos de pesquisa e publicações em conferências e periódicos são dados existentes em um currículo Lattes e que podem ajudar na qualificação do autor. Certamente outros indicadores como índices de impacto e número de citações deverão ser incluídos nessa métrica.

        Além disso, uma forma de avaliar a qualidade de um autor é verificar as suas publicações, bem como o número de citações de cada publicação, pois um artigo que é citado por vários outros artigos, possui qualidade superior a um artigo que não possui nenhuma citação.  Assim, o sistema pode realizar uma busca por publicações desse usuário e o número de citações a essas publicações. Isso pode ser feito a partir de mecanismos como o Scholar Google, que recolhe na Web publicações e suas citações, e as organiza de forma pública e transparente.

       O sistema também deve acompanhar a evolução do perfil do autor, uma vez que esse é dinâmico. A evolução é modelada pelo comportamento do autor, analisando as avaliações desse autor e considerando a correlação dessas revisões com as análises de outros revisores. Por fim, o sistema deve acompanhar a evolução do trabalho de avaliação realizado pelo revisor. Este fator é importante se quisermos manter um serviço disponível por um longo período. Um revisor pode, e normalmente o faz, mudar de área de pesquisa, mudando, evidentemente, de perfil de avaliador. Ou pode afastar-se da pesquisa quando seu rating precisará ser modificado. Toda esta representação, por áreas e ao longo do tempo, deve ser modelada por uma ontologia suficientemente detalhada.

      O objetivo desse processo dinâmico é permitir que o ambiente automatizado avalie a qualidade do artigo baseado na qualificação do autor e na qualidade dos pareceres de usuários. Esse processo será similar ao modelo de page ranking, utilizado pelo Google, onde referências de maior qualidade são ponderadas mais fortemente do que referências de menor peso.  Nesta direção, é evidente que existe uma métrica bidimensional: a qualidade do texto publicado e a qualidade do autor e dos leitores avaliadores.

5. Gerência da Evolução dos Artigos

Em função da natureza dinâmica das informações presentes na proposta (perfil dos usuários e evolução dos artigos), um problema amplamente estudado em bases de dados convencionais ganha nova importância: a necessidade de associação de informações de cunho temporal aos documentos científicos digitais como forma de representar a evolução do processo de avaliação aberta. A importância deste fator já ficou evidenciada; um assunto de um artigo pode perder a atualidade devido à evolução da área, o perfil de um revisor pode variar aumentando sua competência em uma área e afastando-se de outra área e, finalmente, o leitor pode evoluir (interessado, aluno de graduação, de mestrado, de doutorado) sendo que a qualidade de um artigo varia em função desta evolução. Esta seção apresenta os mecanismos necessários para a representação e a manipulação da história do conteúdo de um artigo, quando este sofre modificações com o passar do tempo, bem como do perfil do usuário e das revisões associadas a cada artigo em evolução.

      Em nossa proposta de avaliação em editoração aberta, os artigos, dados do perfil do usuário e revisões associadas às versões dos artigos  são armazenados em formato XML, sendo a partir deste convertido via um conjunto de regras XSLT (W3C 1999) para o formato HTML, para visualização em um navegador Web. O propósito é tornar acessíveis todas as alterações às quais o documento é submetido, bem como as revisões a ele associadas, tornando-as visíveis ao público.

      Dentro desse contexto, o modelo TVX (Tempo de Versões em XML) (Santos, 2005) é o modelo de dados utilizado para gerenciar a evolução dos artigos, pois possibilita representar toda a história da evolução de um documento XML. Essa solução consiste em suportar múltiplas versões de um mesmo documento, evitando o armazenamento redundante de seus segmentos em comum. Ao contrário das demais propostas existentes, o TVX combina homogeneamente os conceitos de versionamento e bitemporalidade em uma única abordagem. Assim, o TVX foi escolhido por permitir o uso conjunto desses dois recursos, visando combinar o poder de expressão de cada um, garantindo maior flexibilidade na representação do histórico dos documentos XML. A seguir, são apresentadas as principais características do modelo TVX, estabelecendo as premissas para o gerenciamento da evolução dos documentos na proposta.

5.1 Armazenamento da Evolução dos Artigos representados em XML

Estruturalmente, cada documento possui uma versão inicial, a partir da qual é possível derivar outras versões, cuja estrutura será idêntica à primeira. Cada versão tem um elemento distinto correspondente à raiz do documento XML que o representa.

     O mecanismo proposto emprega os conceitos de bitemporalidade (tempo de transação e tempo de validade) e de versionamento para permitir o armazenamento da evolução do conteúdo de um artigo representado em XML. O uso conjunto desses dois recursos visa combinar o poder de expressão de cada um, garantindo uma maior flexibilidade na representação do histórico dos documentos.

    A definição de documento XML utilizada é uma simplificação da original que exclui os conceitos de namespaces, instruções de processamento e comentários; da mesma maneira, não é dado qualquer tratamento especial para atributos dos tipos ID, IDREF e IDREFS. Essas construções são excluídas para simplificar o modelo e focalizá-lo no conteúdo dos documentos. Formalmente, um documento XML é representado como uma 6-tupla , tal que: El é um conjunto de elementos, A é um conjunto de atributos, T é um conjunto de nodos texto, S é um conjunto de valores do tipo cadeia de caracteres (strings), r é um objeto distinto que aponta para a raiz do documento e Ed é um conjunto de arcos que conectam os diversos objetos XML de tal forma que o grafo resultante apresente a forma de uma árvore.  Cada arco é uma 2-tupla , onde p é o nodo pai e c é o nodo filho. O elemento raiz r não pode aparecer como filho em nenhum arco, e deve aparecer como pai apenas uma vez. As combinações válidas para nodos pais e filhos são as seguintes:

• p = r, c ∈ El
• p ∈ El, c ∈ El
• p ∈ El, c ∈ A
• p ∈ El, c ∈ T
• p ∈ A, c ∈ S
• p ∈ T, c ∈ S