Documentos em um Processo de Avaliação Aberta

postado em: Diversos | 0

Uma Proposta para Editoração, Indexação e Busca de Documentos Científicos em um Processo de Avaliação Aberta

José Palazzo Moreira de Oliveira, Renata de Matos Galante,
Daniela Leal Musa, Nina Edelweiss

 

Resumo. Este artigo descreve uma proposta para editoração, indexação e busca de documentos científicos digitais em um processo de avaliação aberta. O foco principal deste artigo é a editoração de documentos digitais com revisão interativa pelos pares e de discussão pública com o tratamento das diversas versões dos documentos publicados ao longo da sua evolução. Além disso, a proposta oferece um serviço de editoração e avaliação da qualidade de artigos em Computação de forma pública, permitindo a livre avaliação pelos pares.

1. Introdução

O desenvolvimento da Ciência tem sido baseado, em grande parte, no processo de publicação aberta e de revisão dos resultados pelos pares. Esse processo é conduzido tradicionalmente em um processo de revisão anônimo onde os revisores não são conhecidos publicamente. O objetivo desse processo de avaliação é oferecer um sistema justo de avaliação. Entretanto, esse sistema de avaliação está sendo posto em dúvida tanto pela possibilidade de avaliações tendenciosas baseadas no anonimato dos avaliadores, quanto pelo enorme tempo despendido em avaliações e com a conseqüente falta de qualidade na elaboração das mesmas. Este problema foi abordado no SIGMOD 2004, no Painel “Rethinking the Conference Reviewing Process” (Franklin et al 2004), onde algumas alternativas foram discutidas tais como a revisão em duas fases, estrutura hierárquica do comitê de avaliação, e open on-line reviewing process

    Um sistema de geração, indexação e busca personalizada de conteúdos digitais tem por objetivo auxiliar no processo social de criar conhecimento, aperfeiçoar esse conhecimento através da revisão pelos pares e indicar ou receber indicação de conhecimento relevante. Sistemas de busca personalizada de conteúdos são largamente utilizados em comércio e marketing, para sugerir produtos ou fornecer informações que possam ajudar o cliente a decidir uma compra (Schafer et al., 2001; Lawrence et al., 2001). Esses sistemas se baseiam na avaliação dos pares para reputar os produtos ou serviços oferecidos; esta mesma proposta pode ser aplicada para a avaliação de artigos científicos. Neste caso, o problema é mais complexo do que na recomendação/avaliação de produtos materiais, pois é preciso associar à avaliação um indicador de qualidade do revisor.

      Apenas assegurar a avaliação da qualidade de um artigo não é suficiente para o usuário. Isto é uma conseqüência dos diversos perfis de usuário existentes. Um leitor interessado em conhecer detalhadamente os algoritmos para normalização de esquemas relacionais tem uma necessidade diferente de um leitor, por exemplo, alunos dos primeiros anos da graduação, que precisam conhecer os fundamentos da normalização. Um artigo perfeitamente adaptado para o segundo leitor não terá nenhuma utilidade para o primeiro leitor. Para atender essas necessidades específicas é tratado o problema de sugestão de artigos baseado no interesse e perfil do usuário, utilizando-se de uma ontologia de domínio. A maioria dos sistemas de indexação e busca personalizada de conteúdos utiliza um banco de perfis dos seus usuários, mantendo informações referentes a dados cadastrais e informações sobre o grau de interesse ou conhecimento do usuário em determinados assuntos. A modelagem do perfil do usuário serve para aprimorar o processo de indexação e busca personalizada de conteúdos, para que o sistema só recomende para o usuário itens que forem do seu interesse e adequados ao seu nível de conhecimento. Middleton et al. (2001) afirmam que a modelagem do perfil do usuário é baseada no comportamento deste (behaviorbased) ou no seu conhecimento (knowledgebased). No caso da modelagem baseada no conhecimento, os usuários são associados aos chamados modelos estáticos de usuários. Já a abordagem baseada no comportamento, parte do princípio que o próprio comportamento forma o modelo, sendo então aplicadas técnicas de web mining para descobrir padrões úteis de comportamento. O perfil pode ser estabelecido inicialmente no momento do cadastro do usuário, através da indicação direta de alguns assuntos que são do seu interesse. Entretanto, o sistema deve acompanhar a evolução do perfil do usuário, uma vez que este é dinâmico. A evolução poderá ser modelada pelo comportamento do usuário, por exemplo, analisando documentos eletrônicos que o mesmo acessa na Internet, palavras utilizadas para buscas, documentos que foram redigidos ou publicados pelo usuário, conteúdos que são recomendados ou apontados pelo usuário e mensagens enviadas através de meios eletrônicos.

    Neste artigo tratamos especificamente do processo de editoração, indexação e busca de documentos científicos em um processo de avaliação aberta. O foco principal consiste na editoração de documentos digitais com revisão interativa pelos pares e de discussão pública com o tratamento das diversas versões dos documentos publicados ao longo de sua evolução, tendo como base a proposta de Ulrich Pöschl (2004).  Além disso, a proposta oferece um serviço de editoração e avaliação da qualidade de artigos em Computação de forma pública, permitindo a livre avaliação pelos pares. Para que este objetivo seja alcançado é preciso que os revisores (pares) sejam avaliados em suas competências em relação aos diversos tópicos em que podem opinar.

     As demais seções estão organizadas da seguinte forma. A Seção 2 apresenta um estudo comparativo dos trabalhos relacionados ao método proposto. A Seção 3 apresenta uma visão geral da proposta para a editoração, indexação e busca de documentos científicos digitais em um processo de avaliação aberta. A Seção 4 apresenta a modelagem do perfil do usuário e o processo de qualificação dos autores e revisores, que serve para identificar o nível de conhecimento necessário para o acesso aos documentos armazenados no sistema. A Seção 5 apresenta o mecanismo utilizado para o tratamento das diversas versões dos documentos publicados ao longo do tempo, enquanto as conclusões e perspectivas futuras são apresentadas na Seção 6.

2. Trabalhos Relacionados

Os três primeiros precursores da publicação livre certamente foram: a própria construção das normas e dos procedimentos iniciais da Internet, movimento de Software Livre e construção do conteúdo coletivo da World Wide Web (Simon 2001). Outra atividade importante, já agora na área específica de artigos científicos, é a Public Library of Science (PLoS 2005). A PLoS é uma organização sem fins lucrativos de cientistas e físicos comprometida em fazer da literatura científica e médica mundial um recurso público. Inicialmente foram publicadas duas revistas, PLoS Biology e PLoS Medicine. Em 2005 estão sendo lançados o PLoS Computational Biology, o PLoS Genetics, o PLoS Pathogens e o PLoS Reports  que será um fórum aberto para discussão de pesquisa biomédica. Um dos primeiros serviços para a publicação de artigos sobre física é apresentado por Ginsparg, (Ginsparg, 1996) quando cita que o sistema possuía, na época, mais de 35000 usuários em 70 países. Esse autor salienta que: “The essential question at this point is not *whether* the scientific research literature will migrate to fully electronic dissemination, but rather *how quickly* this transition will take place…” ao discutir a transferência das publicações de caros sistemas em papel para ambientes on-line. Um quantidade de Journals com acesso livre ligados à geociências, física, biociências e engenharia podem ser encontrados na organização Copernicus (2005). Entretanto estas publicações ainda mantêm a estrutura de revisão pelos pares realizada secretamente. Uma analogia chocante seria imaginar a reação pública se a Justiça, em um julgamento no tribunal do júri, mantivesse a identificação dos jurados secreta! Todos devem ter acompanhado recentes julgamentos em que foram gastas semanas procurando escolher um júri neutro e imparcial. Entretanto, no caso de Revistas dependemos apenas do critério do Editor! Mais recentemente surgiu o mecanismo de publicações colaborativas como a Wikipedia. Neste caso, apesar dos nomes dos colaboradores ser público, não há nenhum mecanismo estruturado de verificação da qualidade dos conteúdos. Finalmente existem trabalhos como o desenvolvido na Atmospheric Chemistry and Physics, Pöschl, U. (2004), que desenvolvem um processo de revisão em duas etapas, sendo a segunda pública.

      O processo de avaliação, descrito acima, apresenta algumas características que devem ser levadas em conta para uma melhor certificação da qualidade, como: a evolução de um documento e suas características temporais. Um artigo considerado ótimo no tempo  poderá ter perdido a atualidade em t1 e, portanto, mudar de classificação. Tal cenário é um exemplo clássico de uma aplicação que depende do gerenciamento de diversas versões de um mesmo objeto; conforme aplicações dessa natureza migram para Web, elas naturalmente adotam XML como formato para representação de informações, passando a buscar por soluções adequadas ao tratamento de múltiplas versões em XML. Nesse sentido, existe também a necessidade de tornar acessível o histórico de modificações dos artigos. Aplicações desta classe são responsáveis pelas alterações às quais o documento é submetido, tornando-as visíveis ao público. Por exemplo, o modelo SPaR – Sparse Preorder and Range – (Chien et al, 2001), o método de Wong & Lam (Wong; Lam, 2003) e a linguagem TXML (Manukyan; Kalinichenko, 2001) permitem a temporalização de documentos XML representando o histórico da sua evolução ao longo do tempo. Em contrapartida, há também aplicações de monitoramento, cujo objetivo é acompanhar a evolução de um documento modificado por terceiros. Um exemplo de aplicação nesta categoria é o projeto Xyleme (Mirian et al., 2001), cujo propósito é registrar as modificações que ocorrem em páginas buscadas na Web.

       Dentro desse contexto, nosso trabalho consiste em formalizar e validar experimentalmente um ambiente para editoração, indexação e busca de documentos científicos em um processo de avaliação aberta.

3. Proposta para Avaliação Aberta de Documentos Científicos Digitais

A proposta para avaliação aberta tem por objetivo sistematizar os processos de editoração, indexação e busca de documentos científicos digitais. Neste artigo, o foco principal é a editoração de artigos com revisão interativa pelos pares e de discussão pública com o tratamento das diversas versões dos documentos publicados. Com isso, o sistema visa auxiliar no processo social de criar conhecimento, aperfeiçoar este conhecimento através da revisão pelos pares e indicar ou receber indicação de conhecimento relevante. Para tanto deve ser especificado um modelo de qualidade do artigo que leve em conta sua qualidade científica intrínseca, sua legibilidade, sua adequação a um perfil específico de leitor, entre outras características.

       A Figura 1 ilustra, de forma simplificada, a arquitetura proposta. Em linhas gerais, o processo de revisão aberta de artigos ocorre da seguinte forma. Em um primeiro momento, o autor submete um artigo para avaliação, conforme ilustrado na Figura 1(b).  Inicialmente, os autores do artigo são pontuados (detalhes na Seção 4). Se a pontuação for menor que o limiar especificado pelo administrador do sistema, isso significa que o autor é iniciante e a primeira avaliação deverá ser acompanhada por dois revisores experientes cadastrados no sistema. Após o término das revisões, duas saídas são possíveis: (i) o artigo é recusado e devolvido ao autor, sendo o autor aconselhado a reescrever o artigo e submetê-lo novamente; e (ii) o artigo é aprovado, sendo encaminhado para discussão pública. Quando a pontuação dos autores for maior ou igual ao limiar, isso significa que o autor é experiente, sendo o artigo diretamente encaminhado para discussão pública. Estando em discussão pública, inicia-se o processo de evolução do artigo, conforme ilustrado na Figura 1(c).

editorao coletiva

Figura 1. Arquitetura para revisão aberta de artigos.

Em resumo, o trabalho pode ser decomposto nas seguintes etapas, parcialmente autônomas, porém fortemente relacionadas pelas suas entradas e saídas:

  • Autoria e indexação –  trata  da obtenção automática, semi-automática ou manual de metadados dos documentos digitais, de seu armazenamento em formato XML compatível com Dublin Core e com a plataforma BDBComp (um dos objetivos deste trabalho é sua oferta experimental para os Simpósios da SBC, suportados pelo sistema JEMS, e com a possibilidade de transferência de dados para o sistema BDBComp da UFMG)  bem como de sua disponibilização como um Web service;
  • Perfil do usuário (Seção 4) – analisando os dados associados a um usuário tais como CV Lattes, documentos previamente recuperados, características de navegação entre outros, é definido um modelo do usuário. Este modelo de usuário é utilizado no processo de recuperação e recomendação de documento, em conjunto com a ontologia de domínio representando o conhecimento sobre a área de Computação (Junior et al, 2005), a qual é utilizada para associar o conteúdo do artigo e o perfil do usuário com os tópicos da área;
  • Arquivamento e versões (Seção 5) – trata da modelagem do ciclo de vida de um artigo científico, representado em XML, incluindo as fases de revisão aberta pelos pares e de discussão pública pela comunidade dentro do modelo aplicado pelo Journal Atmospheric Chemistry and Physics.

         A proposta será explicada em detalhes nas próximas seções.

4. Especificação do Perfil do Usuário e Qualificação da Comunidade

Em nossa proposta de avaliação em editoração aberta é tratado o problema de reconhecimento de artigos baseado no perfil do autor. A modelagem do perfil do autor serve para aprimorar o processo de qualificação do autor e permitir um processo de revisão de conteúdos, para que o sistema avalie a qualidade dos itens considerando o autor, a qualificação dos revisores e o nível de conhecimento necessário para a leitura do item. A Figura 1(a) ilustra a qualificação da comunidade.

      O perfil inicial do autor é estabelecido no momento do cadastramento do usuário no sistema. Em um primeiro momento, o sistema procura identificar dados sobre o autor que possam ajudar na sua qualificação. Uma forma de adquirir esses dados é realizar uma consulta no currículo Lattes (CNPq 2005) do autor. Dados sobre a titulação do autor, experiência em projetos de pesquisa e publicações em conferências e periódicos são dados existentes em um currículo Lattes e que podem ajudar na qualificação do autor. Certamente outros indicadores como índices de impacto e número de citações deverão ser incluídos nessa métrica.

        Além disso, uma forma de avaliar a qualidade de um autor é verificar as suas publicações, bem como o número de citações de cada publicação, pois um artigo que é citado por vários outros artigos, possui qualidade superior a um artigo que não possui nenhuma citação.  Assim, o sistema pode realizar uma busca por publicações desse usuário e o número de citações a essas publicações. Isso pode ser feito a partir de mecanismos como o Scholar Google, que recolhe na Web publicações e suas citações, e as organiza de forma pública e transparente.

       O sistema também deve acompanhar a evolução do perfil do autor, uma vez que esse é dinâmico. A evolução é modelada pelo comportamento do autor, analisando as avaliações desse autor e considerando a correlação dessas revisões com as análises de outros revisores. Por fim, o sistema deve acompanhar a evolução do trabalho de avaliação realizado pelo revisor. Este fator é importante se quisermos manter um serviço disponível por um longo período. Um revisor pode, e normalmente o faz, mudar de área de pesquisa, mudando, evidentemente, de perfil de avaliador. Ou pode afastar-se da pesquisa quando seu rating precisará ser modificado. Toda esta representação, por áreas e ao longo do tempo, deve ser modelada por uma ontologia suficientemente detalhada.

      O objetivo desse processo dinâmico é permitir que o ambiente automatizado avalie a qualidade do artigo baseado na qualificação do autor e na qualidade dos pareceres de usuários. Esse processo será similar ao modelo de page ranking, utilizado pelo Google, onde referências de maior qualidade são ponderadas mais fortemente do que referências de menor peso.  Nesta direção, é evidente que existe uma métrica bidimensional: a qualidade do texto publicado e a qualidade do autor e dos leitores avaliadores.

5. Gerência da Evolução dos Artigos

Em função da natureza dinâmica das informações presentes na proposta (perfil dos usuários e evolução dos artigos), um problema amplamente estudado em bases de dados convencionais ganha nova importância: a necessidade de associação de informações de cunho temporal aos documentos científicos digitais como forma de representar a evolução do processo de avaliação aberta. A importância deste fator já ficou evidenciada; um assunto de um artigo pode perder a atualidade devido à evolução da área, o perfil de um revisor pode variar aumentando sua competência em uma área e afastando-se de outra área e, finalmente, o leitor pode evoluir (interessado, aluno de graduação, de mestrado, de doutorado) sendo que a qualidade de um artigo varia em função desta evolução. Esta seção apresenta os mecanismos necessários para a representação e a manipulação da história do conteúdo de um artigo, quando este sofre modificações com o passar do tempo, bem como do perfil do usuário e das revisões associadas a cada artigo em evolução.

      Em nossa proposta de avaliação em editoração aberta, os artigos, dados do perfil do usuário e revisões associadas às versões dos artigos  são armazenados em formato XML, sendo a partir deste convertido via um conjunto de regras XSLT (W3C 1999) para o formato HTML, para visualização em um navegador Web. O propósito é tornar acessíveis todas as alterações às quais o documento é submetido, bem como as revisões a ele associadas, tornando-as visíveis ao público.

      Dentro desse contexto, o modelo TVX (Tempo de Versões em XML) (Santos, 2005) é o modelo de dados utilizado para gerenciar a evolução dos artigos, pois possibilita representar toda a história da evolução de um documento XML. Essa solução consiste em suportar múltiplas versões de um mesmo documento, evitando o armazenamento redundante de seus segmentos em comum. Ao contrário das demais propostas existentes, o TVX combina homogeneamente os conceitos de versionamento e bitemporalidade em uma única abordagem. Assim, o TVX foi escolhido por permitir o uso conjunto desses dois recursos, visando combinar o poder de expressão de cada um, garantindo maior flexibilidade na representação do histórico dos documentos XML. A seguir, são apresentadas as principais características do modelo TVX, estabelecendo as premissas para o gerenciamento da evolução dos documentos na proposta.

5.1 Armazenamento da Evolução dos Artigos representados em XML

Estruturalmente, cada documento possui uma versão inicial, a partir da qual é possível derivar outras versões, cuja estrutura será idêntica à primeira. Cada versão tem um elemento distinto correspondente à raiz do documento XML que o representa.

     O mecanismo proposto emprega os conceitos de bitemporalidade (tempo de transação e tempo de validade) e de versionamento para permitir o armazenamento da evolução do conteúdo de um artigo representado em XML. O uso conjunto desses dois recursos visa combinar o poder de expressão de cada um, garantindo uma maior flexibilidade na representação do histórico dos documentos.

    A definição de documento XML utilizada é uma simplificação da original que exclui os conceitos de namespaces, instruções de processamento e comentários; da mesma maneira, não é dado qualquer tratamento especial para atributos dos tipos ID, IDREF e IDREFS. Essas construções são excluídas para simplificar o modelo e focalizá-lo no conteúdo dos documentos. Formalmente, um documento XML é representado como uma 6-tupla , tal que: El é um conjunto de elementos, A é um conjunto de atributos, T é um conjunto de nodos texto, S é um conjunto de valores do tipo cadeia de caracteres (strings), r é um objeto distinto que aponta para a raiz do documento e Ed é um conjunto de arcos que conectam os diversos objetos XML de tal forma que o grafo resultante apresente a forma de uma árvore.  Cada arco é uma 2-tupla , onde p é o nodo pai e c é o nodo filho. O elemento raiz r não pode aparecer como filho em nenhum arco, e deve aparecer como pai apenas uma vez. As combinações válidas para nodos pais e filhos são as seguintes:

  • p = r, c ∈ El
  • p ∈ El, c ∈ El
  • p ∈ El, c ∈ A
  • p ∈ El, c ∈ T
  • p ∈ A, c ∈ S
  • p ∈ T, c ∈ S

    A definição de documento XML é então estendida para associar a cada um de seus objetos uma série de rótulos temporais para registrar os tempos de validade inicial e final – delimitando o período no qual os objetos modelam a realidade – bem como tempos de transação inicial e final – indicando o período no qual a informação foi registrada na base de dados.  O modelo é, portanto, bitemporal – todos os objetos recebem rótulos de tempo de transação e de tempo de validade. Além dos rótulos temporais, nodos de elementos e de texto recebem também identificadores globais e persistentes, para indicar a correspondência entre estados diferentes do mesmo objeto ao longo da evolução do documento.

     Além dos rótulos temporais acrescentados para controle de tempo de transação e de validade, o modelo TVX inclui também a possibilidade de definir versões do documento. A criação de uma versão é determinada pelo usuário, no caso de uma mudança significativa no documento, e é realizada por replicação e modificação dos valores de uma versão existente. A granularidade do versionamento é, portanto, o documento como um todo. Um documento sempre possui uma versão raiz, da qual podem ser derivadas outras versões. A hierarquia de derivação de versões construída de acordo com estas regras toma a forma de uma árvore: cada versão possui exatamente uma versão pai (com exceção da raiz) e pode possuir uma ou mais versões derivadas, quais evoluem independentemente umas das outras. Os identificadores globais de elementos e nodos de texto indicam a correspondência de fragmentos de informação dentro do histórico de uma versão e entre versões diferentes.

            A Figura 2 apresenta a estrutura de metadados que mantém as informações sobre a evolução histórica de um artigo.

 representacao historica docsFigura 2. Diagrama de classes para representação da história de um documento

        Cada documento possui uma versão inicial (também chamada de versão raiz, identificada através do relacionamento Root Version) da qual é possível derivar outras versões, através do relacionamento Derived Versions, cujas estruturas seguirão o mesmo esquema definido para a primeira. Cada versão apresenta um identificador e um nome para diferenciá-la das demais, bem como um elemento distinto que corresponde à raiz do documento XML que representa, indicado pelo relacionamento Root Element com a classe Element.

        Todos os objetos XML foram modelados como descendentes da classe XMLObject, e herdam o relacionamento Validity que a mesma apresenta com a classe TimeStamps; dessa forma, elementos, atributos, nodos de texto e de string possuem uma série de rótulos temporais que indicam seu tempo de vida. As propriedades IVTFVTITT e FTT correspondem, respectivamente, aos tempos de validade inicial e final e aos tempos de transação inicial e final.

         Para cada Element há também um conjunto (possivelmente vazio) de atributos que correspondem àquele elemento. Cada atributo é modelado por uma instância da classe Attribute; os atributos também possuem nome, assim como os elementos, e este nome não deve se repetir para os atributos que são descendentes imediatos de um mesmo elemento. Cada elemento pode conter também sub-elementos e nodos de texto; estes são modelados pela relação Content.

        Por fim, ao longo de sua existência, atributos podem assumir diversos valores, cada um com seu próprio intervalo de validade; esses são registrados pela classe String. Cada String possui uma propriedade que identifica seu valor, bem como timestamps para registrar os intervalos temporais associados a cada um dos valores assumidos ao longo de tempo. Nodos de texto também possuem rótulos temporais para o próprio objeto e para cada um seus valores, construídos da mesma maneira das outras propriedades.

6. Conclusões e Perspectivas Futuras

O desenvolvimento de publicações livres é um fato de extrema importância para a Ciência. A troca livre de informação e a possibilidade de acesso a esta informação, sem que sejam aplicadas tarifas exorbitantes, é a melhor forma de acelerar o processo de desenvolvimento científico e tecnológico. A privatização do conhecimento, por companhias e editoras, tem limitado muito a possibilidade de difusão de novas idéias e de desenvolvimentos recentes. Em uma fase anterior sempre considerou-se que a pesquisa consistia em uma etapa pré-competitiva. Atualmente está ocorrendo uma mudança radical nesse processo, sendo que todo o conhecimento passa a ser considerado propriedade privada. A proposta de publicação livre é uma forma de libertação deste processo. A possibilidade de oferecer a informação a grupos, cada vez maiores, da sociedade pode desencadear um novo renascimento[3], mas para que isto seja possível é necessário um processo, também aberto, que permita a avaliação da qualidade das publicações.

           A proposta aqui apresentada tem por objetivo o desenvolvimento de um ambiente de revisão e avaliação pública da qualidade de publicações abertas. Este trabalho faz parte do projeto de pesquisa do Grupo de Sistemas de Informação da UFRGS e que desenvolverá um servidor de publicações livres incorporando as funções de avaliação e certificação da qualidade das aplicações.  

Referências

CNPq (2005), acessado em:

Chien, Shu-Yao; Tsotras, Vassilis J.; Zaniolo, Carlo. Efficient Management of Multiversion Documents by Object Referencing. Roma, Itália: International Conference on Very Large Data Bases, 2001.

Copernicus (2005), acessado em 3 Ago, 2005,

Franklin, M J. et al. (2004) “Rethinking the Conference Reviewing Process – Panel”, In: SIGMOD Conference 2004, Paris, France, 2004, p. 957.

Harnad, S. (1996) “Implementing Peer Review on the Net: Scientific Quality Control in Scholarly Electronic Journals”, In: Peek, R. & Newby, G. (Eds.) Scholarly Publication: The Electronic Frontier. Cambridge MA: MIT Press, p. 103-108.

Ginsparg, P. (1996). Electronic publishing in science. Paper presented at a Conference held at UNESCO HQ, Paris, 19-23 February, 1996, session Scientist’s View of Electronic Publishing and Issues Raised, 21 Feb., 1996. Acessado em 03 Agosto, 2005:

Junior, L. C. R., Borges, T., Lichtnow1, D. , Loh, S., Saldaña, T. “Identificação de Áreas de Interesse a partir da Extração de Informações de Currículos Lattes/XML”, In: I Escola Regional de Banco de Dados, Porto Alegre, 2005.

Lawrence, R. D. et al. (2001) “Personalization of supermarket product recommendations”, In: Journal of Data Mining and Knowledge Discovery, v.5, n.1/2, January, p.11-32.

Manukyan, M. G; Kalinichenko, L. A. (2001) Temporal XML. Vilnius, Lituânia: Advances in Databases and Information Systems, 2001.

Middleton, S. E; de Roure, D. C.;  Shadbolt, N. R. (2001) “Capturing knowledge of user preferences: ontologies in recommender systems”. In Proceedings First International Conference on Knowledge Capture, p. 100-107, Victoria, British Columbia, Canada.

Mirian, A. et al. “Change-Centric Management of Version in a XML Warehouse.” In:International Conference on Very Large Data Bases, 2001. Proceedings … [S.l.:s.n.], 2001.

PLS 2005, Public Library of Science em :

Pöschl, U. (2004), Interactive journal concept for improved scientific publishing and quality assurance, Learned Publishing, 17, 105-113, 2004a (www.copernicus.org/EGU/acp/poeschl_learned_publishing_2004.pdf)

Santos, R. G. (2005) “Evolução de Documentos XML com Tempo e Versões.” Dissertação (Mestrado em Ciência da Computação) — Instituto de Informática, UFRGS, Porto Alegre, RS, Brasil.

Schafer, J. Ben et al. (2001) “E-commerce recommendation applications”, In: Journal of Data Mining and Knowledge Discovery, v.5, n.1/2, Janeiro, p.115-153.

Simon, Imre (2001), Três exemplos pioneiros do poder da Informação Aberta,  http://www.ime.usp.br/~is/informacaoaberta/mensagens/msg00000.html

Ulrich Pöschl (2004) “Interactive peer review enhances journal quality”, In: Learned Publishing, v.17, n.2, p. 105–113, Association of Learned and Professional Society Publishers, Clapham, Worthing, West Sussex, BN13 3UU, UK.

Wong, Raymond K.; Lam, Nicole. Efficient Re-construction of Document Versions Based on Adaptative Forward and Backward Change Deltas. Praga, República Tcheca: International Conference on Database and Expert Systems Applications, 2003.

W3C. XSL Transformations (XSLT) Version 1.0. Disponível em: http://www.w3.org/TR/xslt.


[1] Este trabalho foi parcialmente financiado pelo projeto PERMXML, CNPq 475743/04-0, Edital CNPq 19/2004 – Universal.

[2] Trabalho de doutorado apoiado pela CAPES.

[3] O Renascimento apresentou, entre outras, a característica de ter tornado acessíveis a um grande público as obras da antiguidade clássica e a Bíblia através da publicação de livros impressos. A maior parte dos historiadores considera este fator como um dos mais importantes para a efervescência e criatividade que marcaram este período da história.