Estava pensando sobre a avaliação realizada pela CAPES dos programas de pós-graduação. Tenho escrito bastante sobre o assunto, afinal a pesquisa e o ensino em Computação é minha atividade essencial. Um dos textos publicados foi sobre Individualismo ou o QUALIS e a Avaliação onde me preocupava com o problema da utilização do QUALIS para avaliações de pessoas, o que é dito como uso inadequado pela CAPES. Mas agora estava pensando sobre o que acontece, então me surgiu a analogia com o vestibular. Este exame foi criado para selecionar os candidatos para a Universidade. Qual seu real objetivo? No início era evidente: avaliar o real conhecimento dos candidatos. Quando a competição começou a aumentar surgiram os cursinhos, segui um dos primeiros aqui em Porto Alegre. Como funcionavam estes cursinhos? Eram aulas ministradas por professores bem conhecidos no secundário ou mesmo nas universidades que ministravam aulas revisando e explicando os fundamentos e os conteúdos das disciplinas. Começavam com o primeiro ano do secundário, seguiam para o segundo e terceiro. Era de fato um condensado do secundário tirando as dúvidas e procurando aumentar a compreensão dos candidatos. O exame vestibular era textual, com questões que deveriam ser respondidas com textos e cálculos, um verdadeiro exame. Ai surgiu um problema: com o aumento dos candidatos o modelo não escalava! O vestibular passou a ser composto por questões de cruzinha. Nesta época eu participava tanto da Comissão de Vestibular quanto do CPD da UFRGS, conheci bem o problema nos dois sistemas: fiz o vestibular com questões textuais e participei do processo do vestibular com múltiplas provas de escolha simples ou múltipla. Ai os cursinhos degeneraram, passaram a ser treinamentos sobre a melhor forma de responder as questões. O treinamento são verdadeiras gincanas. As aulas, de um ponto de vista tradicional, são sessões de teatro ou de circo. Certamente a qualidade do processo de seleção piorou, ou se degradou.
Com a avaliação dos programas de pós-graduação se passou o mesmo. Também participei de toda a evolução. No início era feita uma avaliação detalhada de cada programa, uma comissão visitava o programa, entrevistava professores e escolhia alunos ao acaso para entrevistas individuais. As bibliotecas, salas de aula, equipamentos eram analisados. Havia um julgamento. Ai houve um aumento gigantesco de cursos de pós-graduação (mais tarde farei uma análise comparativa com outros países) e o sistema, novamente, não escalava! Já vimos isto antes… Conclusão: é preciso achar uma forma de avaliar os programas sem gastar muito. Foi, então, criada a obsessão pela métrica das publicações. E ai surgiu a distorção. Em um texto anterior escrevi:
Há uns meses avaliei um artigo internacional e, como sempre faço, realizei uma busca na Web para encontrar as demais publicações do autor. Hoje existe uma enorme pressão para avaliar os pesquisadores por suas publicações e, muitas vezes, pela quantidade delas. Esta pressão leva muitas pessoas a uma atitude que chamo de “mass publication process” onde o mesmo conteúdo é maquiado para parecer diferente e é publicado várias vezes. Por isto um revisor responsável precisa verificar o grau de originalidade de um artigo antes de emitir um parecer conclusivo. Fiquei impressionado pela quantidade de publicações encontradas daquele autor nos últimos dois ou três anos! Analisando com mais cuidado descobri que em apenas uma conferência ele tinha 7 publicações registradas no DBLP, 6 em outra e 5 em uma terceira. Ao analisar os artigos deu para ver que, agregados os de cada conferência, dariam um artigo adequado e denso. Como os artigos foram estrategicamente distribuídos para vários workshops associados e para a conferência principal acabaram sendo aceitos. Será que este pesquisador é melhor por ter 18 artigos nestas conferências, além de mais umas 12 variações sobre o mesmo tema, do que seria se tivesse publicado dois ou três artigos densos em vez de 30 pontuais tratando, maquiadamente, do mesmo assunto?
Uma justificativa foi que era preciso achar uma métrica objetiva para realizar a avaliação, isto é, fugir da responsabilidade do julgamento. Mas neste caso nenhuma métrica é objetiva, os dados escolhidos são subjetivos e ideológicos. Hoje há uma visão de que a única cois que vale são publicações. Agora me surgiu uma ideia: não seria melhor colocar uma montanha de dados para um algoritmo de ‘superhuman’ DeepMind AI e verificar os resultados? A menos que a resposta fosse 42… Como vemos há uma tendência a perdermos o foco de qualquer coisa e procurar a solução mais fácil e barata. Aliás, há a famosa frase sobre os caminhos:
“Entrai pela porta estreita, porque larga é a porta, e espaçoso, o caminho que conduz à perdição, e muitos são os que entram por ela; e porque estreita é a porta, e apertado, o caminho que leva à vida, e poucos há que a encontrem”.
É isto que realmente ocorre, achar a qualidade é essencial, achar um método que escala é fácil mas de menor qualidade. Esta qualidade desejada se consegue trabalhando em bons problemas e com grupos consistentes. A escolha destes problemas reais é essencial, a criação de grupos hierárquicos para trabalhar com estes problemas é essencial. Um assunto que precisa ser discutido é a diversidade cultural e de perfis de trabalho na pós-graduação. Atualmente está aceito que a diversidade nos grupos sociais e acadêmicos é um dos melhores fatores para aumentar a eficiência e a criatividade. Culturas, gêneros e opiniões diferentes favorecem o convívio e abrem novas possibilidades para o tratamento dos temas de trabalho. Pergunto: “Por que isto não acontece nas pós-graduações?”. O consenso é que só devem participar dos programas professores-pesquisadores com um número alto de publicações em journals com alto fator de impacto. Mas um grupo criativo é algo bem diferente. Os coordenadores de programas de pós-graduação expurgam ótimos professores (que poderiam ministrar ótimas aulas) para aumentar os índices CAPES. Isto é uma exclusão. Aqueles que são dotados para a implementação também são excluídos, sobram apenas os publicadores. Com este comportamento perdemos muitas pessoas que seriam importantes para a formação de nossos alunos e para o desenvolvimento dos projetos. Isto sem contar com a criatividade oriunda da diversidade de perfis. O ponto central não é a qualidade e criatividade do grupo, mas sua adequação à bibliometria avaliativa. Se quisermos qualidade real será preciso uma profunda mudança em nossos critérios.
Resumindo: precisamos de bons problemas, grupos com diversidade e qualidade, hierarquia na pesquisa e avaliação por julgamento. Mas como este dito anônimo retrata:
As Universidades e os cemitérios são refratários às mudanças, os que ali estão não querem se mover.
A parte disto considero que estamos dando a mensagem errada para os jovens, tanto alunos quanto pesquisadores. O importante não é a contagem de artigos, mas a pesquisa de qualidade. Entendo que dependemos do dinheiro da CAPES e que devemos nos preocupar com a avaliação, é o caso de fazer o que quem paga quer (não vou considerar profissões assim…). Mas a avaliação deveria ser consequência de uma boa pesquisa e não obtida por regras.