Feeds:
Posts
Comentários

Archive for 11 de outubro de 2008

Nossa vida não é mais vida é uma corrida sem fim para um lugar incerto, a única certeza é que a morte nos espera no fim do caminho. Será que a Qualidade é resultado desta corrida desenfreada? Será que o melhor que existe no mundo é o fast-food macdonaldiano ou será que um slow-food não é muito melhor? Será que a qualidade consiste em publicar inúmeras variações sobre um mesmo tema ou consiste em elaborar um trabalho denso e criativo? Um trabalho de toda uma vida que permitiu a redação de um clássico como o livro O Senhor dos Anéis, de Tolkien, seria considerado um absurdo de perda de tempo do ponto de vista desta corrida desenfreada. 

Há uns meses avaliei um artigo internacional e, como sempre faço, realizei uma busca na Web para encontrar as demais publicações do autor. Hoje existe uma enorme pressão para avaliar os pesquisadores por suas publicações e, muitas vezes, pela quantidade delas. Esta pressão leva muitas pessoas a uma atitude que chamo de “mass publication process” onde o mesmo conteúdo é maquiado para parecer diferente e é publicado várias vezes. Por isto um revisor responsável precisa verificar o grau de originalidade de um artigo antes de emitir um parecer conclusivo. Fiquei impressionado pela quantidade de publicações encontradas daquele autor nos últimos dois ou três anos! Analisando com mais cuidado descobri que em apenas uma conferência ele tinha 7 publicações registradas no DBLP, 6 em outra e 5 em uma terceira. Ao analisar os artigos deu para ver que, agregados os de cada conferência, dariam um  artigo adequado e denso. Como os artigos foram estrategicamente distribuídos para vários workshops associados e para a conferência principal acabaram sendo aceitos. Será que este pesquisador é melhor por ter 18 artigos nestas conferências, além de mais umas 12 variações sobre o mesmo tema, do que seria se tivesse publicado dois ou três artigos densos em vez de 30 pontuais tratando, maquiadamente, do mesmo assunto?  Este é o resultado da famosa frase publish or perish(publique ou pereça) tão em voga em universidades dos USA. Foi lá  que surgiu aquela idéia de que a quantidade de informação duplica a cada dois anos, se isto fosse verdade teríamos duplicado o conhecimento da Humanidade em dois anos. É claro que saber quantos sanduíches foram vendidos em cada lanchonete de uma cadeia de fast-food espalhadas pelo mundo não pode ser considerado aumento de informação, aliás são junk dados associados a junk-food. O que quero mostrar é que quantidade de dados e quantidade de conhecimento são coisas muito diferentes. Certamente isto não é uma regra geral para todo aquele país mas é uma conseqüência da idéia geral que a qualidade só é obtida por uma concorrência impiedosa e contínua e não por um processo estável e consciente de cooperação.  

Esta necessidade desvairada de publicações me parece loucura total, similar ao caso que assisti em um noticioso internacional na TV, em janeiro, sobre uma pessoa que morreu em um concurso para saber quem conseguia tomar a maior quantidade de água em um tempo determinado. Esta pessoa atingiu o limite da irracionalidade, e o Livro Guinness de Recordes: a maior pizza do mundo, quem comeu o maior número de minhocas em uma hora, o recorde de permanência em cima de uma perna só (pessoa não  cegonhas), acho que daqui a pouco teremos o pesquisador que publicou o maior número de artigos por ano! Talvez já exista este recorde, mas não gasto meu dinheiro comprando tal inutilidade – se alguém souber (é claro que buscando gratuitamente na Web) me avise, por favor.

Parece que a mania dos nossos vizinhos do norte de competir numericamente em qualquer coisa está criando situações bizarras ou de real loucura. Notem que sou um defensor ferrenho da qualidade na academia, nas universidades o critério único deveria ser a meritocracia. Sempre tenho escrito e defendido a qualidade do trabalho de pesquisa e acho, que nas universidades de pesquisa, a publicação é a forma principal  de avaliação externa da qualidade. As patentes são outro indicador mas ai precisamos de outra discussão sobre a privatização do conhecimento. O problema é “como avaliar a qualidade”? A forma tradicional é pelo número de citações feitas para uma determinada publicação. 

O “academic reward system” ou sistema de reconhecimento da qualidade do trabalho de pesquisa utilizado pela comunidade acadêmica baseia-se, além do bom processo de revisão pelos pares, na qualidade dos meios em que um pesquisador consegue publicar seus artigos. A suposição é que considerado o número de citações a estes trabalhos realizadas por outros pesquisadores teremos um bom indicador da importância de um trabalho. Estes elementos estão correlacionados e definem o fator de impacto de uma publicação. Aqui aparecem dois graves problemas: a obtenção destes fatores e a suposição que a popularidade (número de citações) é indicador de qualidade. 

Como se trata de um trabalho imenso, o processo tem sido realizado por organizações privadas com fins lucrativos. Por outro lado as publicações de editoras mais conhecidas e com maiores recursos econômicos são muito mais divulgadas, vendidas e portanto mais citadas. A utilização dos mais conhecidos serviços de indexação coloca a avaliação de qualidade como um resultado de recursos financeiros. Se um ótimo artigo é publicado em uma página pessoal de um pesquisador e dá como resultado uma grande quantidade de trabalhos de pesquisa e citações em outras páginas ele não aparece. Uma alternativa para o cálculo das referências, todas e não somente as comerciais, é o Scholar Google que indexa todas as publicações acessíveis na Web, tanto as comerciais como as livres. [..]

Estou tratando este problema com uma série de projetos de pesquisa para a avaliação da qualidade de conferências e de pesquisadores por meio de critérios múltiplos e com dados obtidos da Web. A minha hipótese de pesquisa (aqui em estilo muito informal)  é que “é possível enganar poucos por muito tempo, muitos por pouco tempo mas é impossível enganar todos por todo o tempo”. Assim deve ser possível coletar muitos dados e, por meio de Inteligência Competitiva,  conseguir uma avaliação consistente de um pesquisador. Precisamos redefinir profundamente o que consideramos qualidade. No fundo isto é o que desejaríamos que funcionasse, uma avaliação de toda uma vida com critérios holísticos. Quantidade e pressa desvairada não são indicadores de qualidade. Um trabalho consistente, com duração compatível com a idade do pesquisador, os resultados de suas pesquisas e orientações são indicadores de avaliação muito melhores do que um índice comercial de impacto.

Se conseguirmos mudar nossos parâmetros de avaliação talvez os cursos secundários deixem de ser treinamento para preencher provas de vestibular, mas cursos de formação. Talvez os pesquisadores não pensem somente no número de publicações do ano mas no desenvolvimento de sua pesquisa para os próximos 10 anos. E, milagre, talvez os políticos façam o túnel do metrô 15 metros mais abaixo com o tatuzão mesmo que a obra não fique pronta antes da próxima eleição ou pensem que qualidade é uma pista principal do Congonhas refeita e não um belíssimo salão de espera, aliás interminável. Talvez as pessoas desistam de andar de 4×4 na cidade, gastando gasolina com motores de 4 a 6 litros enquanto o mundo ferve com o aquecimento global! Isto é reavaliar nossos conceitos e nossas métricas, isto é construir um Mundo Melhor. Senão continuemos a corrida sem sentido e sem fim, ooops… com fim pois a Velha Senhora está nos esperando.

José Palazzo M. de Oliveira

Anúncios

Read Full Post »