Já fiz alguns concursos com as maiores organizadoras: CESPE, ESAF e FCC. Sempre valorizei as provas e questões que cobrem raciocínio do candidato além do mero "decoreba da lei" que usualmente é exigido pelas organizadoras menores. Normalmente isso é feito pela exigência de jurisprudência: já que ninguém pode saber tudo o que anda acontecendo pelos tribunais, por mais que leia os informativos do STF ou STJ, acaba tendo que fazer algumas questões pela lógica e pelo raciocínio, o que demonstra um conhecimento mais profundo do que o normal.
Não posso, todavia, concordar com métodos de avaliação como: (a) exigir que o candidato saiba o que está escrito em determinado artigo de lei, citando-o pelo número, (b) forçar o cansaço do candidato através de textos longos que estão ali apenas para cansar, (c) questões de múltipla escolha exigindo que o candidato indique quantas (e não quais) assertivas estão certas nos 5 enunciados antecedentes ou (d) exigir do candidato o conhecimento de normas obscuras.
Todas estas fórmulas de avaliação nivelam por baixo 90% dos candidatos.
No primeiro caso, ninguém sabe todos os artigos de lei decorados, principalmente quanto se trata de um menos utilizado no dia-a-dia, tratando de matéria de direito financeiro, cujo domínio (e uso) é de poucos. Não estamos tratando aqui do Art. 282 do Código de Processo Civil (petição inicial), por exemplo, que é de conhecimento quase que obrigatório para qualquer advogado.
Forçar o cansaço do candidato através de textos longos que nada acrescentam (questão da hipoteca) não cobra conhecimento de nenhum candidato. Cobra, sim, grau de concentração após três ou quatro horas de prova, o que não é o escopo constitucional do concurso público.
Questões que exigem, após fornecer cinco assertivas que o candidato indique quantas estão erradas é uma das questões mais injustas que existem. Se o candidato não souber, das cinco, uma, errou. Todavia, por outro lado, um candidato que não saiba de nenhuma das cinco, acerta no chute. Ao menos as questões que exigem a indicação de QUAIS estão certas (ou erradas) dá ao candidato que tem noção do que está fazendo a chance de eliminar duas ou três respostas, sendo mais justo ao menos no chute.
Outra coisa: cobrar normas obscuras e tratados internacionais pouco utilizados também não é cobrar conhecimento do candidato. Não se está selecionando necessariamente uma pessoa que tenha experiência prévia na área tributária (e mesmo os conhecidos meus que têm mais de quatro anos na área nunca tinham tratado das normas cobradas na prova de hoje da ESAF), mas sim alguém que tenha conhecimento e capacidade para ser Procurador da Fazenda Nacional, o que não é aferido pelo conhecimento de tais normas. Conhecimento Específico se aprende na prática e vem com o tempo.
Não quero comentar erros grosseiros de concordância ou de construção das assertivas, pelo que encerro esse breve desabafo por aqui.
Um comentário:
EMAIL DA ESAF ceat.df.esaf@fazenda.gov.br
Caros senhores,
Com todo o respeito quero tecer algumas considerações sobre as questões da prova de PFN realizada no último dia 02 de setembro de 2007. Mais particularmente quero indicar alguns problemas sérios na estrutura das questões de Administrativo e Tributário.
Vou começar comparando a prova da ESAF com a prova do CESPE:
1. O CESPE tem um padrão de provas: o candidato sabe que aquela alternativa está CERTA OU ERRADA. Acabou! Isto é um pressuposto da prova. É uma REGRA DA PROVA. Numa prova de 100 questões, se o candidato chutar 100 alternativas na opção “CERTO” ele acertará 50 questões e errará 50 questões. Como cada 2 questões anulam uma questão ele perderá 25 questões certas e restarão 25 questões líquidas. O resultado é que ele fará 25% dos pontos possíveis, se ele chutar todas as questões numa única alternativa.
2. A princípio numa prova de múltipla escolha tradicional, com 5 alternativas possíveis (como são as provas da ESAF) , se o candidato chutar todas as questões em B ele fará 20% dos pontos (desconsiderando os pesos). Portanto de imediato, é possível verificar que no CESPE há uma vantagem no tipo de questões. Além disto o candidato ainda pode não responder aquela alternativa que ele não sabe para evitar a perda do ponto: MAIS UMA VANTAGEM.
3. Numa questão de múltipla escolha tradicional do tipo ESAF, o candidato também parte de um pressuposto que é colocado pelo próprio tipo de prova: AQUI HÁ UMA ALTERNATIVA CERTA. OU UMA ALTERNATIVA ERRADA. ISTO ERA PARA SER UMA REGRA DA PROVA. Mas isto mudou neste certame. Na prova de PFN/2007 havia DUAS REGRAS subjacentes e DIFERENTES para a mesma prova.
4. Com o tipo de questão da prova de DIREITO ADMINISTRATIVO DA PROVA DO DIA 02 DE SETEMBRO cujas alternativas possíveis eram do tipo [ a)1. b)2. c)3. d)4. e)5.], o candidato enfrenta outro desafio: cada questão, além de apresentar o problema conceitual proposto, de direito material, não traz o pressuposto que serve como ponto de partida: AQUI HÁ UMA ALTERNATIVA CERTA OU UMA ERRADA. O Examinador que inventou este tipo de questão sabe que o candidato parte do zero absoluto: o candidato não sabe 1. se todas estão certas ou 2. se todas estão erradas, 3. se há uma certa e quatro erradas, ou 4. se há quatro erradas e uma certa, 5. se há duas certas e três erradas ou 6. se há três certas e duas erradas erradas.
Na questão do tipo TRADICIONAL (“1 certa / 4 erradas” ou “1 errada e 4 certas”) esta informação é um pressuposto, é um ponto de partida que orienta o candidato na resposta. No tipo de questão oferecido pela ESAF na prova de Direito Administrativo não há este pressuposto e portanto o nível de dificuldade aumenta exponencialmente sem exigir do candidato um aumento de domínio de conteúdo. O GRANDE PROBLEMA é que HÁ UMA QUESTÃO DENTRO DA OUTRA. Na prova da ESAF, matematicamente as chances de se acertar continuam sendo de 20%, porque no final das contas só há cinco alternativas (a, b, c, d, e). E portanto a chance de acertar é sempre de 20%. No entanto, o que importa é a chance de acertar não por causa da estatística, mas por causa do conhecimento que o candidato possui. E como há uma questão dentro da outra, até mesmo para quem está bem preparado as chances do acerto diminuem.
5. O Examinador pode argumentar o seguinte... só há cinco alternativas. Isto é verdade, mas antes de alcançar a alternativa correta não há um único problema, há pelo menos dois. Em outros termos é possível dizer que dentro da mesma prova há dois tipos de questões: aquela que têm o pressuposto dado e aquelas sem o pressuposto dado.
6. As questões
do tipo [“V F V F V”],
do tipo [“ SIM, NÃO, SIM”],
ou do tipo [a) As três afirmações são verdadeiras. b) Só é verdadeira a primeira asserção. c) Só é falsa a terceira afirmação. d) Só são verdadeiras as duas últimas. e) São todas falsas]
SÃO QUESTÕES INTERMEDIÁRIAS ENTRE O TIPO TRADICIONAL (“1 certa / 4 erradas” ou “1 errada e 4 certas”) e estas questões com alternativas do tipo [ a)1. b)2. c)3. d)4. e)5.], pois com o gabarito é possível discutir aquelas que o Examinador considerou certas e erradas, bem como é possível acertar através da eliminação das combinações (o que também é questionável, pois dependendo da questão é possível acertar por eliminação e não por se possuir o domínio do conteúdo).
No entanto, permanece o problema do candidato conseguir analisar corretamente 4 assertivas (V F V F) e perder a questão toda por causa de uma única assertiva avaliada incorretamente (V quando era F). Apesar disto, entendo que tecnicamente não há problema, o candidato tem que saber e pronto.
QUERO RESSALTAR QUE O PROBLEMA DO TIPO DE QUESTÃO [ a)1. b)2. c)3. d)4. e)5.] é a dificuldade do recurso e a possibilidade do candidato “acertar errando”. O que é um absurdo. Imagine que o candidato julgue que das 5 afirmações as duas primeiras são certas e na verdade as duas últimas são certas. Isto significa que ele enganou o Examinador. Afinal ao marcar que há duas corretas ou que há três incorretas o Examinador também não saberá se o candidato indicou as duas alternativas que ele julgava correta. VEJAM QUE ABSURDO. Assim como o candidato não pode recorrer, o Examinador também não pode ter certeza de que o candidato indicou como certas ou erradas aquelas alternativas que o próprio examinador esperava que fossem indicadas. Este tipo de questão oferece muito mais dificuldade, mas ao mesmo tempo possui uma FALHA DO PONTO DE VISTA DAS TÉCNICAS DE AVALIAÇÃO ABSOLUTAMENTE IMPERDOÁVEL E INADMISSÍVEL, pois o próprio EXAMINADOR NÃO SABE SE O CANDIDATO EFETIVAMENTE ACERTOU A QUESTÃO. A prova ficou tão difícil que nem mesmo o examinador consegue saber se o candidato indicou as alternativas que ele esperava que fossem indicadas. Portanto, para o próprio examinador seria melhor que o candidato acertasse CHUTANDO, do que “acertasse ERRANDO”. Isto significa dizer que este tipo de questão não pode ser oferecida numa prova desta importância e desta magnitude.
7. O que estou tentando dizer é que HÁ UMA FALHA SÉRIA NESTE TIPO DE QUESTÃO. Há um erro técnico na forma de avaliação da prova de Direito Administrativo. HÁ A POSSIBILIDADE DO CANDIDATO EFETIVAMENTE ERRAR E SUA QUESTÃO SER CONSIDERADA CERTA. Esta possibilidade é absolutamente inconcebível num tipo de prova como esta com 30.000 candidatos, para um cargo tão importante. HÁ UMA FALHA INADMISSÍVEL porque por UMA QUESTÃO há quem seja classificado e há quem seja desclassificado. HÁ, PORTANTO, a possibilidade de um ERRO de gravíssimas proporções à medida que alguém pode ser classificado ERRANDO e conseguir um ponto a mais sobre alguém que efetivamente conseguiu uma pontuação melhor e que seria suficiente para a sua classificação. ISTO É MUITO GRAVE. ISTO É MOTIVO PARA SE ANULAR ESTE CONCURSO.
8. Em termos metafóricos pode-se dizer que o feitiço virou contra o feiticeiro. A ESAF quis inventar, e criou um frankstein, seja porque ao tentar criar uma avaliação difícil e de alto nível, a dificuldade não decorreu do conteúdo da prova, mas da estrutura da prova. E de uma estrutura que na melhor das hipóteses é questionável, seja porque cerceia a possibilidade do recurso seja porque há quem possa “acertar errando”, o que é diferente de “acertar chutando” e DENUNCIA UMA FALHA GRAVE NA CONCEPÇÃO DAS TÉCNICAS DE AVALIAÇÃO de uma instituição tão importante como esta.
9. Não se trata apenas se questionar a dificuldade da prova. Afinal uma prova mais ou menos difícil do ponto de vista conceitual, do ponto de vista do conteúdo exigido é absolutamente irrelevante. Porque no fim das contas, os aprovados sempre serão os que se prepararam melhor. O que pode acontecer é de termos uma nota de corte mais alta, mas os melhores continuarão sendo os primeiros colocados. O grande problema é que efetivamente as questões apresentadas apresentaram um tipo de dificuldade que se voltou contra o próprio examinador, à medida que nem ele consegue saber se o candidato acertou ou não. Efetivamente, por mais absurdo que pareça um candidato pode “ACERTAR ERRANDO” e isto é absolutamente inadmissível num certame como este, visto que há a possibilidade de um candidato com mais erros alcançar melhores posições do que outros candidatos .
10. O outro grande problema é que a Escola se protege dos recursos, porque não dá para recorrer, visto que o gabarito não indica qual das questões ela considerou certa. E o candidato que julga ter acertado uma ou outra questão a mais não poderá se defender adequadamente.
Rubens
rgsampa@hotmail.com
Postar um comentário