Cespe: coordenador explica uso de computador em provas

A notícia de que o Centro de Seleção e de Promoção de Eventos da Universidade de Brasília (Cespe/UnB) pretende utilizar, já no próximo semestre, computadores na aplicação de provas para alguns processos seletivos gerou curiosidade e dúvidas nos concurseiros, já habituados ao sistema usual, com a utilização de provas impressas.

As principais queixas estão relacionadas ao método de avaliação, que se utilizará do nível de proficiência. Para alguns, o sistema seria inadequado, pois estaria avaliando o grau de inteligência do candidato e não o conhecimento sobre o assunto.

Para esclarecer dúvidas e detalhar sobre cada passo do novo método de avaliação, o JC&E conversou com o professor e coordenador de pesquisas em avaliação do Cespe/UnB, Marcos Vinícius Araújo, que reforça a credibilidade e segurança no novo sistema utilizado. Ele recebe o nome de Testes Adaptativos Computadorizados (CAT, na sigla em inglês).

JC&E – Como funciona a avaliação do CAT?

Marcos Vinícius – O CAT se utiliza da chamada Teoria da Resposta ao Item (T.R.I.), que é a mesma utilizada no Enem (Exame Nacional do Ensino Médio). Nele, é criado um banco de itens e estabelecida uma matriz sobre o que pretende ser analisado, por meio da utilização de descritores. Os descritores são parâmetros definidos para cada questão, aptos a relacionar a habilidade do candidato sobre o assunto e a buscar, no banco de dados, a questão mais apropriada para dar continuidade à avaliação. As questões são previamente preparadas e calibradas, de forma a fazer esta relação.

Aos pesquisadores do Cespe/UnB, coube a função de elaborar um algoritmo, que é o “cérebro”, a inteligência do processo e também o responsável por calcular todo o desempenho durante a realização do teste. O candidato responde a questão e as próximas perguntas são atribuídas de acordo com todo o histórico de respostas. No fim, surge o grau de proficiência, que determina a aptidão do indivíduo a realizar tais e tais tarefas.

JC&E – Quando o sistema foi criado e quanto tempo foi necessário para aprimorá-lo?

M.V. – A T.R.I. já existe nos Estados Unidos há pelo menos dez anos. Aqui no Cespe/UnB, nós criamos um algoritmo adaptado ao sistema. Estamos trabalhando nisso há cerca de três anos. Primeiro criamos o algoritmo e depois partimos para a parte computacional. Acredito que, no Brasil, ainda não foi desenvolvido nada deste tipo.

JC&E – Quem são os responsáveis por definir a dificuldade das questões?

M.V. – Os próprios colaboradores do Cespe/UnB, composto por professores, pesquisadores e a coordenação. O trabalho, inclusive, deu origem a uma tese de mestrado.

JC&E – O sistema pode ser considerado incorruptível? Como garantir que o sistema é seguro?

M.V. – Uma vantagem do CAT é que não é necessário aplicar todas as provas ao mesmo tempo. O mesmo processo seletivo pode durar duas semanas. Como o candidato responde individualmente, é capaz de um grupo de 20 pessoas, na mesma sala, chegar em um momento em que cada uma estará realizando uma questão distinta. Não tem como um concursando interferir na prova de outro.

JC&E – Como será feita a identificação do candidato?

M.V. – Os participantes serão identificados por meio de um login, para comprovar que ele mesmo é quem está fazendo a prova, mas todas acontecem na modalidade presencial. Também continua existindo a assinatura e a identificação digital, coletadas pelos fiscais de sala.

JC&E – Em casos de erros, como eles poderão ser resolvidos?

M.V. – Em casos de imprevistos, como erros do sistema ou queda de energia, o processo para instantaneamente e o candidato poderá retomar, posteriormente em outra máquina, exatamente do item onde parou, com o uso do seu login. Como as perguntas já estão calibradas, não há prejuízo no desempenho do candidato.

A única ocorrência mais complicada, que me vem à cabeça, é a ação de hackers e vírus. Até agora, só aplicamos as provas em âmbito local, no próprio Cespe/UnB, que está cercada de todas as formas de segurança. Para o âmbito nacional, será necessária a criação de uma tecnologia mais robusta e é isso o que está sendo feito agora.

JC&E – O candidato poderá optar por fazer a prova em vários dias?

M.V. – Não, porque logo após efetivada a inscrição, serão determinados o dia e horário para a realização das provas. O candidato não conseguirá ter acesso em outros períodos. Senão, corre-se o risco de todos deixarem para fazer a prova no último dia. A interrupção da prova será feita somente em casos excepcionais.

JC&E – Como será feita a transmissão dos dados?

M.V. – Isso ainda está sendo debatido. Precisamos consolidar se será via internet ou por meios físicos (pen drive, CD’s). Certamente, precisaremos de um bom sistema de backup, mas tudo será definido passo a passo, cautelosamente.

JC&E – A adoção do método pode significar aumento nas taxas de inscrição?

M.V. – Não há nenhuma informação neste sentido. Por enquanto, não haverá alteração. As taxas, hoje estabelecidas em R$ 30 em média, são definidas por uma série de fatores, como segurança, distância, aluguel de salas, etc. Mas, até o momento, não há estudo de aumento por conta do uso de computadores.

JC&E – No caso de concursos com muitos inscritos, como funcionará a logística?

M.V. – Tudo vai depender. Quanto mais participantes, maior o número de laboratórios que deverão ser disponibilizados. Se houver a possibilidade, o prazo para as provas pode, também, aumentar e chegar a um mês. Outra opção é a de que os testes não aconteçam somente aos fins de semana. Certamente, o trabalho será sempre feito no sentido de evitar a presença de muita gente em um local só.

Por outro lado, haverá benefícios como a economia de gastos com papel, transporte e outros.

JC&E – O modelo prevê a diminuição do tempo de prova. Isso significa que o candidato pode não responder todas as perguntas, de acordo com seu desempenho?

M.V. – Sim, em alguns casos, o programa é capaz de definir a proficiência dos participantes antes mesmo do término das questões disponíveis. Isso acontece devido aos descritores definidos, que analisam as respostas questão a questão e conseguem obter o nível de proficiência com mais agilidade.

JC&E – A proficiência será informada logo após o exame. Isso quer dizer que não há a divulgação de gabaritos e cadernos de questões?

M.V. – É um novo método. Uma vez respondida a questão, o candidato não terá mais acesso a ela, até porque prejudicaria a proficiência do participante ao final. Os gabaritos não serão mais disponibilizados. Ao final, o candidato saberá sua pontuação, mas não a dos outros. No edital, serão especificados todos os detalhes quanto à proficiência, que será diferente de seleção para seleção.

JC&E – Desta forma, como será feita a interposição de recursos?

M.V. – Nessa metodologia, se pressupõe que não haverá a possibilidade de recursos. Por que não? Porque todas as questões já estarão exaustivamente testadas e calibradas. É como no Enem, onde não há gabarito, nem ambiguidade.

JC&E – O Cespe/UnB pretende adotar o sistema em todos os concursos?

M.V. – Não, somente naqueles de maior abrangência, com poucos cargos e grande número de participantes. Mesmo assim, não todos. Isso porque essa metodologia não é adequada a qualquer concurso. Se a seleção tiver 50 cargos, demoraria muito para desenvolver um sistema para cada um deles, já que estão envolvidos todos os passos já citados, como o algoritmo, os descritores e a calibragem das questões.

JC&E – É possível afirmar qual o primeiro concurso que utilizará o método?

M.V. – Ainda não.

JC&E – E quanto ao Enem? Existe a possibilidade de o método ser utilizado nele também?

M.V. – Só o Inep (Instituto Nacional de Estudos e Pesquisas Educacionais) poderá confirmar isso. Mas a minha opinião é a de que o cenário é bem apropriado para a utilização da tecnologia.

JC&E – Muitos candidatos reclamam que o uso de computadores nas seleções é uma medida restritiva. Os que não têm afinidade com os equipamentos conseguirão fazer a prova facilmente?

M.V. – Essa é uma afirmação que, cada vez mais, perde força. O uso de computadores, hoje em dia, é muito comum, inclusive por aquela população menos favorecida. Futuramente, pretendemos colocar, no nosso site, simuladores para que os candidatos possam treinar e conhecer a tecnologia.

George Corrêa

+ Resumo do Concurso Cespe/UnB

Cespe/UnB
Vagas: Não definido
Taxa de inscrição: Não definido
Cargos: Não definido
Áreas de Atuação: Não definido
Escolaridade: Não definido
Faixa de salário:
Organizadora: O próprio órgão
Estados com Vagas: AC, AL, AP, AM, BA, CE, DF, ES, GO‍, MA, MT, MS, MG, PA, PB, PR, PE, PI, RJ, RN, RS, RO, RR, SC, SP, SE, TO

+ Agenda do Concurso

19/05/2013 Divulgação do Resultado