Análise do desempenho do Enade em curso de educação profissional e tecnológica
Carlos Vital Giordano[1]
https://orcid.org/0000-0002-5557-9529
Fernando de Almeida Santos[2]
https://orcid.org/0000-0002-1716-2802
Napoleão Verardi Galegale[3]
https://orcid.org/0000-0003-2228-9151
Resumo
As avaliações padronizadas, quando aplicadas em larga escala por entidades externas à instituição escolar em que se dá a avaliação, denominam-se Avaliação em Larga Escala, Externa e Padronizada. Elas simbolizam valiosas fontes de informações, ao direcionar as políticas públicas e a gestão nas instituições educacionais no sentido de promover a educação de qualidade. Um desses exames, o Enade, examina os estudantes e as instituições de ensino por meio de questões objetivas e discursivas. Destarte, o objetivo da investigação é verificar os resultados alcançados por curso tecnológico e identificar alertas e inquietações. O método utilizado se pautou em pesquisa documental e bibliográfica. Considera-se que os resultados sinalizam preocupações e desafios em termos da qualidade educacional.
Palavras-chave: Avaliação. Qualidade. Eficácia. Gestão.
Analysis of Enade Performance in Professional and Technological Education Courses
Abstract
Standardized assessments, when conducted on a large scale by entities external to the educational institution where the evaluation takes place, are referred to as Large-Scale, External, and Standardized Assessments. These serve as valuable sources of information, guiding public policies and institutional management to promote quality education. One such examination, the Enade, evaluates students and higher education institutions through objective and discursive questions. Thus, the objective of this investigation is to analyze the results achieved by technological courses and identify concerns and challenges. The method employed was based on documentary and bibliographic research. It is concluded that the results highlight concerns and challenges regarding the quality of education.
Key words: Availability. Quality. Effectiveness. Management.
Introdução
Controvertidas, com apoiadores e desaprovadores, as Avaliações em Larga Escala, Externa e Padronizada (ALEEP) dependem de inúmeros fatores e variam em virtude do contexto pesquisado e analisado.
No Brasil, em plano nacional, segundo Gatti (2013), o Ministério da Educação (MEC) iniciou o processo de avaliações na década de 1990 e começo do século 21, pela aplicação do Sistema de Avaliação da Educação Básica (Saeb), feito pelo Instituto Nacional de Estudos e Pesquisas (INEP). Consolidados os primeiros passos, outras ALEEP refinadas se sucederam a partir dessas ações primeiras, como: Avaliação Nacional da Educação Básica (Aneb ), Prova Brasil, Exame Nacional do Ensino Médio (Enem) e o Exame Nacional do Desempenho dos Estudantes (Enade) (Esteves, 2021).
Em vista disso, evidenciam-se nessas avaliações princípios e características como: elaboração (capturar os resultados educacionais almejados), confiabilidade (resultados comparáveis em avaliações sequenciais, por exemplo, pelo uso da Teoria de Resposta ao Item (TRI), exceto no Enade que utiliza a Teoria Clássica dos Testes (TCT)) , capacidade de antevisão (bases para previsões e planejamentos), imparcialidade (eliminação de vieses por causa de raça, gênero etc.), praticidade (na construção, aplicação, tabulação e exposição dos resultados) e, por fim, utilidade a partir dos resultados obtidos (estabelecimento de bases para decisões, replanejamentos e investimentos educacionais).
As ALEEP apresentam as suas próprias limitações em relação à não incorporação de todas as variáveis intervenientes no que se pesquisa, em especial se tratando de educação. Deve ser dada uma atenção especial ao contexto, ao desenvolvimento e à aplicação das provas padronizadas, tendo como preocupação presente as imperfeições (que se sujeitam a correções) e o uso apropriado.
O Enade se apresenta como ALEEP necessária, consolidada, respeitada e subsidiadora de políticas públicas e de gestão nas redes de ensino, tanto pública como privada. O exame é aplicado nos cursos de ensino superior por meio de provas respondidas pelos discentes.
Assim sendo, define-se como questão de pesquisa: os resultados publicados referentes às edições Enade escolhidas pela investigação servem de alerta e contribuem para aperfeiçoar as políticas públicas e a gestão educacional nas Instituições de Ensino Profissional Tecnológico (IEPT), tencionando a educação de qualidade?
Esteando a questão de pesquisa, o objetivo geral se pauta em verificar os resultados das edições do Enade selecionadas, intentando, a partir das apurações, sustentar possíveis alertas, potencialidades, fragilidades e contribuições baseadas em evidências, acerca das políticas públicas e da gestão educacional das IEPT, isso mirando a educação de qualidade.
Apoiando o objetivo geral, determinam-se os objetivos específicos: a) conhecer detalhadamente os resultados dos itens e subitens que compõem o conceito Enade; b) explicar e auxiliar os envolvidos na interpretação e no entendimento a fim de aperfeiçoamentos nos processos medidos; c) examinar especificamente cada item e subitem da composição do cálculo para cada IEPT selecionada; e d) formular argumentações de advertência a partir dos resultados obtidos em relação às políticas públicas e à gestão educacional.
Nos anos de aplicação escolhidos, dentre os cursos avaliados, encontra-se o curso tecnológico de Análise de Desenvolvimento de Sistemas (ADS), código de área 72. Das IEPT, a pesquisa optou por cursos oferecidos por IEPT pública estadual, concentradas no estado de São Paulo.
O método utilizado se pautou em pesquisa documental e bibliográfica, estatística descritiva e inferencial, com acesso às bases de dados do Inep, Enade, nos anos definidos, e em tabulação e análise quantitativa singular da apuração feita.
Realça-se como de significância que a investigação e o seu modelo pretensamente original se inspiraram nas pesquisas e nas bibliografias sobre avaliação educacional e ALEEP realizadas por Beltrão e Mandarino (2023); Griboski (2012); Lanzillotti e Lanzillotti (2012); Pasquali (2013); Piton-Gonçalves (2020); Scher et al. (2014); Souza e Braga (2020).
Referencial teórico
Dos posicionamentos críticos às ALEEP, Freitas (2013) destaca que essas avaliações assumem o direcionamento de políticas de responsabilização e prestação de contas, em especial quando sustentam as políticas de alto impacto. Tais avaliações, segundo Esteban (2012), respondem a pressões por mudanças nos modos de administrar e controlar as redes de ensino, medidas essas aliadas a um novo modelo de gestão pública, impondo, ao final, uma agenda transnacional.
Sobre a resistência às ALEEP, Hagopian (2014) chama a atenção à relutância de professores, pais, alunos e gestores de escolas, no sentido de minimizar a importância das avaliações para o trabalho pedagógico, discutindo as limitações dos testes, uma delas: ignorar as principais variáveis do processo educacional.
Sobre a validade, a adequação dos instrumentos utilizados e a confiabilidade dos resultados das avaliações padronizadas, Casassus (2013) argumenta que há dúvidas sobre o que as ALEEP realmente medem em termos de aprendizagem dos discentes, a essência do projeto de mensuração e a precisão pretendida.
De acordo com Bauer, Alavarse e Oliveira (2015); Nevo (1995), as avaliações externas contam com pessoal mais especializado tecnicamente e trazem resultados decorrentes de apreciações menos condicionadas pelas rotinas internas das escolas, promovendo, ainda, proveitosas comparações de conjuntos de escolas.
As ALEEP, segundo Sousa e Ferreira (2019), têm inúmeras versões e possibilidades, sendo realizadas em diferentes níveis (municipal, estadual e federal) e apresentam multiformes contribuições às políticas públicas. Salientam que os indicadores gerados a partir das ALEEP permitem compreender o desempenho do discente, associado às contingências sociais, à estrutura e às condições da escola que definem o bom desempenho.
Blasis, Falsarella e Alavarse (2013); Rosistolato e Viana (2014) alertam que as ALEEP acabam por revelar, por meio dos seus componentes, o que está bem e o que não está na educação e quais aspectos devem ser aperfeiçoados. Os autores destacam, também, as possibilidades de traçar políticas educacionais consequentes e efetivas, embora em algumas vezes os interessados não interpretem as mais acertadas possibilidades na direção ensejada e não atuem levando em conta as necessidades apontadas.
Por fim, analisar as informações obtidas a partir dos dados apurados exige mais do que somente identificar o que está descrito, supõe compreender os contextos em que se produziram. Portanto, as ALEEP representam uma das expressões, substantivas, das políticas educacionais contemporâneas, seja em escala nacional e local, seja em escala transnacional (Lima, 2012).
Não é sensato que, após a apresentação dos resultados de uma ALEEP, somente um dos atores, o professor, reveja seus planos, a fim de ajustá-los às dificuldades dos alunos, porque os resultados oferecem muito mais elementos do que apenas as habilidades a adquirir pelos discentes. Todos os protagonistas, diretamente ligados ao indicador em exame, em qualquer nível, segundo Sousa; Ferreira (2019), deveriam observar, entender e participar ativamente dos encaminhamentos necessários a fim de propiciar as melhorias esperadas.
À parte as controvérsias das narrativas, debates, apoios e críticas, para esta investigação as ALEEP intentam aprovisionar captação ampla do sistema educacional brasileiro, a fim de conhecer pontos fortes e fracos e escorar a tomada de decisão respaldada em evidências em diferentes níveis, ensejando melhor gestão escolar, desenvolvimento de políticas públicas educacionais e refinamento curricular. As ALEEP também se adequam como medidas de comprometimento, favorecendo a transparência e consentindo comparações entre instituições, regiões e sistemas educacionais. Gatti (2013, p.61) acrescenta que “quando bem conduzidas e bem tratadas social, educacional e eticamente, as ALEEP trazem contribuições relevantes à gestão educacional e aos processos de ensino aprendizagem”.
Em sendo assim, nas ALEEP a valia das avaliações se subordina ao desenvolvimento diligente do teste, da forma da apuração dos resultados e do discernimento extensivo do seu fito, imperfeições e uso pertinente no ambiente educacional. Uma ALEEP conceituada e aplicada desde 2004 no Brasil é o Enade.
Enade
O Enade é um indicador (aqui também mencionado como conceito) de qualidade que avalia os cursos de graduação a partir dos resultados obtidos pelos estudantes. Isso é feito em relação aos conteúdos programáticos previstos nas diretrizes curriculares, ao desenvolvimento de competências e habilidades necessárias ao aprofundamento da formação geral e profissional, e ao nível de atualização dos estudantes com relação à realidade brasileira e mundial (Enade, 2022).
As informações fornecidas pelos processos de avaliação Enade pretendem auxiliar as IEPT a conhecer o perfil dos seus estudantes e analisá-lo, em relação às outras IEPT, no intento de refletir sobre seus compromissos político-pedagógicos e suas práticas, agindo de forma orientada para construir uma educação superior de qualidade, justa e democrática (Mec/Inep/Daes, 2022).
O indicador é calculado e divulgado para cada curso de graduação avaliado, identificado pelo código de curso do Sistema e-MEC. Ao final, o conceito expressa uma medida relativa do desempenho médio dos estudantes de um curso com relação ao desempenho médio da área de avaliação à qual pertence. Nas edições de 2014, 2017 e 2021 dentre os cursos das áreas de enquadramento, aplicou-se a avaliação ao curso tecnológico numerado como 72, ADS.
A prova, de acordo com Enade (2019), é composta pelos componentes FG, Formação Geral (10 questões, 8 de múltipla escolha e 2 discursivas) e CE, Conhecimentos Específicos (30 questões, 27 de múltipla escolha e 3 discursivas). As questões se baseiam no conteúdo do Banco Nacional de Itens.
Nas questões FG, de acordo com Enade (2019), espera-se que os participantes evidenciem a compreensão de temas que transcendam ao seu ambiente próprio de formação profissional; e, nas questões CE, almeja-se a particularidade de cada área, tanto no domínio dos conhecimentos, quanto nas habilidades esperadas para o perfil profissional.
Calcula-se o Conceito Enade da IEPT (de 1 a 5) se baseando no número (maior que 1) de estudantes participantes e com resultados válidos, no desempenho dos estudantes em FG e no desempenho dos estudantes em CE.
Apuram-se as Notas Brutas (NB) FG e CE das respostas numa escala de 0 a 100. Na Tabela 1, vê-se o detalhamento das porcentagens e pontuações (detalhe: D=discursiva). Na documentação, identificam-se as questões de múltipla escolha também como Objetivas.
Tabela 1 – Composição Nota NB
|
FG |
60% |
8 questões Múltipla Escolha |
Proporção de acertos |
|
|||
|
40% |
2 questões D1 D2 |
80% |
Conteúdo |
||||
|
Média Simples |
20% |
Língua Portuguesa |
|||||
|
CE |
85% |
27 questões Múltipla Escolha |
Proporção de acertos |
||||
|
15% |
3 questões D1 D2 D3 |
Média Simples |
|||||
Fonte: Enade (2019) e autores (2024)
Posteriormente, padronizam-se os valores, aplicando, por fim, nos valores padronizados e reescalonados, ponderações de 25% na nota FG e de 75% na nota CE.
Detalhamento dos cálculos: inicialmente se calcula a média FG (NB FG) e CE (NB CE) dos participantes do curso da IEPT; em seguida são calculados a média e o desvio-padrão FG e CE de todas as IEPT do curso; após, são feitas a Padronização Z por meio das médias FG e CE da IEPT e a média e o desvio-padrão de todos os cursos; depois, se interpolam as padronizações FG e CE, a fim de obter um valor entre 0 e 5 (chamado NP); por fim, nos NP calculados há a ponderação 25% em FG e 75% em CE, gerando o Conceito Enade Contínuo (NCc). Terminando o cômputo, o NCc é convertido em Conceito Enade Faixa (ver Tabela 2). O Conceito Enade Faixa (classificado de 1 a 5) se afigura como a medida popular e o mais reconhecido pelas IEPT.
Tabela 2 – Conversão – Conceito Enade Faixa e NCc
|
Enade (Faixa) |
NCc (Enade Contínuo) |
|
1 |
0 ≤ NCc < 0,945 |
|
2 |
0,945 ≤ NCc < 1,945 |
|
3 |
1,945 ≤ NCc 2,945 |
|
4 |
2,945 ≤ NCc 3,945 |
|
5 |
3,945 ≤ NCc ≤ 5 |
Fonte: Enade (2022)
Os cálculos descritos anteriormente, em que há padronização e escalonamento, fazem com que, se em uma determinada área (curso) as médias brutas FG e CE de todas IEPT são baixas, mesmo um curso com baixos valores brutos de FG e CE ele alcance Conceito Enade Contínuo e Conceito Enade Faixa altos. Portanto, por fim, o conceito apurado não reflete se o curso é bom ou ruim, só se o curso é melhor ou pior que outro da mesma área. Por isso, nesta pesquisa se utilizam os valores FG e CE brutos (denominados na documentação como NB, entendendo-os como puros, diretos, sem ajustes) e padronizados, nomeados como PFG e PCE.
Como o Enade é analisado sob a metodologia da Teoria Clássica dos Testes (TCT), logo as provas de cada edição podem apresentar graus de dificuldade distintos, não sendo apropriado cotejar as médias dos cursos entre edições diferentes (Pasquali, 2013). Rush et al. (2017) adicionam que essas limitações podem depender dos parâmetros dos itens (dificuldade e discriminação), da amostra testada, o que impede a invariância entre grupos e a suposição de erro de medição constante. Apesar de suas limitações, como a dependência de amostras e a suposição de erro constante, a Teoria Clássica dos Testes (TCT) permanece um método válido para aplicação de testes em contextos educacionais e psicológicos devido à sua simplicidade e eficácia em avaliações descritivas, conforme destacam Sartes e Souza-Formigoni (2013). Na pesquisa, os resultados analisados do Enade se referem a uma mesma avaliação aplicada ao mesmo curso, em uma mesma edição.
Para maiores detalhes dos cálculos, se de interesse, acessar os documentos Enade (2015), Enade (2018), Enade (2019) e Enade (2022).
Reitera-se que a investigação e o seu modelo pretensamente original inspiraram-se nas pesquisas e nas bibliografias sobre avaliação educacional e ALEEP realizadas por Beltrão e Mandarino (2023); Griboski (2012); Lanzillotti e Lanzillotti (2012); Pasquali (2013); Piton-Gonçalves (2020); Scher et al. (2014); Souza e Braga (2020).
Método
A pesquisa se pauta no enfoque quantitativo, que, para Sampieri, Colado e Lucio (2013), engloba: coleta de dados, medição dos fenômenos estudados. Trata-se de estudo no mundo real, em que os dados sofrem tratamento estatístico e se pretende generalizar os resultados encontrados na amostra. E, também descritiva, porque busca especificar características de processo em análise, pois coleta, mede e apresenta informações pertinentes.
Além disso, a pesquisa é de cunho documental e bibliográfica, porque se conduz pela utilização de fontes secundárias (dados obtidos nos microdados do Inep), dados, informações e tabelas estatísticas ainda não tratadas científica ou analiticamente, favorecendo, ainda, observar o processo de maturação ou de evolução de indivíduos, grupos, práticas, entre outros, baseado no banco de microdados e documentos do Inep, e se fundamenta igualmente em documentos publicados (Cellard, 2008; Gil, 2007; Marconi e Lakatos, 2021).
Ressalta-se, mais uma vez, que as medições, as tabulações e as apresentações produzidas se guiam pelos cálculos brutos (NB) das variáveis em análise FG e CE, sem padronizações, escalonamentos ou outras ajustagens, e pelas notas padronizadas FG E CE .
Do curso código 72, ADS, elegeram-se, por julgamento e intenção dos autores (mira principal nas Fatecs da cidade de São Paulo), as IEPT públicas estaduais do estado de São Paulo (somente aquelas que participaram das três edições Enade de 2014, 2017 e 2021, em número de 24, apelidadas pelos seus nomes e códigos de identificação no e-Mec, ver Quadro 1) e, ainda, em outro recorte, as quatro unidades sediadas na cidade de São Paulo (nomeadas SP, São Paulo, 34; Ipi, Ipiranga, 15746; ZL, Zona Leste, 4026; e, ZS, Zona Sul, 15688), em negrito no Quadro 1, também integrantes da mesma rede de ensino público estadual).
Quadro 1 – IETP públicas estaduais do estado de São Paulo selecionadas
|
Código |
Fatec |
Código |
Fatec |
|
33 |
Sorocaba |
4026 |
Zona Leste |
|
34 |
São Paulo |
4926 |
Praia Grande |
|
35 |
Americana |
5627 |
Presidente Prudente |
|
36 |
Santos |
15 576 |
Mogi das Cruzes |
|
967 |
Taquaritinga |
15 581 |
São José dos Campos |
|
1583 |
Indaiatuba |
15 688 |
Zona Sul |
|
1584 |
Guaratinguetá |
15 693 |
Itapetininga |
|
1874 |
Ourinhos |
15 695 |
Itu |
|
4021 |
Garça |
15 708 |
Franca |
|
4022 |
Jundiaí |
15 745 |
São Caetano do Sul |
|
4024 |
Mococa |
15 746 |
Ipiranga |
|
4025 |
São José do Rio Preto |
16 395 |
Carapicuíba |
Fonte: Inep (2023) e autores (2024)
Os resultados quantitativos de pesquisas baseadas nos dados do Enade, especificamente as notas brutas da Formação Geral (FG) e do Componente Específico (CE), caracterizam-se por se apresentarem como valores numéricos, obtidos a partir de provas que avaliam conhecimentos gerais e habilidades específicas da área, permitindo análises estatísticas diversas. Essas notas brutas oferecem potencialidades significativas, como subsidiar indicadores de qualidade educacional, facilitar comparações entre instituições e ciclos avaliativos de uma mesma edição, e orientar políticas para melhorar a formação superior, com base em microdados públicos acessíveis que permitem diagnósticos valorosos de trajetórias estudantis e competências adquiridas.
Nos cálculos realizados, utilizou-se o aplicativo Microsoft Excel, versão 2311 (build 17029.20108), e o aplicativo IBM SPSS Statistics, versão 22.
Resultados e discussão
Diferentemente de outras provas aplicadas pelo Inep, como o Saeb e o Enem, que utilizam a Teoria de Resposta ao Item (TRI), o que viabiliza a comparação em diferentes edições, o Enade vale-se da Teoria Clássica dos Testes - TCT, o que não garante a comparabilidade entre edições do exame. A padronização para o cálculo do Conceito Enade garante a comparabilidade dentro de uma determinada área e para um determinado ano, nunca entre diferentes edições do Enade, e tampouco entre áreas do mesmo ano, isso porque pode haver diferença na dificuldade das provas aplicadas, e o resultado depende fortemente do instrumento utilizado (Enade, 2022; Pasquali, 2013).
Principiando os resultados, as análises e a discussão, atenta-se ao advertido por Martins e Domingues (2017); Siegel e Castellan Jr. (2006) sobre a possível influência da quantidade de participantes nos resultados obtidos no Conceito Enade Contínuo (CEC). No intuito de averiguar a eventual interferência sugerida, calculou-se, a cada ano em exame, o coeficiente de correlação linear de Pearson entre as variáveis mencionadas, âmbito Todas (204) e âmbito 24 IEPT selecionadas, ver Quadro 2.
Quadro 2 – Correlações Participantes e CEC
Fonte: Inep (2023) e autores (2024)
Repara-se pelos resultados calculados nos anos de 2014, 2017 e 2021 que as correlações se categorizam em nula, Todas; e, fraca, Selecionadas. Desconsidera-se, portanto, a eventual ingerência prenunciada.
Posto isso, a Tabela 3 ilustra as notas brutas FG e CE do curso selecionado nas quatro IEPT recortadas e as notas brutas médias Brasil, estado de São Paulo, cidade de São Paulo e unidades da mesma rede de ensino público estadual fora da cidade de São Paulo (IEPT fora SP), nos anos de 2014, 2017 e 2021.
Tabela 3 – Curso 72 - Notas brutas (NB) FG e CE – 2014, 2017 e 2021
Fonte: Inep (2023) e autores (2024)
Observa-se, na Tabela 3, em uma mesma edição, maiores resultados das quatro IEPT recortadas em relação ao Brasil, estado de São Paulo, cidade de São Paulo e IEPT fora de São Paulo (exceto NB FG da ZS em 2017, em relação à IEPT fora de SP).
Em outra tabulação e respeitando o mesmo curso e edições, na Tabela 4 se verificam as diferenças percentuais entre as notas brutas FG e CE das IEPT recortadas em relação a Brasil, Estado, Cidade e IEPT Fora de São Paulo.
Tabela 4 – Diferença em percentual – Curso 72 – NB FG e CE – 2014, 2017 e 2021
Fonte: Inep (2023) e autores (2024)
Notam-se percentuais positivos em relação às notas Brasil, Estado, Cidade e Fora de SP nas edições e modalidades FG e CE, exceto no ano de 2017 em FG da ZS e Fora de SP (-1,2%). Isso denota que, mesmo com as notas menores de acertos nas questões, nas mesmas edições, mantiveram-se estáveis os percentuais positivos das IEPT selecionadas em relação às regiões.
Consoante ao apreciado anteriormente sobre o Conceito Enade Faixa (CEF), gerado a partir do CEC, que provém de cálculos padronizados e ajustados vistos na Tabela 2, na Tabela 5 se ratifica que a média Brasil diminuindo, mesmo as IEPT que também tiveram as suas notas diminuídas, ainda assim continuam ou mantêm o CEF alto.
Tabela 5 – NB FG, NB CE e CEF das IEPT selecionadas
Fonte: Inep (2023) e autores (2024)
Por conseguinte, os protagonistas interessados na melhoria da qualidade educacional em suas bases devem atentar muito mais aos valores NB FG e CE, mesmo respeitando as diferenças entre as edições. Na investigação e no recorte de IEPT adotados, os valores NB FG e CE se mostram motivo de atenção em função das baixas apreciáveis, baixas essas não acontecidas no CEF padronizado e ajustado (algo como se nada tivesse mudado). Isso por causa do decréscimo também ocorrido na média Brasil.
Em outras análises, Martins e Domingues (2017) explicam que a distribuição da coleta feita pode ser dividida em quartos, ou quartis. O primeiro quartil consiste nos 25% inferiores das observações; o segundo consiste nos 25% seguintes das observações; e assim por diante. Ou ainda, a distribuição pode ser dividida em decis, cada um com 10% das observações. Há também a possibilidade de ir além e dividir a distribuição em centésimos, ou percentis. Cada percentil representa 1% da distribuição.
Para Larson e Farber (2023) e Wheelan (2016), a vantagem desses tipos de estatística descritiva é que eles descrevem onde uma observação particular se encontra em comparação a todo o restante. Por exemplo: a contagem do percentil fornece a classificação de uma determinada IEPT em relação a todas as outras que fizeram o Enade naquela edição. Se o teste foi fácil, então a maioria das IEPT teve um número alto de respostas corretas; se o teste se mostra difícil, a maioria das IEPT teve um número baixo de respostas corretas, não influenciando notadamente o percentil ou decil de determinada IEPT. Ou, em outra análise, os acréscimos ou os decréscimos se ligam aos altos ou baixos níveis dos rendimentos nos acertos alcançados pelos respondentes.
Os Gráficos 1, 2 e 3 apresentam os percentis e decis das 204 IEPT selecionadas nos anos de 2014, 2017 e 2021, calculados pelo Conceito Enade Contínuo. A classificação mostrada se restringe às IEPT que participaram da edição de 2014 como base, n=204, não entrando na classificação as demais IEPT, que participaram das edições 2017 e 2021 diferentes daquelas de 2014.
Gráfico 1 – Percentis e decis 2014 - IEPT selecionadas e recorte
Fonte: Inep (2023) e autores (2024)
Verifica-se que as quatro IEPT recortadas se encontram entre os decis 8 e 10, apresentando os percentis: SP, 34, 90,0%; Ipi, 15746, 88,5%, ZL, 4026, 87,5%; e, ZS, 15688, 81,5%. Em 2014, o Instituto Federal de Educação, Ciência e Tecnologia do Mato Grosso do Sul obteve o Conceito Enade Contínuo igual a 4,999 e se posicionou no percentil 100%.
Gráfico 2 – Percentis e decis 2017 - IEPT selecionadas e recorte – base 2014
Fonte: Inep (2023) e autores (2024)
Observa-se que as quatro IEPT recortadas se encontram entre os decis 7 e 10, apresentando os percentis: SP, 34, 86,9%; Ipi, 15746, 94,9%, ZL, 4026, 82,4%; e, ZS, 15688, 76,8%. Em 2017, o Instituto Federal de Educação, Ciência e Tecnologia da Paraíba obteve o Conceito Enade Contínuo igual a 4,464 e se posicionou no percentil 100%.
Gráfico 3 – Percentis e decis 2021 - IEPT selecionadas – base 2014
Fonte: Inep (2023) e autores (2024)
Nota-se que as quatro IEPT recortadas se encontram entre os decis 7 e 10, apresentando os percentis: SP, 34, 76,9%; Ipi, 15746, 87,4%, ZL, 4026, 93,7%; e, ZS, 15688, 84,2%. Em 2021, a Faculdade de Tecnologia FTEC obteve o Conceito Enade Contínuo igual a 4,65 e se posicionou no percentil 100%.
Sobre as IEPT estaduais escolhidas e recortadas
Com o intuito de sumarizar os CEC transformados em percentis das IEPT estaduais selecionadas e recortadas, a Tabela 6 mostra os valores calculados nas edições, ordenados (Ordem pelas selecionadas) pelo percentil (em relação a Brasil).
Tabela 6 – Percentis IEPT estaduais selecionadas e recortadas
Fonte: Inep (2023) e autores (2024)
Mesmo em edições diferentes, em que as dificuldades, facilidades ou outras variáveis intervenientes ocorreram, em termos de percentis se percebem variações singulares entre as IEPT fora de São Paulo e entre as quatro recortadas. Assim, corroboram-se, com mais especificidades, as mesmas análises anteriores, que apontam para alterações inquietantes nas variáveis de rendimento investigadas.
Quadro 3 – Ordens, percentis e decis
Fonte: Inep (2023) e autores (2024)
No Quadro 3, veem-se: Ordem (Brasil), Ordem (selecionadas no estado), Ordem (recortadas), percentis e decis Brasil, das IEPT recortadas.
Discussão
De fato, de acordo com Sousa e Arcas (2010), no anseio da procura pela qualidade da educação, as ALEEP amealham evidências apreciáveis no sentido de arrimar políticas públicas, decisões gerenciais e melhorias na qualidade da educação. Na pesquisa, distinguem-se notadamente as alterações existentes entre os anos de 2014-2017, 2017-2021 e 2014-2021. Inquietantes, ver Gráficos de 1 a 3 e Tabela 6, indicando ações sem tardar dos envolvidos no sentido do entendimento e das correções necessárias, em vista de melhorias, mantenimentos e acréscimos.
Direcionando as possíveis ações a estabelecer, destacam-se as variações gerais verificadas, que se estendem aos componentes FG e CE e, mesmo aos subcomponentes que os constituem, isso ainda desdobrado nas questões objetivas e nas questões discursivas, ver microdados disponibilizados pelo Inep. Portanto, a relutância de professores, pais, alunos e gestores de escolas, no sentido de minimizar a importância das avaliações, descrita por Hagopian (2014), apresenta nexo equilibrado fraco pela justa verificação das evidências embasadas nos valores acentuadamente detalhados em cada aplicação.
Há de se levar em conta, de acordo com Bauer, Alavarse e Oliveira (2015); Nevo (1995), que as avaliações externas contam com pessoal especializado e trazem resultados de apreciações menos condicionadas pelas rotinas internas das escolas, promovendo ainda proveitosas comparações de conjuntos de escolas. O que na pesquisa se verifica, ao observar as diferenças e os pormenores existentes nas IEPT selecionadas e recortadas, ver Gráficos 1, 2 e 3 e Tabelas 6.
Expõem-se, também, no informado quanto aos microdados Inep (2023), o que está bem e o que não está na educação e quais aspectos devem ser aperfeiçoados, conforme relatado por Blasis, Falsarella e Alavarse (2013); Rosistolato e Viana (2014). Os autores alertam acerca do que as ALEEP acabam por revelar, por meio dos seus componentes e resultados esmiuçados, permitindo aos gestores de diferentes níveis e outros interessados (professores e coordenadores pedagógicos, por exemplo) agirem de acordo com propostas direcionadas diretamente aos indicadores foco de melhorias (no caso das IEPT selecionadas e recortadas nos componentes FG e CE e em seus subcomponentes).
Ainda, de relevância, o alerta sobre a não fixação dos interessados (gestores e outros) no CEF, ver Tabela 2, pois o cálculo para apurá-lo passa por diversos ajustes e padronizações matemáticas e estatísticas. O empenhado nas melhorias precisa se alicerçar preferencialmente nas notas brutas (NB) dos componentes e subcomponentes do Enade, ver Inep (2023).
Há um integrante a ser observado com cuidado nas análises a fazer. O período escolhido teve em parte como sustentação aulas por meios digitais, em virtude da pandemia de Covid-19. Então, parcela dos alunos participantes do Enade 2021 teve aulas presenciais e digitais. Esse período e procedimentos, de acordo com Honorato; Borges (2022); Sponchiado Junior et al. (2021), ocasionaram maior evasão, suspensão de atividades, diferentes experiências de docentes e discentes no desenvolvimento e na assistência às aulas, ajustes nas estruturas das instituições, readequação por parte dos professores dos materiais e do ensino proposto, meios alternativos de avaliações e avaliações diferenciadas em pontuações, entre outras variáveis intervenientes.
A título de informação complementar, encontram-se disponíveis no BD de dados do Inep, para os anos e IEPT escolhidas e recortadas, as respostas de cada participante para todas as questões objetivas e as notas assinaladas pelos avaliadores dadas às questões discursivas, não tabuladas na presente pesquisa. Tais acessos consentem ponderações mais analíticas com relação ao tratado em cada questão e os efetivos erros, alertando e auxiliando os interessados sobre em que disciplina e tema da disciplina ocorreram mais incorreções e acertos.
Por fim, os fundamentos estatísticos utilizados possibilitam que gestores de áreas diferentes observem os conteúdos com melhor ou pior desenvolvimento ofertados, isso em busca de aprimoramentos.
Considerações finais
A comparação entre o desempenho de um curso em diferentes edições do Enade não deve ser feita diretamente, sem ponderação. Entre outras questões, pode haver diferença na dificuldade das provas aplicadas, o que obriga a sempre fazer uma reflexão ponderada dos resultados, adverte Birchal (2023). Segundo a autora, é importante a análise e a reflexão pela comunidade, especialmente pelos colegiados de cursos e por seus Núcleos Docentes Estruturantes (NDE).
Considera-se respondida a questão de pesquisa, visto as tabulações feitas e a discussão realizada a partir dos resultados publicados referentes aos Enade escolhidos, de a investigação servir de alerta e contribuir para aperfeiçoar as políticas públicas e a gestão educacional nas IEPT, visando a uma educação de qualidade.
Apoiando a questão de pesquisa, reputam-se também atendidos os objetivos propostos, isso se apreciando as tabulações e as argumentações existentes no tópico resultados, análise e discussão.
Realça-se, contudo, mediante as evidências contidas nos resultados, uma observação criteriosa das notas nos componentes do Enade do curso, anos e instituições elegidas. Apesar de resultados aparentemente comedidos, mesmo assim se configuram de extrema importância como bases de sustentação a fim de balizar os futuros resultados das ações de melhorias a serem perpetradas pelos interessados. Enfatiza-se, mais uma vez, que as melhorias precisam se alicerçar preferencialmente nas notas brutas (NB) dos componentes e subcomponentes. Tudo isso em busca da qualidade educacional.
Embora as ALEEP ofereçam benefícios, esses devem ser como um elemento de estrutura de avaliação holística que abarque avaliações outras, como: formativas em geral, formativas dos professores e providências qualitativas para suprir a consciência integral da aprendizagem e do progresso dos discentes.
Valoroso ter em conta os pressupostos desfavoráveis às ALEEP, isso para asseverar que as ALEEP sejam efetivadas de forma harmoniosa e refletida, considerando as delimitações e os prováveis efeitos não propositais sobre alunos, professores, administradores e o sistema educacional.
Atenções especiais englobam questões associadas ao viés do teste, o enfoque em simplesmente decorar ao invés do uso do pensamento crítico, o efeito nas práticas de ensino e aprendizagem, e o potencial de risco para currículo. Esforços devem ser realizados para solucionar essas apreensões e certificar que as ALEEP se ordenem com escopos educacionais mais extensivos e possibilitem a educação íntegra aos estudantes.
Em relação à influência da pandemia de Covid-19, se avaliado elemento crítico na composição dos resultados apurados em 2021, os interessados devem a seu critério realizar as análises, as discussões e os encaminhamentos de soluções, levando em consideração a sua real ingerência e promover os ajustes adaptativos necessários. Em outro sentido, com ou sem a intervenção da Covid-19 nos resultados, os de 2021 servirão como balizamento inicial na aplicação das melhorias planejadas, assim pensando na melhor planificação depois da volta ao presencial. Um alerta: há alterações significativas nos resultados entre 2017 e 2014, sem a presença da pandemia.
Como sugestão de avanço da pesquisa, recomenda-se aplicar o mesmo modelo original da pesquisa descrito no método e desenvolvido nos resultados a IEPT públicas e privadas, em outras cidades, no estado, em regiões ou mesmo no Brasil.
Referências
BELTRÃO, K. I.; MANDARINO, M. C. F. Análise dos itens de múltipla escolha das provas Enade 2016. Revista Estudos em avaliação educacional, v.34, 2023. DOI: 10.18222/eae.v34.7951.
BIRCHAL, V. Enade: UFMG teve 90% dos cursos de graduação avaliados com conceito máximo. Portal UFMG, 2023. Disponível em: https://ufmg.br/comunicacao/noticias/enade-2022-ufmg-teve-90-dos-cursos-de-graduacao-avaliados-com-conceito-maximo. Acesso em: 2 nov.2024.
BLASIS, E.; FALSARELLA, A. M.; ALAVARSE, O. M. Avaliação e aprendizagem: avaliações externas, perspectivas para ação pedagógica e a gestão de ensino. São Paulo: Cenpec, 2013.
CASASSUS, J. Políticas y metáforas: um análisis de la evaluación estandardizada em el contexto de la política educativa. In: BAUER, A; GATTI, B. A.; TAVARES, M. R. (org.). Vinte e cinco de avaliação de sistemas educacionais no Brasil: origens e pressupostos. Florianópolis: Insular, 2013.
CELLARD, A. A análise documental. In: POUPART, J. et al. A pesquisa quantitativa: enfoques epistemológicos e metodológicos. Petrópolis: Vozes, 2008.
ENADE. Nota técnica Daes/Inep n. 57/2015, 2015. Disponível em: https://download.inep.gov.br/educacao_superior/enade/notas_tecnicas/2014/nota_tecnica_daes_n572015_calculo_do_conceito_enade2014.pdf. Acesso em: 7 out. 2024.
ENADE. Nota técnica n. 16/2018/CGCQES/DAES, 2018. Disponível em: https://download.inep.gov.br/educacao_superior/enade/notas_tecnicas/2017/nota_tecnica_n16_2018_calculo_conceito-enade.pdf. Acesso em: 7 out.2024.
ENADE. Nota técnica n.20/2019/CGCQES/DAES, 2019. Disponível em: https://download.inep.gov.br/educacao_superior/enade/notas_tecnicas/2019/nota_tecnica_n20-2019_CGCQES-DAES_calculo_NF_Enade.pdf. Acesso em: 7 out.2024.
ENADE. Nota técnica n.7/2022/CGCQES/DAES, 2022. Disponível em: https://download.inep.gov.br/educacao_superior/enade/notas_tecnicas/2019/nota_tecnica_n_7_2022_CGCQES_DAES_metodologia_calculo_conceito_enade_2021.pdf. Acesso em: 7 out. 2024.
ESTEBAN, M. T. Considerações sobre a política de avaliação da alfabetização: pensando a partir do cotidiano escolar. Revista Brasileira de Educação, Rio de Janeiro, v. 17, n. 51, p. 573-592, 2012. Disponível em <http://educa.fcc.org.br/scielo.php?script=sci_arttext&pid=S1413-24782012000300005&lng=en&nrm=iso>.
ESTEVES, T. Avaliação em larga escala. In: ROTHEN, J. C.; ESTEVES, T.; OLIVEIRA, I. S. Glossário Brasileiro de avaliação educacional, 2021. Disponível em https://rothen.pro.br/site/category/glossario-brasileiro-de-avaliacao-educacional/. Acesso em: 10 out.2024.
FREITAS, L. C. Caminhos da avaliação de sistemas educacionais no Brasil: o embate entre a cultura da auditoria e a cultura da avaliação. In: BAUER, A., GATTI, B., TAVARES, M. R. (orgs.). Ciclo de debates: vinte e cinco anos de avaliação de sistemas educacionais no Brasil: origens e pressupostos. Florianópolis: Editora Insular, 2013.
GATTI, B. A. Possibilidades e fundamentos de avaliações em larga escala: primórdios e perspectivas contemporâneas. In: BAUER, A., GATTI, B., TAVARES, M. R. (orgs.). Ciclo de debates: vinte e cinco anos de avaliação de sistemas educacionais no Brasil: origens e pressupostos. São Paulo: Editora Insular, 2013.
GIL, A. C. Como elaborar projetos de pesquisa. São Paulo: Atlas, 2007.
GRIBOSKI, C. F. O Enade como indutor da qualidade na educação superior. Revista Estudos em avaliação educacional, v. 23, n.53, 2012. DOI: 10.18222/eae235320121920.
HAGOPIAN, J. More than score: the new uprising against high-stakes testing. Chicago: Haymarket Books, 2014.
HONORATO, G. S.; BORGES, E. H. N. Impactos da pandemia da Covid-19 para o ensino superior no Brasil e experiências docentes e discentes com o ensino remoto. Revista desigualdade & diversidade, n.22, 2022. DOI: 10.17771/PUCRio.DDCIS.61538.
INSTITUTO NACIONAL DE ESTUDOS E PESQUISAS (INEP). Microdados, 2014. Disponível em: https://www.gov.br/inep/pt-br/areas-de-atuacao/avaliacao-e-exames-educacionais/enade. Acesso em: 2 nov.2024.
INSTITUTO NACIONAL DE ESTUDOS E PESQUISAS (INEP). Microdados, 2017. Disponível em: https://www.gov.br/inep/pt-br/areas-de-atuacao/avaliacao-e-exames-educacionais/enade. Acesso em: 2 nov.2024.
INSTITUTO NACIONAL DE ESTUDOS E PESQUISAS (INEP). Microdados, 2021. Disponível em: https://www.gov.br/inep/pt-br/areas-de-atuacao/avaliacao-e-exames-educacionais/enade.
Acesso em: 2 nov.2024.INSTITUTO NACIONAL DE ESTUDOS E PESQUISAS (INEP). Microdados, 2014, 2017 e 2021. Disponível em: https://www.gov.br/inep/pt-br/areas-de-atuacao/avaliacao-e-exames-educacionais/enade. Acesso em: 2 nov.2024.
INSTITUTO NACIONAL DE ESTUDOS E PESQUISAS (INEP). Resultados, 2023. Disponível em: https://www.gov.br/inep/pt-br/areas-de-atuacao/avaliacao-e-exames-educacionais/enade/resultados. Acesso em: 03 nov.2024.
LANZILLOTTI, R. S.; LANZILLOTTI, H. S. Resultado do Enade 2009 dos cursos de estatísticas em discussão, 2012. Disponível em: https://www.scielo.br/j/aval/a/skPRZMfMwchkB fL9VhVYjhf/?format=pdf. Acesso em: 25 out.2024.
LARSON, R.; FARBER, B. Estatística aplicada. Porto Alegre: Bookman, 2023.
LIMA, L. C. Elementos de análise organizacional das políticas e práticas de avaliação escolar. In: WERLE, F. O. C. (org.). Avaliação em larga escala: questões polêmicas. Brasília: Liber, 2012.
MARCONI, M. A.; LAKATOS, E. M. Fundamentos de metodologia científica. São Paulo: Atlas, 2021.
MARTINS, G. A.; DOMINGUES, O. Estatística geral e aplicada. São Paulo: Atlas, 2017.
MEC/INEP/DAES. Faculdades de tecnologia. Nome (escolhidas). Inep: Brasília, 2022.
NEVO, D. School-based evaluation: a dialogue for school improvement. Oxford: Pergamon, 1995.
PASQUALI, L. Psicometria: teoria dos testes na psicologia e na educação. São Paulo: Vozes, 2013.
PITON-GONÇALVES, J. Testes adaptativos para o Enade: uma aplicação metodológica. Revista Meta: avaliação, v.12, n.36, 2020. DOI: 10.22347/2175-2753v12i36.2735.
ROSISTOLATO, R.; VIANA, G. Os gestores educacionais e a recepção dos sistemas externos de avaliação no cotidiano escolar. Revista Educação e Pesquisa, v. 40, n. 1, mar. 2014. Disponível em: https://www.redalyc.org/pdf/298/29830062002.pdf. Acesso em: 5 out. 2024. https://doi.org/10.1590/S1517-97022013005000006.
RUSH, T. et al. Breaking free from the limitations of classical test theory. Information & Management. v. 54, n.2, p. 189-203, mar. 2017. DOI 10.1016/j.im.2016.06.005.
SAMPIERI, R. H.; COLLADO, C. F.; LUCIO, M. P. B. Metodologia da pesquisa. Porto Alegre: Penso, 2013.
SARTES, L. M. A.; SOUZA-FORMIGONI, M. L. O. Avanços na psicometria: da Teoria Clássica dos Testes à Teoria de Resposta ao Item. Revista psicologia, reflexão e crítica. v. 26, n. 2, nov. 2013. DOI: 10.1590/S0102-79722013000200004.
SCHER, V. T. et al. Uma aplicação da teoria da resposta ao item na avaliação Enade do curso de administração, 2014. Disponível em: https://repositorio.ufsc.br/bitstream/handle/123456789/132176/2014-382.pdf?sequence=1&isAllowed=y. Acesso em: 23 out.2024.
SIEGEL. S.; CASTELLAN Jr., N. J. Estatística não paramétrica para ciências do comportamento. Porto Alegre: Artmed, 2006.
SOUSA, C. P.; FERREIRA, S. L. Avaliação de larga escala e da aprendizagem na escola: um diálogo necessário. Revista Psicologia da Educação, v.48, 2019. DOI: 10.5935/2175-3520.20190003.
SOUSA, S. Z.; ARCAS, P. H. implicações da avaliação em larga escala no currículo: revelações de escolas estaduais de São Paulo. Revista Educação: teoria e prática, v.20, n.35, , p.181-189, jul./dez. 2010.
SOUZA, L. A.; BRAGA, A. E. Teoria clássica dos testes e teoria de resposta ao item em avaliação educacional. Revista de instrumentos, modelos e políticas em avaliação educacional, v.1, n.1, 2020. DOI: 10.51281/impa.e020002.
SPONCHIADO JUNIOR, E. C. et al. Impacto da Covid-19 na educação odontológica no Brasil. Revista da Abeno, v.21, n.1, dez. 2021. DOI: 10.30979/rev.abeno.v21i1.1225.
WHEELAN, C. J. Estatística. São Paulo: Zahar, 2016.
Submetido: 25.02.2025.
Aprovado: 08.09.2025.