Degree of difficulty of items in a test for the 9th grade of elementary school
the case of a municipal external assessment
DOI:
https://doi.org/10.24933/horizontes.v42i1.1738Abstract
The Canindé Education Assessment System (SAEC) is an assessment that gives teachers and school managers quicker and more detailed access to each class assessed. Thus, the aim of this study is to analyze a psychometric characterization of the SAEC instrument, especially regarding the degree of difficulty of the items covered in the mathematics test in 9th grade elementary school classes, by means of the Classical Test Theory (CTT). This is a quantitative study with objectives of descriptive and exploratory research. The results show that out of the 10 items evaluated in the SAEC, 5 were considered difficult, 3 presented moderate difficulty and 2 were considered easy according to the statistical analyses.
Downloads
References
ADOLFO, A. Ambiente para geração de questionários dinâmicos baseados em teoria da resposta ao item. 2021. 61 f. TCC (Graduação) – Curso de Engenharia de Computação, Instituto de Informática, Universidade Federal do Rio Grande do Sul, Porto Alegre, 2021. Disponível em: http://hdl.handle.net/10183/224064. Acesso em: 29 out. 2023.
BORGATTO, A. F.; ANDRADE, D. F. de. Análise clássica de testes com diferentes graus de dificuldade. Estudos em Avaliação Educacional, [S.L.], v. 23, n. 52, p. 146-156, 30 ago. 2012. DOI: http://dx.doi.org/10.18222/eae235220121934
BRASIL. Ministério da Educação. Diretoria de Avaliação da Educação Básica. Sistema de Avaliação da Educação Básica: documentos de referência. (Versão 1.0). Brasília: Inep, 2018. 200 p. Disponível em: https://download.inep.gov.br/educacao_basica/saeb/2018/documentos/saeb_documentos_de_referencia_versao_1.0.pdf. Acesso em: 08 fev. 2023.
CANINDÉ. Secretaria Municipal de Educação. Lei n.º 2286/2015, de 15 de junho de 2015. Plano Municipal de Educação 2015-2025. Canindé: SME, 2015.
CANINDÉ. Secretaria Municipal de Educação. Lei n.º 2532/2021, de 28 de outubro de 2021. Programa Avança Mais Educação. Canindé: SME, 2021.
CONDÉ, F. N. Análise empírica de itens. Technical report, Instituto Nacional de Estudos e Pesquisas Educacionais-DAEB/INEP/MEC, Brasília, 2001.
COSTA, M. C.; LIMA, S. H. O.; SOARES, D. J. M. Uma proposta de análise de itens da prova preparatória para o Enade aplicada aos discentes de engenharia civil do IFMG – Campus Avançado Piumhi. Forscience: Revista Cientifica do IFMG, [S.L.], v. 8, n. 1, p. 1-19, 14 maio 2020. DOI: https://doi.org/10.29069/forscience.2020v8n1.e706
DIRLIK, E. M. The Comparison of Item Parameters Estimated from Parametric and Nonparametric Item Response Theory Models in Case of The Violance of Local Independence Assumption. International Journal of Progressive Education, [S.L.], v. 15, n. 4, p. 229-240, 2 ago. 2019. DOI: https://doi.org/10.29329/ijpe.2019.203.17
HARTONO, W. et al. Exploration of Diagnostic Testing Instruments: validity, reliability, and item characteristics. Pegem Journal of Education and Instruction, [S.L.], v. 13, n. 3, p. 386-394, 1 jan. 2023. DOI: http://dx.doi.org/10.47750/pegegog.13.03.39
HUSSEIN, R. A. et al. Psychometric Evaluation of Dictations with the Rasch Model. International Journal of Language Testing, [S.L.], v. 12, n. 2, p. 118-127, out. 2022. Disponível em: https://www.ijlt.ir/article_157129_52f9c360c0c71818db2c14fc75f7c28f.pdf. Acesso em: 15 nov. 2023.
KIRYA, K. R.; MASHOOD, K. K.; YADAV, L. L. Development of a Circular Motion Concept Inventory for Use in Ugandan Science Education. Journal Of Turkish Science Education, [s. l], v. 20, n. 1, p. 1312-1327, 31 mar. 2023. Disponível em: https://www.tused.org/index.php/tused/article/view/2563. Acesso em: 3 nov. 2023.
LANDIS, J. R.; KOCH, G. G. The Measurement of Observer Agreement for Categorical Data. Biometrics, [S.L.], v. 33, n. 1, p. 159-174, mar. 1977. JSTOR. DOI: http://dx.doi.org/10.2307/2529310.
PAGE, M. J. et al. A declaração PRISMA 2020: diretriz atualizada para relatar revisões sistemáticas. Revista Panamericana de Salud Pública, [S.L.], v. 46, n. 246, p. 1-12, 30 dez. 2022. DOI: https://doi.org/10.26633%2FRPSP.2022.112
PARKER, M.A. J. et al. Establishing a physics concept inventory using computer marked free-response questions. European Journal of Science And Mathematics Education, [S.L.], v. 11, n. 2, p. 360-375, 1 abr. 2023. DOI: http://dx.doi.org/10.30935/scimath/12680
PASQUALI, L. Psicometria: teoria dos testes na psicologia e na educação. 5. ed. Petrópolis: Editora Vozes, 2013.
PINHEIRO, C. L.; CONCEIÇÃO, J. A. Do grau de dificuldade para um contínuo de complexidade: análise textual de itens do Enem. Revista Horizontes de Linguistica Aplicada, [S.L.], v. 20, n. 1, p. 1-17, 29 jun. 2021. DOI: http://dx.doi.org/10.26512/rhla.v20i1.36140
RAFI, I. et al. What might be frequently overlooked is actually still beneficial: learning from post national-standardized school examination. Pedagogical Research, [S.L.], v. 8, n. 1, p. 1-15, 1 jan. 2023. DOI: https://doi.org/10.29333/pr/12657
SHANMUGAM, S. K. S.; WONG, V.; RAJOO, M. Examining the quality of English test items using psychometric and linguistic characteristics among grade six pupils. Malaysian Journal of Learning and Instruction, [S.L.], v. 17, p. 63-101, 31 jul. 2020. DOI: http://dx.doi.org/10.32890/mjli2020.17.2.3
SOARES, D. J. M. Teoria clássica dos testes e teoria de resposta ao item aplicadas em uma avaliação de matemática básica. 2018. 121 f. Dissertação (Mestrado) – Curso de Programa de Pós-Graduação em Estatística Aplicada e Biometria, Departamento de Estatística, Universidade Federal de Viçosa, Viçosa, 2018. Disponível em: https://www.locus.ufv.br/handle/123456789/18404. Acesso em: 06 set. 2023.
SOARES, D. J. M.; EMILIANO, P. C.; SOARES, T. E. A. Características Psicométricas de uma Avaliação de Matemática. Ensino da Matemática em Debate, [S.L.], v. 7, n. 3, p. 1-27, 29 dez. 2020. DOI: https://doi.org/10.23925/2358-4122.2020v7i3p1-27
SOARES, T. E. A.; SOARES, D. J. M.; SANTOS, W. dos. Medidas de Tendência Central: análise da qualidade das questões do enem de 2016 a 2018. Jornal Internacional de Estudos em Educação Matemática, [S.L.], v. 14, n. 1, p. 119-128, 30 abr. 2021. DOI: https://doi.org/10.17921/2176-5634.2021v14n1p119-128
SOTO-CERROS, S.; GARCÍA-GONZÁLEZ, M. del S.; PASCUAL-MARTÍN, M. I. Ensayo la relación entre el Dominio Afectivo y el modelo MTSK: una oportunidad de investigación. Educación Matemática, [S.L.], v. 35, n. 2, p. 226-246, 1 ago. 2023. DOI: http://dx.doi.org/10.24844/em3502.09
SOUSA, L. A. de; BRAGA, A. E. Teoria clássica dos testes e teoria de resposta ao item em avaliação educacional. Revista de Instrumentos, Modelos e Políticas em Avaliação Educacional, [S.L.], v. 1, n. 1, p. 1-13, 2 jan. 2020. DOI: https://doi.org/10.51281/impa.e020002
SOUSA, M. de; FERRAROTTO, L. Prova São Paulo: pontos de tensão na avaliação externa em larga escala municipal. Revista Meta: Avaliação, [S.L.], v. 11, n. 33, p. 611-637, 13 dez. 2019. DOI: http://dx.doi.org/10.22347/2175-2753v11i33.1892
SUBALI, B.; KUMAIDI, K.; AMINAH, N. S. The Comparison of Item Test Characteristics Viewed from Classic and Modern Test Theory. International Journal of Instruction, [S.L.], v. 14, n. 1, p. 647-660, 1 jan. 2021. DOI: http://dx.doi.org/10.29333/iji.2021.14139a.
URBINA, S. Essentials of Psychological Testing. New Jersey: John Wiley & Sons, 2004.
VIZZOTTO, P. A. Qual é a qualidade psicométrica das questões de Química do ENEM? Uma análise dos itens de 2009 a 2019. Revista de Ensino de Ciências e Matemática, [S.L.], v. 13, n. 1, p. 1-21, 23 mar. 2022a. DOI: https://doi.org/10.26843/rencima.v13n1a19
VIZZOTTO, P. A. As “piores” questões de Física do ENEM: uma análise psicométrica das edições de 2009 a 2019. Revista Brasileira de Ensino de Física, [S.L.], v. 44, p. 1-19, 2022b. DOI: https://doi.org/10.1590/1806-9126-RBEF-2022-0140
VIZZOTTO, P. Análise e classificação das questões de Biologia do ENEM segundo suas características psicométricas. Revista de Ensino de Biologia da Sbenbio, [S.L.], v. 15, n. 1, p. 314-332, 26 jun. 2022c. DOI: https://doi.org/10.46667/renbio.v15i1.633
ZENGER, T.; BITZENBAUER, P.; BITZENBAUER, P. Exploring German Secondary School Students’ Conceptual Knowledge of Density. Science Education International, [S.L.], v. 33, n. 1, p. 86-92, 1 mar. 2022. DOI: http://dx.doi.org/10.33828/sei.v33.i1.9
Downloads
Published
How to Cite
Issue
Section
License
Copyright (c) 2024 Carlos Henrique Delmiro, Daniel Brandão Menezes, Hermínio Borges Neto
This work is licensed under a Creative Commons Attribution 4.0 International License.
Autores que publicam nesta revista concordam com os seguintes termos:
a) Autores mantém os direitos autorais e concedem à revista o direito de primeira publicação, com o trabalho simultaneamente licenciado sob a Licença Creative Commons Attribution que permite o compartilhamento do trabalho com reconhecimento da autoria e publicação inicial nesta revista.
b) Autores têm autorização para assumir contratos adicionais separadamente, para distribuição não-exclusiva da versão do trabalho publicada nesta revista (ex.: publicar em repositório institucional ou como capítulo de livro), com reconhecimento de autoria e publicação inicial nesta revista.
c) Autores têm permissão e são estimulados a publicar e distribuir seu trabalho online (ex.: em repositórios institucionais ou na sua página pessoal, desde que através do link da Horizontes) a qualquer ponto antes ou durante o processo editorial, já que isso pode gerar alterações produtivas, bem como aumentar o impacto e a citação do trabalho publicado (Veja O Efeito do Acesso Livre).
d) O trabalho para submissão deve ser acompanhado por uma carta escaneada assinada por todos os autores, informando que o trabalho não foi enviado para nenhum outro periódico e que acatam as normas contidas nas Diretrizes da Horizontes.
