Considerando a relevância das avaliações externas para a leitura das instituições de ensino e a implementação de políticas públicas para a avaliação dos processos de ensino e de aprendizagem, o presente estudo traz a discussão sobre as avaliações externas, em específico o Exame Nacional do Ensino Médio (ENEM) e o Programa Internacional para a Avaliação de Alunos (PISA). Para isso, buscamos compreender, nessa investigação, quais dimensões para o Letramento Científico que fundamentam o PISA são contempladas nas questões do ENEM, e como elas estão organizadas. Sendo assim, realizamos a análise das questões quanto ao contexto, competência e conhecimento, com o intuito de identificar quais são as dimensões para o Letramento Científico presentes no ENEM e como elas estão organizadas. Esse trabalho é de cunho qualitativo e fizemos uso da análise de conteúdo (BARDIN, 2011) como procedimento analítico. Para dar início, consultamos os cadernos do ENEM correspondentes à área de Ciências da natureza e suas tecnologias no período de 2012 a 2020, e os itens liberados das provas de Ciências de 2000 a 2015, com o intuito de selecionar as questões correspondentes à disciplina de Química. Posteriormente, codificamos e separamos as questões por temáticas, a fim de analisar aquelas que apresentassem o maior número de itens, resultando em oitenta e cinco questões (ENEM e PISA) que deram origem a quatro temas: gás carbônico ou dióxido de carbono, água, fontes de energia e poluição e seus impactos ambientais. Os resultados nos mostram que a prova do ENEM é bem contextualizada, mas não contribui para a formação do aluno crítico, já que em sua grande maioria, as questões apresentam como exigência que o aluno explique os fenômenos cientificamente, sendo necessário para isso, somente o conhecimento do conteúdo, e não como as ideias são produzidas (conhecimento procedimental) e a compreensão do raciocínio e justificativa para o uso dessas ideias (conhecimento epistêmico) e, por essa razão, podemos concluir que as competências e conhecimentos são insuficientes para a formação de estudantes Letrados Cientificamente. Isso nos permite compreender o motivo do insucesso dos alunos brasileiros na prova PISA, que diferentemente do ENEM, prioriza o conhecimento procedimental e epistêmico, exigindo do aluno uma postura reflexiva sobre cada uma das questões.