Correção por IA em Revisões por Pares: Melhorando a Experiência de Aprendizado da Coursera com Feedback Rápido e de Alta Qualidade

No cenário em constante evolução da educação online, a Coursera está reforçando sua inovação ao integrar inteligência artificial (IA) em sua experiência de revisão por pares. A Correção por IA nas Revisões por Pares visa revolucionar a eficiência e a qualidade da correção, garantindo feedback consistente, oportuno e escalável, utilizando rubricas criadas pelos instrutores. Essa iniciativa foi projetada para aprimorar a experiência do aluno, oferecendo feedback imediato e valioso em submissões textuais, reduzindo o tempo de espera e o feedback breve frequentemente observado em tarefas revisadas por humanos.

A Coursera está empenhada em incorporar a IA Generativa (GenAI) à sua plataforma para avançar em seus pilares pedagógicos, apoiar os alunos na construção de conhecimento e fornecer assistência personalizada. A Correção por IA nas Revisões por Pares é um componente chave dessa iniciativa mais ampla. Ao aproveitar o poder da GenAI, a Coursera busca criar uma experiência educacional mais personalizada e eficaz — simplificando o processo de correção e permitindo que os alunos identifiquem rapidamente seus pontos fortes e áreas de melhoria com feedback imediato e construtivo. Esse suporte direcionado ajuda os alunos a alcançar uma compreensão mais profunda e melhora a retenção do conteúdo do curso.

Objetivos da Correção por IA nas Revisões por Pares

Os principais objetivos desse recurso são multifacetados:

• Melhorar a eficiência e a qualidade da correção: Ao utilizar IA, a Coursera simplifica o processo de correção, tornando-o mais rápido e preciso.
• Garantir uma correção consistente e escalável: A correção impulsionada por IA assegura que as notas de avaliação sejam consistentes e escaláveis, seguindo as rubricas estabelecidas e economizando tempo humano.
• Melhorar a experiência de aprendizado: O feedback imediato e valioso da IA eleva a experiência geral do curso para os alunos e remove obstáculos para o progresso contínuo.

Monitoramento de qualidade e sucesso

Para medir o sucesso e a qualidade desse recurso, várias métricas chave foram monitoradas durante o período de teste beta:

• Submissões corrigidas: Aproximadamente 300.000 submissões foram corrigidas pelo sistema de IA.
• Taxa de aprovação na primeira tentativa: A taxa de aprovação na primeira tentativa é de 72%, uma redução notável em comparação com as tarefas de revisão por pares corrigidas por humanos.
• Taxa de aprovação de feedback: 90% dos alunos que responderam à avaliação de "polegar para cima ou para baixo" expressaram satisfação com o feedback da IA junto com a nota de revisão por pares.
• Alunos retornando à correção humana: Apenas 7% dos alunos optaram pela correção por pares. Notavelmente, a maioria desses alunos (84%) não recebeu nota de aprovação da IA, o que levou a revisões manuais pela equipe para validar a precisão da IA.

Impacto nas métricas de aprendizado durante o teste beta

Há sinais positivos em métricas de aprendizado críticas, incluindo:

• Maior progresso: As conclusões de cursos dentro de um dia após a revisão por pares aumentaram 16,7%.
• Correção mais rápida: Os alunos receberam notas da IA em média em 1 minuto após a submissão, em comparação com 15 horas com corretores humanos (900 vezes mais rápido).
• Mais feedback: Os alunos receberam em média 45 vezes mais feedback no grupo de correção por IA. Ao desenvolver um prompt alinhado às melhores práticas pedagógicas com a equipe de Ensino & Aprendizagem, esse recurso oferece uma média de 326 caracteres de feedback.

Também observamos sinais de maior rigor:

• Em todas as tarefas e alunos, as notas da IA nas revisões por pares foram, em média, 3% menores do que as dadas por corretores pares.
• A taxa de aprovação na primeira tentativa para tarefas corrigidas por IA foi de 72%, em comparação com 88% para tarefas revisadas por pares.
• O sistema de correção por IA é menos propenso a conceder notas perfeitas (100%) e mais propenso a dar 0% quando a submissão não atende a nenhum critério da rubrica.
• Os alunos avaliados pela IA estão enviando mais tentativas, em média, para passar na tarefa de revisão por pares.

Próximos passos

A Correção por IA nas Revisões por Pares na Coursera está mostrando resultados promissores na melhoria da experiência de aprendizado, ao mesmo tempo em que melhora a eficiência, a qualidade e a escala da correção. À medida que continuamos a monitorar e expandir o sistema para suportar tipos adicionais de submissão, estamos otimistas com o potencial de remover barreiras ao progresso e fornecer feedback significativo sobre o trabalho árduo dos alunos.

Essa iniciativa de Correção por IA é uma parte importante de uma iniciativa mais ampla da Coursera para incorporar a GenAI de forma integrada e ética em nosso produto, em benefício da experiência de aprendizado. À medida que a Coursera continua a inovar em torno das melhores integrações de GenAI, a correção e o feedback baseados em IA pedagógica desempenharão um papel fundamental na definição do futuro da educação online. Em última análise, a GenAI é outra ferramenta que as equipes de Produto, Engenharia, Design e Ensino &

Aprendizagem da Coursera estão utilizando para tornar a plataforma mais acessível, eficiente e impactante para os alunos em todo o mundo.

Nota: A Correção por IA nas Revisões por Pares está disponível apenas em regiões selecionadas e exclui qualquer conteúdo atualmente vinculado a programas de graduação credenciados na plataforma Coursera.