AI로 푼 연습 점수가 높아도, 혼자 푸는 실력을 보여주지는 못합니다
AI의 도움을 받아 문제를 풀면 연습 점수가 높아질 수 있습니다. 그런데 그 점수만 보고 내용을 충분히 익혔다고 판단해도 될까요?
최근 발표된 연구는 고등학교 수학 수업에서 진행된 무작위 비교실험의 자료를 다시 분석했습니다. 44개 교실의 학생 825명과 2,848개의 학습 기록이 분석에 포함됐습니다.
AI를 이용한 학생들의 연습 점수는 높았지만, 책과 기기를 사용하지 않고 혼자 치른 시험에서는 대조집단보다 평균 점수가 높지 않았습니다. 또한 연습 점수와 시험 점수 사이의 관계도 AI를 이용한 집단에서 더 약하게 나타났습니다. AI의 도움을 받은 점수만으로는 혼자 문제를 해결할 능력을 판단하기 어려웠다는 뜻입니다.
이 결과를 모든 AI 학습이 성적을 떨어뜨린다는 뜻으로 받아들여서는 안 됩니다. 기존 실험을 다시 분석한 연구이며 장기적인 학습 변화도 확인하지 않았습니다. 중요한 점은 도움을 받아 수행한 결과와 스스로 할 수 있는 일을 각각 확인해야 한다는 것입니다.
AI를 공부에 활용할 때 확인할 것
먼저 문제를 혼자 풀어보고, 막힌 부분과 자신의 생각을 적어보세요. 그다음 AI에게 정답 전체보다 막힌 부분에 대한 힌트를 요청하고, 답변이 타당한지 교재나 믿을 수 있는 자료와 비교합니다.
학습을 마친 뒤에는 AI와 교재를 덮고 비슷한 새 문제를 풀어보세요. 풀이 과정을 스스로 설명할 수 있는지도 확인하면 좋습니다. 며칠 뒤 다시 풀어보면 그때 이해한 내용이 남아 있는지도 살펴볼 수 있겠죠.
AI는 연습을 돕는 유용한 도구입니다. 다만 연습 점수가 올랐다는 사실과 내 실력이 향상됐다는 판단은 구별해야 합니다. 저는 AI와 함께 푼 결과뿐 아니라 도움 없이 무엇을 할 수 있게 되었는지 확인하는 과정을 중요하게 생각합니다.
참고 논문: Generative AI and the Performance–Capability Gap in a Randomized Mathematics Experiment


