AI가 학습을 돕는 조건: 답변 생성보다 문제·프로젝트 구조가 중요하다
이번 주 새 연구들은 생성형 AI의 효과를 ‘얼마나 많이 쓰느냐’보다 어떤 학습 과정 안에 넣느냐로 보아야 한다는 점을 보여줍니다. 문제·프로젝트 기반 수업을 종합한 메타분석에서는 긍정적인 효과가 확인됐지만, 작은 연구의 편향을 보정하자 효과 크기가 크게 낮아졌습니다. 또 무작위 대조시험에서 ChatGPT를 활용한 의학교육이 좋은 결과를 냈지만, AI는 교사를 대신한 것이 아니라 교사가 검토하는 사례 연습 도구로 사용됐습니다.
1. 문제·프로젝트 안에 넣은 생성형 AI: 유망하지만 효과를 부풀려 보면 안 됩니다
2026년 9월 8일 Acta Psychologica에 발표된 체계적 문헌고찰과 3수준 메타분석은 2023년 1월부터 2026년 4월까지의 통제 연구 22편, 효과크기 66개를 종합했습니다. 생성형 AI를 문제기반학습(PBL)이나 프로젝트기반학습(PjBL)에 넣었을 때 학업 성취·기술, 고차 사고, 동기·정서, 협업·의사소통에 전반적으로 긍정적인 결과가 나타났습니다.
처음 계산된 전체 효과크기는 헤지스 g=0.819로 컸습니다. 그러나 소규모 연구가 긍정적 결과를 더 많이 보이는 편향을 보정한 PEESE 추정치는 g=0.378로 낮아졌습니다. 완성된 산출물이나 해결책의 질에서는 큰 효과(g=1.958)가 보고됐지만, 앞으로의 연구 결과를 예상하는 구간은 0을 포함했습니다. 즉, 생성형 AI가 문제·프로젝트 학습을 도울 가능성은 있지만 “큰 효과가 확정됐다”고 말할 단계는 아닙니다.
증거 강도: 중간. 동료평가를 거친 메타분석이고 통제 연구를 모았다는 점은 강점입니다. 다만 연구 수가 아직 적고 연구 간 차이가 크며, 작은 연구의 편향을 보정하면 효과가 상당히 줄었습니다. [PubMed] [논문 원문/DOI]
학습에 적용할 때는 AI에게 곧바로 정답을 요구하기보다 다음 순서가 좋습니다.
- AI를 켜기 전에 문제를 자신의 말로 정의하고 예상 답을 적습니다.
- AI에게 여러 해결 경로와 반례를 요청한 뒤 근거를 비교합니다.
- 한 경로를 선택해 결과물을 만들고, 선택 이유를 기록합니다.
- 마지막에는 AI 없이 핵심 원리와 새로운 문제의 해결 과정을 설명합니다.
완성된 결과물만 평가하면 AI의 문장력과 학습자의 이해를 구분하기 어렵습니다. 문제 정의, 질문, 검증, 선택 이유를 함께 남겨야 실제 학습 과정을 볼 수 있습니다.
2. ChatGPT를 활용한 진단 연습 RCT: ‘교사와 함께 쓰는 시뮬레이터’에 가까웠습니다
2026년 9월 4일 Medicine에 발표된 무작위 대조시험은 중국 의과대학생 80명을 40명씩 나눴습니다. 전통 수업을 받은 집단과, 전통 수업에 ChatGPT 4.0을 활용한 임상 사례 탐색·의사소통 연습을 더한 집단을 비교했습니다. AI 집단은 이론 시험에서 평균 85.38점, 전통 집단은 80.30점을 받았고, 병력 청취·의사소통·전문직업성·임상 판단에서도 더 높은 평가를 받았습니다. 신체진찰과 진료 조직 능력에서는 차이가 없었습니다.
여기서 중요한 점은 AI 집단도 같은 교재와 교사의 지도를 받았으며, 교사가 AI가 만든 내용을 검토하고 실습을 감독했다는 사실입니다. 따라서 이 연구는 ‘AI가 교사보다 낫다’는 비교가 아닙니다. 교사가 관리하는 사례 시뮬레이션을 기존 수업에 더했을 때 즉각적인 수행이 좋아졌다는 결과에 가깝습니다.
증거 강도: 중간. 무작위배정, 평가자 눈가림, 객관식 이론 시험과 임상 수행평가를 사용했다는 점은 좋습니다. 그러나 단일 대학의 소규모 연구이고 장기 기억을 검사하지 않았으며, AI 집단에 추가 연습이 들어갔기 때문에 효과의 어느 부분이 ChatGPT 자체에서 왔는지는 분리하기 어렵습니다. [논문 전문] [DOI]
AI를 학습 파트너로 쓸 때도 같은 원리가 적용됩니다. 역할극이나 문제 생성에는 활용하되, 사실 확인 기준을 따로 두고 마지막에는 AI 없이 답을 구성해 보는 편이 안전합니다. 특히 전문지식이나 건강 관련 학습에서는 AI의 설명을 원자료나 교재와 대조해야 합니다.
3. 질문의 수준은 중요해 보이지만, 아직 인과관계는 아닙니다
2026년 9월 8일 PLOS ONE에 발표된 연구는 중국 대학원 신입생 106명이 ChatGPT와 주고받은 질문을 분석했습니다. 대화가 5~7회쯤 이어진 뒤에도 적용·분석 수준에 머무는 집단과, 평가·탐색 수준으로 나아가는 집단이 갈렸습니다. 사실 확인 질문에 치우친 학생들은 비판적·창의적 사고의 자기평가가 더 낮았습니다.
증거 강도: 예비. 동료평가 논문이지만 한 과목의 관찰연구이고 사고력을 객관적인 시험이 아니라 자기보고로 측정했습니다. 좋은 질문이 사고력을 높였는지, 원래 사고력이 높은 학생이 더 좋은 질문을 했는지는 알 수 없습니다. [PubMed] [논문 원문/DOI]
그래도 공부 중 질문이 단순 사실 확인에 머무르는지는 점검할 가치가 있습니다. AI와 몇 차례 대화한 뒤에는 “이 설명의 근거는 무엇인가?”, “반례는?”, “두 설명 중 어느 쪽이 더 타당한가?”, “새 조건에 적용하면 무엇이 달라지는가?” 같은 질문으로 방향을 바꿔 볼 수 있습니다.
4. 생각만 한 대안도 ‘실제로 한 것’처럼 기억될 수 있습니다
2026년 9월 4일 Cognition에 발표된 두 실험은 문제를 풀면서 고려했지만 선택하지 않은 경로가 기억을 어떻게 흐리는지 조사했습니다. 참가자들은 수정된 하노이탑 문제와 비슷한 계획 과제를 풀었고, 나중에 자신이 실제로 거친 상태와 가능한 다른 경로의 상태를 구분해야 했습니다. 그 결과 전혀 새로운 상태보다 선택하지 않았지만 그럴듯했던 대안 경로를 실제 경험한 것으로 잘못 알아보는 경향이 더 컸습니다. 시각적 유사성을 맞춘 조건에서도 같은 현상이 나타났습니다.
증거 강도: 중간. 동료평가 논문에서 두 행동실험으로 효과를 반복하고 시각적 유사성도 통제했습니다. 다만 한 가지 실험실 계획 과제의 결과이며, 실제 공부 상황에서 독립적으로 재현된 것은 아닙니다. [PubMed] [논문 원문/DOI]
이 결과는 AI가 여러 답과 풀이를 빠르게 제시하는 상황에서 특히 참고할 만합니다. 보았던 대안이 많아질수록 ‘내가 실제로 사용한 풀이’와 ‘잠깐 검토한 풀이’가 섞일 수 있습니다. 학습 노트에 각 대안을 사용함·검토함·기각함으로 표시하고, 마지막에 실제 풀이만 다시 재구성하면 출처 혼동을 줄이는 데 도움이 될 수 있습니다. 이것은 위 연구에서 직접 시험한 처방은 아니므로, 효과를 확인하며 사용하는 것이 좋습니다.
이번 주에 직접 시험해 볼 세 가지
- AI 사용 전 3분: 문제 정의와 예상 답을 먼저 적습니다.
- AI 사용 중 상태 표시: 제안마다 ‘사용·검토·기각’을 표시하고 선택 이유를 한 줄 남깁니다.
- AI 사용 후 무도구 검사: 화면을 닫고 핵심 원리와 새로운 예제의 해결 과정을 설명합니다. 가능하면 며칠 뒤 한 번 더 확인합니다.
이번 주 연구가 말해 주는 바는 단순합니다. AI가 만든 결과물이 좋아 보이는 것과 학습자가 실제로 더 잘 이해하고 오래 기억하는 것은 같은 일이 아닙니다. AI의 장점은 문제를 대신 풀어 주는 데보다, 더 많은 사례를 연습하고 비교하며 검증할 수 있게 만드는 데서 찾는 편이 타당합니다.
