충북과학고 오승연, AI '망각'을 수식으로 쪼개 본 벤치마크로 청소년 IT학술대회 금상...정확도만으로는 무엇을 잊었는지 알 수 없어, 연산자·문법·조합까지 나눠 진단하는 CSR-CLBench 설계

[한국정보기술신문] 충북과학고등학교 오승연 학생이 2026 하계 청소년 IT학술대회에서 금상을 받았다. 수상 논문의 제목은 'CSR-CLBench: 연산자 증가형 지속적 수식 회귀를 위한 벤치마크'다. 인공지능(AI)이 새로운 것을 배우다가 예전에 배운 것을 잊어버리는 문제를, 무엇을 얼마나 잊었는지까지 쪼개어 살펴볼 수 있게 만든 평가 체계를 설계한 연구다.

AI는 새로운 내용을 계속 배우다 보면 이전에 배운 것을 잊는 경향이 있다. 이를 지속적 학습에서의 망각이라고 부른다. 지속적 학습은 한 번 배우고 끝내는 것이 아니라 새 데이터를 이어서 학습하는 방식을 말한다. 벤치마크는 여러 방법의 성능을 같은 기준으로 재기 위한 표준 시험을 뜻한다.

오 학생이 연구를 시작한 계기는 기존 평가 방식에 품은 의문이었다. 그동안 지속적 학습 연구는 주로 사진을 분류하는 AI가 예전 사진을 얼마나 잘 기억하는지를 점수로 확인해 왔다. 오 학생은 "정확도가 떨어졌다는 것은 알겠는데, 모델이 실제로 무엇을 잊은 것인지는 알 수 없지 않을까 하는 의문이 생겼다"고 말했다.

그래서 그는 배운 지식을 더 작은 단위로 쪼개어 관찰할 수 있는 문제를 찾았고, 수식 회귀에 주목했다. 수식 회귀는 데이터로부터 그에 맞는 수식을 찾아내는 것을 말한다. 오 학생은 수식이라면 어떤 연산자를 잊었는지, 식을 만드는 규칙이 무너졌는지, 이미 배운 계산법을 처음 보는 방식으로 다시 조합할 수 있는지를 따로 나누어 잴 수 있다고 봤다. 연산자는 덧셈이나 곱셈처럼 계산을 수행하는 기호를 뜻한다.

기존 연구와의 차이도 여기에 있다. 지속적 학습 연구가 주로 이미지 분류에서 이전 정확도가 얼마나 유지되는지를 봤고, 수식 회귀 연구는 하나의 고정된 문제에서 정답 수식을 얼마나 잘 찾는지에 집중해 왔다. 오 학생은 이 두 갈래를 잇되, 단순히 수식 회귀에 지속적 학습 기법을 얹는 데서 그치지 않고 망각을 점수 하락이 아니라 어떤 지식과 관계가 선택적으로 무너지는가의 관점에서 평가하는 기준을 만든 점을 차별점으로 꼽았다.

CSR-CLBench는 연산자를 한 단계씩 늘려 가며 AI를 학습시킨다. 다항식에서 시작해 유리식, 삼각함수, 지수·로그 함수, 그리고 이들을 겹쳐 쓰는 조합까지 5단계로 확장하는 방식이다. 오 학생은 수천 개의 수식을 자동으로 만들어 학습·평가 자료로 삼고, 여러 지속적 학습 방법을 같은 조건에서 학습시켜 비교했다.

이때 그는 최종 정확도 하나만 보지 않았다. 수식을 얼마나 되살렸는지, 이전 연산자를 얼마나 보존했는지, 새로운 연산자 조합에 얼마나 일반화하는지, 만들어 낸 수식이 불필요하게 복잡하지는 않은지를 각각 측정했다. 비교에는 이전 데이터를 다시 학습시키는 방법과 중요한 지식을 붙잡아 두는 방법 등 여러 지속적 학습 기법을 나란히 올려, 각 방법이 어떤 부분에서 강하고 약한지를 살폈다. 실패도 연산자를 잊은 것인지, 문법이 흐트러진 것인지, 조합에 실패한 것인지로 나누어 확인했다. 오 학생은 "단순히 얼마나 많이 잊었는가뿐 아니라 무엇을 어떤 방식으로 잊었는가를 구체적으로 분석하는 것이 이 연구의 핵심"이라고 설명했다.

가장 예상과 달랐던 결과는 과거 지식을 잘 보존하는 모델이 새로운 조합도 잘 만드는 것은 아니었다는 점이다. 과거 데이터를 다시 학습시키는 방법은 전체 회복률과 망각 억제에서 가장 좋은 성적을 냈고, 학습 중에 본 조합에서는 회복률이 0.843에 이르렀다. 그런데 이미 배운 연산자들을 처음 보는 방식으로 조합한 경우에는 성능이 0.070까지 떨어졌다.

오 학생은 "기억을 잘 보존하면 그 지식을 이용한 새로운 조합도 자연스럽게 잘할 것이라고 예상했기 때문에 인상적인 결과였다"고 말했다. 그는 이 결과를 통해 "기억하고 있는가와, 기억한 요소를 관계에 맞게 다시 조합할 수 있는가는 별개의 능력일 수 있다"는 점을 확인했다고 했다. 문법적으로 아예 틀린 수식을 만드는 경우는 없었지만, 연산자를 잘못 쓰거나 구조가 흐트러지는 실패는 계속 나타났다.

오 학생은 연구에서 가장 어려웠던 순간으로, 자신이 만든 벤치마크가 정말 의도한 망각을 재고 있는지 검증하는 과정을 꼽았다. 처음에는 최종 정확도나 오차를 비교하면 될 것이라 생각했지만, 같은 값을 내면서도 전혀 다른 수식을 예측하거나 정답에 가까운 연산자를 쓰면서도 새로운 조합에서는 실패하는 경우가 나타났다. 그는 평가 단위를 다시 나누고, 학습에서 본 조합이 평가에 섞여 성능이 부풀지 않도록 별도의 평가 세트를 구성해 이 문제를 풀었다. 오 학생은 "모델의 성능을 높이는 것보다 내가 만든 평가가 무엇을 측정하는가를 계속 의심하고 설계를 수정하는 일이 가장 어려웠고, 가장 많이 배운 부분"이라고 말했다.

그는 이 연구가 당장 산업 현장에 적용되는 것이라기보다, 지속적으로 학습하는 AI를 더 정확하게 평가하는 학계의 기준으로 쓰일 수 있다고 봤다. 특히 수식 발견이나 자동 모델링처럼 결과의 구조 자체가 중요한 분야에서 세밀한 평가 기준이 될 수 있다는 것이다. 앞으로는 지식을 더 작은 단위로 쪼개어 어떤 요소부터 사라지는지 추적하고, 망각 위험이 큰 요소만 골라 보호하는 새로운 학습 방법을 설계하는 것이 목표라고 했다. 나아가 학습 단계가 뚜렷이 나뉜 환경을 넘어, 새 데이터가 경계 없이 계속 들어오는 실제와 가까운 환경에서도 같은 원리가 성립하는지 확인하고 싶다고 밝혔다.

진로에 대해서는 앞으로도 AI 연구를 이어 가고 싶다고 했다. 그는 이미 정해진 문제에서 성능을 조금 높이는 연구보다, 기존 연구가 당연하게 써 온 문제 설정이나 평가 기준에서 놓친 부분을 찾아 새로운 질문과 실험 체계를 만드는 연구를 하고 싶다고 말했다.

처음 논문을 쓰는 이들을 향해서는 "처음부터 완벽하고 거대한 연구를 만들려 하기보다, 자신이 정말 궁금한 질문을 한 문장으로 정리해 보라"고 조언했다. 이어 "어떤 결과가 나오면 내 생각이 틀렸다고 인정할 것인가까지 미리 정해 두면 연구 방향이 훨씬 명확해진다"고 덧붙였다.

수상 소식을 접했을 때는 연구 중인 코드를 돌리고 있었다는 오 학생은, 상을 받았다는 기쁨보다 문제를 바라보고 연구를 설계한 방식이 외부에서도 의미 있게 받아들여졌다는 점이 크게 다가왔다고 했다. 실험 설계와 코드 작성, 해석을 익히는 데 GPT 같은 대규모 언어모델의 도움이 컸다며, 이를 이용할 수 있게 해 준 부모님께 고마움을 전하기도 했다. 그는 독자에게 남기고 싶은 한 문장으로, 연구를 시작할 때부터 정답이 정해져 있지 않아 여러 번 방향을 수정했다면서 이렇게 말했다. "좋은 연구는 정답을 잘 맞히는 데서 시작하는 것이 아니라, 무엇을 문제로 보고 무엇을 정답으로 판단할 것인지 다시 묻는 데서 시작한다고 생각한다."