AI 코딩 보조 도구, 개발자 학습 능력 17% 저하...앤트로픽 연구 결과 발표

생산성 향상과 기술 습득 간 트레이드오프 확인, AI 활용 방식이 학습 효과 좌우

[한국정보기술신문] AI 기업 앤트로픽이 AI 코딩 보조 도구가 소프트웨어 개발자의 기술 습득에 부정적 영향을 미칠 수 있다는 연구 결과를 29일 발표했다. 이번 연구는 AI가 업무 생산성을 높이는 동시에 장기적인 역량 개발을 저해할 수 있다는 우려를 실증적으로 확인한 첫 사례로 평가된다.

앤트로픽 연구팀은 파이썬을 주 1회 이상 1년 넘게 사용해온 52명의 소프트웨어 엔지니어를 대상으로 무작위 대조 실험을 진행했다. 참가자들은 AI 보조 도구를 사용하는 그룹과 손으로 직접 코딩하는 그룹으로 나뉘어 파이썬 라이브러리 트리오를 활용한 프로그래밍 과제를 수행했다.

실험 결과 AI를 사용한 그룹은 평균 2분 정도 빠르게 과제를 완료했으나, 이후 실시한 퀴즈에서 평균 50점을 기록해 손코딩 그룹의 67점보다 17% 낮은 점수를 받았다. 이는 거의 두 등급 차이에 해당하는 수준이다. 특히 디버깅 문제에서 두 그룹 간 점수 격차가 가장 컸다.

AI 활용 방식에 따라 학습 효과 달라져

연구팀은 화면 녹화 분석을 통해 참가자들의 AI 활용 패턴을 세밀하게 분류했다. 일부 참가자는 전체 작업 시간의 30%에 달하는 11분 동안 최대 15개의 질의를 작성하며 AI와 상호작용했다.

저조한 성적을 기록한 그룹은 크게 세 가지 패턴을 보였다. AI에 완전히 코드 작성을 위임한 AI 위임형, 처음에는 스스로 작성하다가 점차 AI에 의존하게 된 점진적 의존형, 그리고 AI를 통해 코드를 검증하고 디버깅한 반복적 디버깅형이었다. 이들의 평균 점수는 40% 미만에 그쳤다.

반면 높은 점수를 받은 그룹은 AI를 단순 코드 생성 도구가 아닌 학습 보조 도구로 활용했다. 코드 생성 후 후속 질문으로 이해도를 점검한 생성-이해형, 코드와 설명을 함께 요청한 하이브리드형, 개념적 질문만으로 이해도를 높인 개념 탐구형 참가자들은 평균 65% 이상의 점수를 얻었다.

주니어 개발자의 장기적 역량 개발 우려

이번 연구는 AI 도구의 공격적인 도입이 특히 주니어 개발자들의 기술 습득을 저해할 수 있음을 시사한다. 시간 압박과 조직의 압력 속에서 신입 개발자들이 빠른 작업 완료를 위해 AI에 과도하게 의존할 경우, 문제 발생 시 디버깅 능력 같은 핵심 역량이 제대로 형성되지 않을 수 있다.

연구를 주도한 주디 한웬 션과 알렉스 탐킨은 조직들이 AI 도구를 대규모로 도입할 때 엔지니어들이 업무 중에도 지속적으로 학습할 수 있도록 의도적인 설계와 시스템을 고려해야 한다고 강조했다. AI가 작성한 코드의 비중이 늘어나는 상황에서 주니어 엔지니어의 기술 개발이 저해된다면, 향후 AI 생성 코드를 검증할 역량이 부족해질 수 있다는 지적이다.

생산성과 학습의 균형 찾기

앤트로픽은 이전 관찰 연구에서 AI가 일부 작업 시간을 80%까지 단축시킬 수 있다는 결과를 발표한 바 있다. 하지만 이번 연구는 이미 보유한 기술을 활용하는 작업과 새로운 기술을 학습하는 과정에서 AI의 영향이 다를 수 있음을 보여준다.

연구팀은 AI가 숙련된 기술에 대한 생산성은 높이면서도 새로운 기술 습득을 방해할 가능성이 있다고 분석했다. 다만 이번 연구는 52명의 소규모 표본을 대상으로 했고, 과제 직후의 이해도만을 측정했다는 한계가 있다. 즉각적인 퀴즈 성적이 장기적인 기술 개발을 예측하는지는 추가 연구가 필요한 부분이다.

주요 LLM 서비스들도 학습을 촉진하는 모드를 제공하기 시작했다. 클로드 코드의 학습 및 설명 모드, ChatGPT의 스터디 모드 등이 대표적이다. 연구팀은 사람들이 AI를 사용하며 어떻게 학습하는지 이해하는 것이 더 나은 AI 설계로 이어질 수 있다고 밝혔다.

앤트로픽은 향후 코딩 외 다른 업무 영역에서의 AI 영향, 개발자가 숙련도를 높이면서 이러한 효과가 감소하는지 여부, AI 보조와 사람의 도움이 학습에 미치는 영향 차이 등을 조사할 필요가 있다고 제안했다. AI 증강 업무 환경에서는 생산성 향상뿐 아니라 장기적인 전문성 개발도 함께 고려해야 한다는 것이 연구팀의 결론이다.

한국정보기술신문 인공지능분과 권지현 기자 news@kitpa.org