"LLM 시대에도 전문성이 무기"...美 개발자 "프롬프트의 핵심은 도메인 지식"

[한국정보기술신문] 인공지능(AI)에게 일을 맡기는 시대에도 사람의 전문성은 여전히 중요하며, 오히려 그 전문성이 AI를 잘 부리는 열쇠라는 주장이 나왔다. 미국 소프트웨어 개발 플랫폼 깃허브(GitHub)의 엔지니어 션 괴데케(Sean Goedecke)는 지난 7월 24일(현지시간) 자신의 블로그에 올린 글에서, 거대언어모델(LLM)을 다룰 때 가장 중요한 기술은 다름 아닌 "프롬프트를 넣는 그 분야에 대한 전문 지식"이라고 밝혔다. 거대언어모델이란 챗지피티(ChatGPT)처럼 방대한 글을 학습해 사람의 말에 답하고 글이나 코드를 만들어 주는 대형 AI를 말하며, 프롬프트란 이런 AI에게 무엇을 해 달라고 넣는 지시문을 가리킨다.

괴데케는 먼저 요즘 널리 퍼진 통념부터 짚었다. 그에 따르면 과거에는 특정 기술이 부족하면, 이를테면 웹 화면을 꾸미는 코드인 CSS를 짤 줄 모르면, 실력 있는 동료에게 부탁하거나 내 문제에 딱 맞는 답이 인터넷에 있기를 바라는 수밖에 없었다. 그러나 오늘날에는 누구나 그 일을 LLM에 맡겨 그럭저럭 쓸 만한 결과를 얻을 수 있다. 그는 이렇게 LLM이 모든 사람을 폭넓게 일을 처리하는 '범용가(generalist)'로 만들어 준다고 설명했다. 예전 같으면 특정 기술의 공백이 곧 일의 벽이 됐지만, 이제는 그 공백을 모델이 어느 정도 메워 준다는 것이다.

이런 변화 때문에 많은 사람이 LLM을 다루는 데 별다른 기술이 필요 없다고 여긴다는 것이 괴데케의 진단이다. 박사급 수학이든, 제법 괜찮지만 때로 투박한 컴퓨터 코드든, 어색한 자기소개용 글이든, 그저 달라고 하면 나오기 때문이다. 모두가 똑같은 모델과 대화하는 만큼, '프롬프트에 능숙한 사람'이 얻는 결과나 LLM을 처음 만져 보는 사람이 얻는 결과나 별반 다르지 않아 보인다는 것이다.

그러나 괴데케는 이런 생각이 틀렸다고 단언했다. 같은 모델을 쓰더라도 그 분야를 깊이 아는 사람은 훨씬 더 많은 것을 끌어낼 수 있다는 것이 그의 핵심 주장이다.

괴데케는 그 근거로 세계적 수학자 테런스 타오(Terence Tao)가 챗지피티와 나눈 대화를 들었다. 최근 발견된 '자코비안 추측(Jacobian Conjecture)'의 반례를 두고 오간 이 대화가, 자신 같은 보통 사용자가 같은 챗봇에서 얻는 것과는 전혀 다른 수준이었다는 것이다. 자코비안 추측이란 오랫동안 풀리지 않은 수학 난제를 말하며, 반례란 어떤 주장이 항상 옳지는 않음을 보여 주는 사례를 뜻한다. 괴데케는 자신이 아무리 많은 시도를 하더라도 타오가 도달한 지점에는 이르지 못할 것이라고 털어놓았다.

그는 타오의 대화에서 몇 가지 특징을 관찰했다. 첫째, 타오의 말은 매우 짧고 요점만 담겨 있었다. 모델의 답변에 조목조목 대응하지 않고 핵심에만 반응했다는 것이다. 둘째, 모델의 답변 역시 훨씬 간결했다. 괴데케는 타오가 스스로 전문가임을 드러냄으로써 모델을 '아마추어에게 설명하는 모드'가 아니라 '수학자와 대화하는 모드'로 옮겨 놓았다고 분석했다. 셋째, 타오는 모델의 답이 이상해 보일 때 곧바로 반박하지 않고 "생각보다 복잡해 보인다"는 식으로 에둘러 지적했다. 넷째, 타오는 여러 대목에서 스스로 방향을 제안하며 도약했고, 다음에 무엇을 할지에 대한 모델의 조언은 거의 따르지 않았다. 모델을 정답을 알려 주는 상대가 아니라, 자신이 이끄는 방향에 맞춰 재료를 내놓는 도구처럼 다뤘다는 것이다.

다만 괴데케는 이런 요령을 그대로 흉내 낸다고 해서 타오처럼 대화할 수 있는 것은 아니라고 선을 그었다. 그가 보기에 타오가 쓴 기법의 핵심은 결국 수학 그 자체를 이해하는 데 있다. 모델이 여러 문단에 걸쳐 늘어놓은 답변에서 정작 중요한 아이디어를 골라내고, 다른 접근이나 표현을 제안하며, 무엇이 '이상해 보이는지'를 짚어내는 일은 모두 그 분야에 대한 깊은 이해에서 나온다는 것이다.

괴데케는 이 원리를 자신의 개발 업무에서도 경험했다고 밝혔다. 그는 자신이 다루는 프로그램의 구조, 이른바 '코드베이스에 대한 이론'을 잘 갖추고 있으면 LLM을 훨씬 세게 밀어붙일 수 있다고 설명했다. 코드베이스란 하나의 소프트웨어를 이루는 소스 코드 전체를 말한다. 좋은 해법이 어떤 모습일지 스스로 감을 갖고 있기에, "아니, 여기는 더 간단할 것 같다"거나 "그런데 우리가 이미 그 처리를 하고 있지 않나?", "이 문제를 익숙한 방식으로 바꿔 표현할 수 있지 않나?"처럼 구체적으로 되물을 수 있다는 것이다.

이는 그가 이전에도 밝혀 온 생각과 맞닿아 있다. 시스템 설계 문제는 두루 통하는 일반 원칙보다 그 시스템만의 구체적인 사정에 의해 좌우된다는 것이다. 그는 두 가지 모두 쓸모가 있지만, 소프트웨어 시스템에 대한 폭넓은 일반 지식보다 자신이 맡은 코드베이스에 대한 친숙함을 택하겠다고 했다. 자코비안 추측에 대해서는 구체적인 질문을 던질 수 없지만, 자신이 담당하는 시스템에 대해서는 얼마든지 그런 질문을 할 수 있다는 것이다. 결국 좋은 질문을 던질 수 있는 능력 자체가 그 분야를 아는 데서 나온다는 설명이다.

괴데케는 도메인 지식이 없어도 LLM에 매달려 최소한 '뭐라도' 얻을 수 있으며, 그것이 나쁜 일은 아니라고 덧붙였다. 그러나 도메인 지식이 있으면 같은 LLM에서 원하는 방향으로 강하게 몰아붙여 훨씬 큰 가치를 뽑아낼 수 있다는 것이다. 그는 대부분의 사람이 어떤 분야에는 전문성이 있고 다른 분야에는 없는 만큼, 실제로는 두 방식을 섞어 쓰게 된다고 봤다. 잘 아는 분야에서는 모델을 강하게 이끌고, 잘 모르는 분야에서는 모델에 기대어 최소한의 결과라도 얻는 식이다.

이런 관찰을 바탕으로 괴데케는 모델이 아무리 강력해지더라도 사람의 전문성은 계속 쓸모가 있을 것이라고 전망했다. 많은 작업에서 병목은 모델이 아니라 인간이라는 것이다. 어려운 대목은 원하는 해법이 정확히 어떤 것인지를 모델에 전달하는 일에 있기 때문이다. 그는 필요한 정보가 이미 '모델 안에' 들어 있더라도, 그것을 끌어내려면 매우 똑똑한 인간이 필요하다고 정리했다.