AI, 무선 통신 칩 설계의 '검은 기술' 익혔다...프린스턴 연구진, 강화학습·역설계로 RFIC 백지에서 자동 설계, 수개월 걸리던 작업을 분 단위로 단축

[한국정보기술신문] 인공지능(AI)이 무선 통신 칩의 회로를 사람의 손을 거치지 않고 스스로 설계하는 단계에 이르렀다. 미국 프린스턴대학교의 카우시크 셍굽타(Kaushik Sengupta) 전기·컴퓨터공학과 부교수 연구진은 강화학습과 역설계 기법을 결합해 무선 통신 칩의 핵심인 'RF 집적회로(RFIC)'를 처음부터 끝까지 자동으로 설계하는 데 성공했다고 밝혔다. 셍굽타 부교수는 6월 24일 국제전기전자공학회(IEEE) 발행 매체 'IEEE 스펙트럼'에 그간의 연구 성과를 정리해 기고했다.

RF 집적회로(Radio-Frequency Integrated Circuit)는 스마트폰을 비롯한 각종 기기가 무선 신호를 보내고 받을 수 있게 해 주는 반도체를 말한다. RF는 무선 통신에 쓰이는 전파의 주파수 대역을 가리킨다. 휴대전화 통화와 데이터 통신, 위성 통신, 자동차 레이더가 모두 이 칩에 기대고 있어, 무선 기술의 발전은 사실상 RFIC의 발전에 달려 있다.

문제는 RFIC 설계가 오랫동안 과학이라기보다 '기술(art)'의 영역에 머물러 왔다는 점이다. 셍굽타 부교수는 RFIC 설계를 오랜 경험을 통해서만 익힐 수 있는 '검은 기술(dark art)'에 빗댔다. 대부분의 컴퓨터 칩이 정해진 절차에 따라 자동으로 설계되는 것과 달리, RFIC는 숙련된 전문가가 일일이 손으로 다듬어야 했다는 것이다.

이는 RFIC가 여러 물리 영역에 걸친 까다로운 설계 과제이기 때문이다. 전자기장이 어떻게 움직이는지를 다스리는 맥스웰 방정식은 물론, 열이 어떻게 생기고 빠져나가는지, 온도 변화에 칩이 얼마나 잘 견디는지까지 한꺼번에 따져야 한다. 고려할 조건이 너무 많아 설계의 경우의 수가 사실상 무한에 가까워진다. 이런 까닭에 새 칩 하나를 설계하는 데 수년이 걸리고 수천만에서 수억 달러가 든다.

특히 RFIC의 대부분 면적은 인덕터나 전송선 같은 '수동 소자'가 차지한다. 전류를 다루는 트랜지스터보다, 신호의 전자기 에너지를 정해진 길로만 흐르게 하는 금속 구조물이 훨씬 넓은 자리를 차지하는 것이다. 이 구조물은 마치 칩의 배관처럼 작동하며, 좌우 대칭의 정교한 무늬를 이룬다. 설계자는 이 모든 요소를 한데 맞물려야 하는데, 한쪽을 누르면 다른 쪽이 튀어나오는 식이어서 균형점을 찾기가 매우 어렵다. 설계의 작은 어긋남도 칩이 작동하느냐 마느냐를 가르며, 조건을 못 맞추면 처음으로 돌아가 수개월에 걸친 시뮬레이션과 수정을 되풀이해야 한다.

연구진은 이 난제를 AI로 풀 수 있다고 봤다. 2016년 AI 바둑 프로그램 알파고가 이세돌 9단을 꺾은 일을 계기로, 단백질 구조 예측이나 기후 모델링처럼 복잡한 문제를 AI가 풀어내는 모습을 보며 RFIC에도 적용할 수 있겠다는 생각에 이르렀다는 것이다.

기존에도 AI로 설계를 돕는 시도는 있었으나, 사람이 만들어 둔 회로 틀(템플릿)을 빠르게 다듬는 수준에 머물렀다. 연구진은 이 틀 자체에서 벗어나고자 했다. 사람의 경험은 좋은 설계의 바탕이 되지만 동시에 한계를 짓기도 하기 때문이다.

연구진은 두 단계로 접근했다. 먼저 강화학습(RL) 기법으로 칩의 전체 구조와 회로 연결 방식, 소자의 세부 값을 백지 상태에서 스스로 정하게 했다. 강화학습은 AI가 시행착오를 거듭하며 더 나은 선택을 익히는 방식으로, 컴퓨터가 게임을 반복해 실력을 키우는 것과 비슷하다. 알파고의 후속 버전인 알파고 제로가 사람의 기보 없이 스스로 두면서 실력을 키운 것처럼, 이 알고리즘도 사람의 설계를 배우지 않고 스스로 회로를 시험하며 학습했다. 이 때문에 사람이라면 떠올리지 못할, 완전히 새로운 회로 구조를 만들어 낼 수 있다.

두 번째 단계는 원하는 성능을 먼저 정해 두고 그에 맞는 물리적 구조를 거꾸로 찾아내는 '역설계(inverse design)'다. 이때 신호가 제대로 앞으로 나아가는지, 아니면 일부가 반사돼 낭비되는지를 나타내는 지표가 '산란 파라미터'다. 굵은 소방 호스를 가는 정원 호스에 그냥 연결하면 물이 튕겨 나가듯, 부품과 부품 사이가 맞지 않으면 신호 에너지가 되튀는 '임피던스 정합' 문제가 생기는데, 산란 파라미터는 이를 가늠하는 잣대다.

문제는 이런 전자기 구조를 일일이 시뮬레이션하는 데 시간이 오래 걸린다는 점이었다. 연구진은 시뮬레이터 대신 AI 에뮬레이터를 썼다. 이미지 처리에 강한 합성곱 신경망(CNN)을 바탕으로, 어떤 모양의 구조든 그 전자기 특성을 곧바로 예측하도록 한 것이다. 에뮬레이터는 복잡한 계산을 직접 하지 않고도 결과를 흉내 내 빠르게 내놓는 프로그램을 말한다. 이 덕분에 기존 시뮬레이션으로 수 분에서 수 시간이 걸리던 작업이 수 밀리초로 줄었다.

연구진은 2023년 이 방식으로 만든 첫 결과물을 공개했다. 30기가헤르츠(㎓)에서 100㎓에 이르는 대역의 전력증폭기로, 5G와 레이더에 두루 쓰이는 주파수 영역을 아우른다. 전력증폭기는 약한 신호를 키워 멀리 보낼 수 있게 하는 회로다. 이 칩은 당시 실리콘 기반 전력증폭기 가운데 대역폭과 출력, 효율의 조합에서 가장 뛰어난 성능을 기록했다.

무엇보다 칩의 전자기 구조가 사람이라면 결코 그리지 않았을 모습이었다. 좌우 대칭의 규칙적인 무늬 대신, QR코드나 임의의 무늬에 가까운 형태가 나타난 것이다. 연구진은 이를 통해 그동안 의존해 온 설계 틀이 최적과는 거리가 멀 수 있음을 확인했다고 밝혔다. 이어 2024년에는 입출력 통로가 여러 개인 다중포트 회로로 범위를 넓혀, 며칠씩 걸리던 작업을 수 분 만에 처리했다.

연구진의 또 다른 고민은 AI가 만든 칩이 사람의 이해를 벗어나지 않게 하는 것이었다. 칩에 문제가 생겼을 때 원인을 찾아 고치려면 구조를 알아볼 수 있어야 하기 때문이다. 이를 위해 연구진은 글로 그림을 만들어 내는 확산모델(diffusion model)을 가져왔다. 확산모델은 이미지 생성 AI에 널리 쓰이는 기술이다.

그림 생성 AI에 화가의 화풍을 지정하듯, 연구진은 산란 파라미터를 입력해 그에 맞는 전자기 구조를 만들게 했다. 여기에 구조의 복잡한 정도를 조절하는 '다이얼'을 더해, 고전적이고 알아보기 쉬운 형태부터 미로 같은 형태, 픽셀처럼 잘게 쪼개진 형태까지 골라 만들 수 있게 했다. 어떤 형태든 필요한 전자기 특성은 똑같이 구현된다. 입력부터 출력까지 걸리는 시간은 약 6분이었다.

연구진은 이 접근을 RFIC를 넘어 다른 회로로 넓히는 것을 목표로 삼고 있다. 다만 갈 길은 남아 있다. 무엇보다 AI가 작동하지 않는 잘못된 설계를 그럴듯하게 만들어 내는 '환각' 현상이 일어날 수 있어, 검증은 여전히 사람의 몫으로 남겨 둬야 한다고 셍굽타 부교수는 지적했다.

또 RFIC 분야의 보편적 기반 모델을 만들려면 훨씬 많은 데이터가 필요하다. 그는 1400만 장의 이미지를 모은 'ImageNet(이미지넷)'이 이미지 인식 AI의 도약을 이끈 것처럼, 회로 설계에도 대규모 공유 데이터가 있어야 한다고 강조했다. 데이터 자체는 전 세계 연구실과 기업에 넘쳐나지만 비밀유지 약정에 묶여 공유되지 못하는 점이 걸림돌이다. 미국 반도체법의 연구개발 사업을 운영하며 관련 인프라를 뒷받침하던 '냇캐스트(Natcast)'가 문을 닫은 점도 아쉬운 대목으로 꼽힌다.