정보기술 · 인공지능 · 클라우드 ·
AI, 클라우드 떠나 손안으로…'온디바이스 AI' 대전 본격화
삼성·애플·구글, 2025년 시장 선점 위해 격돌. 개인정보 보호와 빠른 속도 앞세워 스마트폰 넘어 PC·자동차까지 영토 확장. AI 반도체(NPU)와 소형언어모델(sLLM) 기술 주도권 경쟁이 관건.
2025년은 글로벌 IT 산업의 패러다임이 클라우드 중심의 인공지능(AI)에서 기기 자체적으로 AI를 구동하는 '온디바이스 AI'로 전환되는 원년으로 기록될 전망이다. 삼성전자, 애플, 구글, 퀄컴 등 글로벌 빅테크 기업들이 스마트폰, PC, 자동차 등 일상 기기에서 AI를 구현하기 위해 전면전을 시작했다. 이는 클라우드 AI의 고질적 문제인 개인정보 유출 우려, 느린 반응 속도, 막대한 데이터센터 운영 비용에 대한 근본적인 해결책으로 온디바이스 AI가 부상했기 때문이다. 이 기술 경쟁의 핵심에는 AI 연산을 위한 전용 반도체 'NPU(신경망처리장치)'의 성능과 기기 내 탑재를 위한 'sLLM(소형언어모델)'의 경량화 기술이 자리 잡고 있다.
'내 손안의 비서' 현실로: 온디바이스 AI란 무엇인가?
온디바이스 AI는 외부 서버, 즉 클라우드와의 통신 없이 스마트폰, 노트북 등 기기 내부의 반도체를 활용해 AI 기능을 직접 수행하는 기술을 의미한다. 기존 클라우드 AI가 중앙 도서관(데이터센터)에 가서 필요한 책(정보)을 찾아오는 방식이었다면, 온디바이스 AI는 내 머릿속(기기)에 핵심 요약본을 넣어두고 필요할 때 바로 꺼내 쓰는 것과 같다. 이처럼 데이터 처리의 주체를 중앙 서버에서 개별 기기로 옮겨옴으로써, AI 기술은 사용자에게 한층 더 가깝고 즉각적인 경험을 제공할 수 있게 되었다.
왜 지금 온디바이스 AI인가?
온디바이스 AI가 IT 업계의 최대 화두로 떠오른 배경에는 기술적 진보뿐만 아니라 경제적, 사회적 필연성이 복합적으로 작용한다. 클라우드 기반 AI가 가진 명확한 한계점들이 기술 패러다임의 전환을 촉발한 것이다.
첫째, 개인정보 보호 강화다. 온디바이스 AI는 사용자의 민감한 데이터가 기기 밖으로 전송되지 않아 개인정보 유출 위험을 원천적으로 차단한다. 과거 아마존 알렉사나 애플 시리 등 클라우드 기반 AI 비서 서비스에서 사용자 음성 데이터가 외부로 전송되어 직원들에게 노출되었던 사례들은 프라이버시에 대한 경각심을 높였다. 애플의 '애플 인텔리전스'와 삼성의 '갤럭시 AI' 모두 강력한 개인정보 보호를 핵심 마케팅 포인트로 내세우는 이유다.
둘째, 빠른 응답 속도다. 네트워크를 거치지 않기 때문에 지연 시간(latency)이 거의 없다. 이는 실시간 통역, 이미지 편집, 증강현실(AR) 등 즉각적인 반응이 필수적인 서비스에서 사용자 경험을 극대화하는 결정적 요소다.
셋째, 비용 및 에너지 효율성이다. 클라우드 AI의 확산은 데이터센터 운영에 드는 막대한 서버 비용과 전력 소모량 급증이라는 문제를 낳았다. 오픈AI의 샘 올트먼 CEO가 챗GPT 운영 비용을 "눈물 날 정도로 비싸다"고 표현했을 정도이며, 일부에서는 현 추세대로라면 2033년 클라우드 AI 운영 비용이 전 세계 GDP를 넘어설 수 있다는 경고까지 나온다. 온디바이스 AI는 이러한 천문학적인 비용과 에너지 문제를 해결하고, AI 서비스를 수십억 명의 사용자에게 지속 가능하게 제공하기 위한 경제적 필수 선택지로 부상했다.
마지막으로 오프라인 작동이 가능하다. 인터넷 연결이 불안정하거나 불가능한 환경에서도 AI 기능을 사용할 수 있어 비행기 모드나 외딴 지역에서도 활용성이 보장된다.
시장 전망: 폭발적 성장 예고
이러한 장점들을 바탕으로 온디바이스 AI 시장은 폭발적인 성장을 예고하고 있다. 시장조사기관 코히런트 마켓 인사이트에 따르면, 전 세계 온디바이스 AI 시장은 2025년 266억 1천만 달러(약 36조 원) 규모에서 연평균 24.6% 성장해 2032년에는 1,240억 7천만 달러(약 170조 원)에 이를 것으로 전망된다. 또 다른 기관인 그랜드 뷰 리서치는 2025년부터 2030년까지 연평균 27.8%의 더 가파른 성장을 예측했다. 특히 스마트폰이 전체 시장의 약 46%를 차지하며 시장을 주도하고, 웨어러블 기기와 자동차 부문이 높은 성장세를 보일 것으로 분석했다. 이는 온디바이스 AI가 일시적 유행이 아닌, IT 산업의 패러다임을 바꾸는 구조적 변화임을 명확히 보여준다.
4인 4색, 글로벌 빅테크의 패권 경쟁
삼성전자: '모두를 위한 AI' 대중화 전략
삼성전자는 갤럭시 스마트폰을 중심으로 TV, 비스포크 가전 등 자사의 모든 기기를 연결하는 강력한 'AI 생태계' 구축을 통해 시장을 선점하겠다는 목표를 세웠다. 삼성의 전략은 '모두를 위한 AI'라는 기치 아래, 소비자가 일상에서 체감할 수 있는 실용적인 기능을 전면에 내세우는 것이다. 자체 개발한 AI 모델 경량화 기술과 고성능 NPU를 탑재한 '엑시노스' 칩을 활용해, 실시간 통역, 서클 투 서치, 생성형 사진 편집 등 혁신적인 기능을 선보였다. 삼성의 가장 큰 차별점은 애플과 달리 최신 플래그십 모델뿐만 아니라 구형 모델에도 AI 기능을 확대 적용하여 최대한 많은 사용자를 자사 AI 생태계로 끌어들이는 '물량 공세'에 가까운 전략을 구사한다는 점이다.
애플: '개인정보' 앞세운 프리미엄 전략
애플은 '애플 인텔리전스'를 공개하며 '강력한 개인정보 보호'를 최우선 가치로 내걸었다. 애플의 전략은 최신 기기를 보유한 사용자에게만 차별화된 프리미엄 AI 경험을 제공하는 것이다. 이를 위해 독특한 하이브리드 방식을 채택했다. 기본적인 연산은 기기 내에서 처리(온디바이스)하고, 더 복잡한 요청은 자체 설계한 애플 실리콘 서버를 활용한 '비공개 클라우드 컴퓨팅(Private Cloud Compute)'으로 넘긴다. 이 과정에서 사용자 데이터는 개인과 연결되지 않도록 완전히 익명화되어 애플조차 내용을 볼 수 없다고 강조하며 프라이버시에 대한 사용자의 신뢰를 얻고자 한다. 한편, 자체 AI 역량의 한계를 인정하고 필요시 오픈AI의 챗GPT-4o를 연동하여 확장성을 확보한 점은 '완벽'을 추구하는 애플의 실용적인 선택으로 평가받는다.
구글: '안드로이드 생태계'를 활용한 확산 전략
구글은 안드로이드 운영체제(OS)의 압도적인 시장 지배력을 바탕으로 자사의 온디바이스 AI 모델 '제미나이 나노(Gemini Nano)'의 영향력을 극대화하는 전략을 펼치고 있다. 구글의 목표는 자사 픽셀폰뿐만 아니라 삼성, 샤오미 등 전 세계 수많은 안드로이드 제조사 기기에 제미나이 나노를 탑재시켜 AI 시대를 지배하는 것이다. 이를 위해 'AI코어(AICore)'라는 시스템 서비스를 통해 개발자들이 쉽게 제미나이 나노를 앱에 통합할 수 있도록 API를 제공한다. 이는 전 세계 안드로이드 개발자들을 구글의 AI 생태계로 끌어들이는 강력한 무기다. 또한 퀄컴, 미디어텍 등 주요 칩셋 제조사와의 긴밀한 협력을 통해 하드웨어 단에서의 최적화를 이뤄내며 생태계 확장에 속도를 내고 있다.
퀄컴: '핵심 조력자'로서의 시장 지배 전략
퀄컴은 AI 시대의 '인텔'이 되겠다는 야심 찬 목표 아래, 온디바이스 AI 시장의 핵심 조력자이자 지배자로서의 입지를 굳히고 있다. 강력한 NPU 성능을 자랑하는 '스냅드래곤' 칩셋을 앞세워 스마트폰 시장을 넘어 AI PC, XR(확장현실) 기기, 스마트 안경, 자동차(스냅드래곤 콕핏) 등 모든 '엣지 디바이스'로 영토를 확장하고 있다. 특히 AI 연산 성능 지표인 TOPS(초당 수조 회 연산) 경쟁에서 경쟁사들을 압도하며, 마이크로소프트의 코파일럿+ PC 생태계를 주도하는 등 하드웨어 플랫폼의 표준을 제시하고 있다. 또한 '퀄컴 AI 허브'를 통해 100개 이상의 AI 모델을 개발자들이 스냅드래곤 기기에서 쉽게 최적화하고 구동할 수 있도록 지원하며, 하드웨어와 소프트웨어를 아우르는 강력한 생태계를 구축 중이다.
이처럼 빅테크들의 경쟁은 단순한 제품 대결이 아니다. 삼성과 구글은 프리미엄 스마트폰 시장에서 경쟁하면서도, 구글은 삼성에 안드로이드 OS와 제미나이 나노를 공급하는 협력 관계를 유지한다. 퀄컴은 삼성의 엑시노스 칩과 경쟁하지만, 동시에 삼성전자와 다른 안드로이드 진영에 핵심 스냅드래곤 칩을 공급한다. 이는 온디바이스 AI 시대의 경쟁 구도가 '누가 더 좋은 기기를 만드느냐'를 넘어 '누가 더 강력한 생태계를 구축하느냐'의 싸움으로 진화했음을 보여준다. 성공은 때로 경쟁자와의 전략적 협력을 통해 이뤄지는 복잡한 '협력적 경쟁(Co-opetition)'의 양상을 띠고 있다.
온디바이스 AI를 움직이는 두 개의 심장: NPU와 sLLM
온디바이스 AI의 매끄러운 구동은 하드웨어와 소프트웨어의 완벽한 조화에 달려있다. 그 중심에는 AI 연산을 전담하는 반도체인 'NPU'와 거대 AI 모델을 기기에 맞게 축소한 'sLLM'이라는 두 개의 핵심 기술이 존재한다. 이 두 기술의 발전 속도가 온디바이스 AI 시대의 성패를 좌우한다.
하드웨어의 뇌, NPU
NPU(신경망처리장치)는 인간의 뇌신경망 구조를 모방해 만든 AI 전용 반도체다. AI의 핵심 연산인 행렬 곱셈과 같은 병렬 연산을 매우 빠르고 효율적으로 처리하는 데 특화되어 있다. 그래픽 처리에 강점을 가진 GPU가 다양한 작업을 수행하는 범용 일꾼이라면, NPU는 오직 AI 연산만을 위해 태어난 전문가라고 할 수 있다. NPU의 가장 큰 장점은 저전력으로 높은 성능을 낸다는 점으로, 배터리 수명이 중요한 모바일 기기에서 AI를 구동하기 위한 필수 부품이다.
칩의 AI 성능은 주로 'TOPS(초당 수조 회 연산)'라는 단위로 측정된다. 2024년 퀄컴이 최소 40 TOPS를 요구하는 마이크로소프트의 코파일럿+ PC 기준을 훌쩍 넘는 45 TOPS 성능의 NPU를 선보이며 AI PC 시대를 연 이후, 칩 제조사 간의 TOPS 경쟁은 극도로 치열해지고 있다. 전문가들은 2025년 말에는 NPU 성능이 현재보다 2~3배 향상될 것으로 예측하며, 이는 더 정교하고 복잡한 AI 기능을 기기에서 직접 구동할 수 있게 됨을 의미한다.
한국 정부 역시 AI 반도체 시장의 중요성을 인지하고 대규모 투자를 단행하고 있다. 'K-클라우드 프로젝트'의 일환으로 국산 NPU 개발 및 상용화를 위해 2025년에만 2,434억 원을 투입하며, 2030년까지 국내 데이터센터 시장에서 국산 AI 반도체 점유율을 80%까지 끌어올린다는 야심 찬 목표를 세웠다. 이는 메모리 반도체 강국을 넘어 시스템 반도체, 특히 미래 성장 동력인 AI 반도체 시장에서도 주도권을 잡겠다는 국가적 의지의 표명이다.
소프트웨어의 영혼, sLLM
챗GPT와 같은 LLM(거대언어모델)은 수천억 개에서 조 단위에 이르는 매개변수(파라미터)를 기반으로 인간과 유사한 수준의 언어 능력을 보여준다. 하지만 모델의 크기가 너무 커서 강력한 서버 없이는 구동이 불가능하며, 스마트폰과 같은 소형 기기에 탑재하는 것은 상상하기 어려웠다.
sLLM(소형언어모델)은 이러한 한계를 극복하기 위해 등장했다. LLM의 매개변수를 수십억 개 수준으로 대폭 줄여 경량화함으로써 온디바이스 환경에 최적화한 것이다.13 sLLM은 LLM에 비해 △개발 및 운영 비용이 저렴하고 △응답 속도가 빠르며 △금융, 의료, 법률 등 특정 산업 분야에 특화된 맞춤형 AI를 구축하기에 용이하다는 장점이 있어 기업들의 선호도가 매우 높다.
이러한 수요에 발맞춰 글로벌 빅테크들은 앞다퉈 sLLM을 출시하고 있다. 구글의 '제미나이 나노', 마이크로소프트의 '파이-3', 앤스로픽의 '하이쿠' 등이 대표적이다. 국내에서도 네이버가 하이퍼클로바X의 경량 모델인 'HCX-대시'를, LG유플러스가 통신 데이터에 특화된 '익시젠(ixi-GEN)'을 선보이며 sLLM 경쟁에 본격적으로 가세했다. sLLM 시장은 2029년까지 약 23조 6천억 원 규모로 성장할 것으로 예측되며, AI 기술 대중화의 핵심 동력으로 자리 잡을 전망이다.
결국 NPU와 sLLM은 서로의 발전을 이끄는 공생 관계에 있다. 더 강력한 NPU가 등장하면 더 복잡하고 성능 좋은 sLLM을 기기에서 구동할 수 있게 되고, 반대로 더 효율적으로 설계된 sLLM은 기존 NPU의 성능 한계를 뛰어넘는 AI 경험을 가능하게 한다. 이 때문에 구글과 퀄컴처럼 소프트웨어와 하드웨어 기업 간의 긴밀한 협력이 온디바이스 AI 시대의 필수 성공 공식이 되고 있다.
빛과 그림자: 장밋빛 미래의 이면
온디바이스 AI는 개인화된 경험, 향상된 생산성, 강력한 프라이버시 등 장밋빛 미래를 약속하지만, 그 이면에는 해결해야 할 기술적, 사회적 과제들이 존재한다. 기술의 확산이 가져올 새로운 위험과 격차 문제에 대한 깊이 있는 논의가 필요한 시점이다.
스마트폰을 넘어선 확장
온디바이스 AI의 영향력은 스마트폰에만 머무르지 않는다. 이미 산업 현장의 물리적 작업을 수행하는 '피지컬 AI' 로봇, 실시간으로 주변 환경을 인지하고 판단하는 자율주행차, 사용자의 건강 상태를 모니터링하는 웨어러블 헬스케어 기기, 사용자의 습관을 학습하는 스마트홈 가전 등 우리 삶의 모든 영역으로 빠르게 확산되고 있다. 한국 정부 역시 자동차, 로봇, 가전, 방산 분야에 최적화된 피지컬 AI 구현을 목표로 수요 기업과 반도체 기업을 연계하는 대규모 프로젝트를 추진하며 미래 산업 경쟁력 확보에 나서고 있다.
새로운 위험, '보안'과 '윤리'
온디바이스 AI는 '개인정보 보호'를 최대 강점으로 내세우지만, 역설적으로 새로운 형태의 보안 및 윤리적 취약점을 드러낸다. 클라우드 AI의 위험이 '중앙 서버 해킹을 통한 대규모 데이터 유출'에 있었다면, 온디바이스 AI의 위험은 '수십억 개 기기에서 발생하는 분산된 모델의 오작동 및 악용'에 있다.
최근 발표된 한 연구(arXiv)는 이 문제를 정면으로 지적한다. 연구에 따르면, 기기 탑재를 위해 양자화(Quantization)나 가지치기(Pruning) 같은 기술로 경량화된 sLLM은 클라우드에서 구동되는 거대 모델보다 윤리적 안전장치가 취약할 수 있다. 그 결과, △특정 집단에 대한 고정관념 편향(stereotypical bias)을 더 많이 드러내거나 △불공정한 판단을 내리고 △사용자의 민감한 개인정보를 유출할 위험이 더 큰 것으로 나타났다.
더 심각한 문제는 일부 sLLM이 '탈옥(jailbreaking)'과 같은 별도의 해킹 시도 없이도 유해하거나 불법적인 콘텐츠를 생성할 수 있다는 점이다. 이는 모델 경량화 과정에서 성능을 유지하는 데 집중한 나머지, 윤리적 가드레일이 함께 약화되었을 가능성을 시사한다. 만약 이러한 취약점이 악용될 경우, 개인화된 피싱 공격이나 가짜뉴스 생성 등 심각한 사회적 문제를 야기할 수 있다. 이는 기술 개발 과정에서 성능과 효율성뿐만 아니라, 보안과 윤리에 대한 근본적인 고민이 병행되어야 함을 강력하게 시사한다.
또 다른 격차, 'AI 디바이드'
온디바이스 AI의 확산은 새로운 형태의 정보 격차, 즉 'AI 디바이드(AI Divide)'를 심화시킬 수 있다는 우려를 낳고 있다.14 과거의 디지털 격차가 인터넷 접속 가능 여부에 따른 '접근의 격차'였다면, AI 디바이드는 기기의 성능에 따른 '능력의 격차'다.
고성능 NPU가 탑재된 최신 고가 기기를 소유한 사람과 그렇지 않은 사람 사이에는 정보 접근성, 업무 생산성, 학습 기회 등에서 현격한 차이가 발생할 수 있다. 예를 들어, AI 기능으로 보고서를 순식간에 요약하고 외국어 회의를 실시간으로 통역하는 사용자와 그렇지 못한 사용자 간의 경쟁력 차이는 시간이 갈수록 벌어질 것이다. 전문가들은 이러한 AI 디바이드가 기존의 사회경제적 불평등을 더욱 심화시킬 수 있다고 경고하며, 이를 방지하기 위한 사회적, 정책적 노력이 시급하다고 지적한다. 모든 사람이 기술의 혜택을 동등하게 누릴 수 있도록 포용적인 기술 설계, AI 리터러시 교육 강화 등 사회 전체의 지혜를 모아야 할 때다.
한국정보기술신문 인공지능분과 김주호 기자 news@kitpa.org