서울시, 행정업무에 자체 LLM 도입…'글로벌 AI 행정도시' 시동

내부망에 독립형 AI 구축, 민감정보 보호하며 업무 효율화 추진

[한국정보기술신문] 서울시가 행정업무에 자체 개발한 대규모언어모델(LLM)을 도입해 '글로벌 AI 행정도시'로 도약한다고 발표했다. 시는 생성형 인공지능(AI) 기반의 '챗봇 2.0 사업'을 통해 공공행정 전반의 AI 전환을 선도해 나간다는 방침이다.

1세대 챗봇 한계 넘어선 '챗봇 2.0' 도입

이번 '챗봇 2.0 사업'은 기존 1세대 챗봇의 기술적 한계를 극복하고 생성형 AI 기반의 유연하고 정교한 'AI 행정 지원 체계'로 전환하는 것이 핵심이다. 그동안 서울시는 2020년 시민용 챗봇 '서울톡'과 2023년 직원용 업무 챗봇을 운영해 왔지만, 모두 정해진 규칙과 검색 기반 고정 응답 방식으로 복합 질의에는 한계가 있었다.

새로운 AI 시스템은 복잡한 행정업무에 대한 실시간 응답이 가능하다. 예를 들어 "공유재산 사용료가 3회 연속 체납된 경우 즉시 계약 해지 가능한가?"라고 질문하면 AI가 지방세외수입 업무 편람 내용을 종합해 답변해 주는 '디지털 행정 길잡이' 역할을 수행한다. 이를 통해 직원들이 일일이 부서로 문의하거나 자료를 요청하지 않아도 되는 업무 환경이 조성된다.

문서 작성부터 부서별 맞춤형 챗봇까지

AI는 단순한 질의응답을 넘어 실무 지원 기능도 제공한다. 사용자가 보유한 계획서나 기획안을 업로드하고 보도자료 작성을 요청하면 AI가 양식에 맞춰 초안을 자동 작성해 준다. 또한 부서 단위로 '나만의 챗봇'을 만들어 반복되는 실무 대응이나 협업 기반 문서 공유에도 활용할 수 있다.

내부망 독립형 AI 환경으로 보안 강화

'챗봇 2.0 사업'의 가장 큰 특징은 '서울시 자체 LLM'을 내부망에 직접 도입한다는 점이다. 시는 민감한 공공데이터를 안전하게 처리할 수 있는 독립적 인프라를 바탕으로 행정 수요에 최적화된 실용적인 생성형 AI 서비스를 구축한다. 공공기관 특성상 내부 정보 보호가 중요한 만큼 자체 폐쇄망에서 운영되는 LLM 기반 'AI 비서'가 핵심 역할을 담당한다.

서울시는 올해 GPU 서버(H200 8GPU)를 도입하고 내년까지 GPU 서버 3대를 추가 확보할 계획이다. 이를 통해 폐쇄망 내에서 고도화된 생성형 AI 서비스가 시행될 수 있도록 단계적으로 확대해 나간다는 방침이다.

행정 효율성 획기적 향상 기대

'챗봇 2.0' 시스템이 본격 가동되면 문서 작성, 규정 조회, 질의응답 등 반복적이고 정형화된 업무를 AI가 대체하면서 행정 효율성과 속도가 획기적으로 향상될 것으로 예상된다. 시는 단순한 디지털 도구 도입을 넘어 행정 조직의 업무 방식과 체질을 전환하는 첫걸음이 될 것으로 기대하고 있다.

서울시가 직원을 대상으로 실시한 설문 조사(응답자 342명, 2025년 6월) 결과, 문서 초안 자동 작성(23%), 문서 요약 및 정리(20%), 내부 문서 기반 질의응답(16%) 등에 대한 생성형 AI 활용 수요가 높은 것으로 나타났다. 이는 현장에서 AI 도입에 대한 실질적 필요성을 확인한 것으로 해석된다.

단계적 확장 전략으로 안정성 확보

시는 전문가 자문에 따라 단계적 확장 전략을 수립했다. 올해 연말까지 시범 적용 후 내년부터는 행정 시스템 연계 LLM API와 AI 에이전트를 도입해 문서 자동화, 의사결정 지원 등 고도화된 기능으로 확대할 계획이다. 외부 전문가들은 자체 LLM 구축의 보안과 신뢰성은 인정하면서도 대시민 서비스 확산은 신중하게 접근할 필요가 있다고 조언했다.

50만 명이 이용 중인 시민용 챗봇 '서울톡'에도 생성형 AI를 시범 적용한다. 기존에는 시나리오 기반으로 정해진 답변만 가능했지만, 향후에는 누리집 내 보도자료와 새소식 등 자료를 기반으로 LLM이 맥락을 이해하고 자연어로 응답하는 기능을 제공한다. 기존 "답을 찾기 어려운 질문이네요"로 종료되던 질의응답 대신 실시간 정보 탐색형 응답을 제공하여 민원 대응 품질이 향상될 전망이다.

강옥현 서울시 디지털도시국장은 "챗봇 2.0 도입을 시작으로 공무원은 더 효율적으로 일하고, 시민은 더 빠르고 정확하게 응답받는 새로운 행정 서비스 시대가 열릴 것으로 기대된다"고 말했다. 그는 또한 "공공행정 전반에 AI를 적극 활용하여 국내를 넘어 '글로벌 AI 행정도시'로 거듭날 것"이라고 강조했다.

한국정보기술신문 인공지능분과 박정후 기자 news@kitpa.org