소형 물고기 AI '구피LM', 언어모델 교육 진입장벽 낮춘다...5분 만에 훈련 가능한 900만 매개변수 모델

[한국정보기술신문] 언어모델 개발의 진입장벽을 낮추기 위한 교육용 프로젝트 '구피LM(GuppyLM)'이 개발자 커뮤니티에서 화제가 되고 있다. 이 프로젝트는 고급 학위나 막대한 컴퓨팅 자원 없이도 언어모델 훈련이 가능함을 실증적으로 보여준다.

구피LM은 약 900만 개의 매개변수를 가진 트랜스포머 모델로, 작은 물고기의 개성을 roleplaying하도록 훈련되었다. 개발팀은 "언어모델 훈련은 마법이 아니다"라는 철학 하에 초보자도 이해할 수 있는 단일 코랩 노트북으로 완전한 훈련 파이프라인을 제공한다.

모델 아키텍처는 6개 레이어, 384 숨겨진 차원, 6개 어텐션 헤드, 4096 BPE 어휘를 사용한다. 최신 최적화 기법보다는 교육적 명확성을 우선시해 GQA나 RoPE 같은 고급 기능은 제외했다.

모델은 소문자만 사용하며 물의 온도, 먹이, 빛 같은 물고기의 감각적 경험에만 집중하는 특별한 성격을 보인다. 이런 행동 패턴은 명시적 시스템 프롬프트 없이 순전히 훈련 데이터에서 나온다.

훈련 데이터는 60개 대화 주제에 걸친 6만 개의 합성 데이터셋으로 구성되어 있으며, 진짜 대화보다는 템플릿 기반 랜덤 구성을 사용했다.

현재 깃허브에서 235개의 스타와 15개의 포크를 기록하고 있는 이 프로젝트는 MIT 라이선스로 학술적, 상업적 재사용이 모두 가능하다. 허깅페이스와 구글 코랩에서 사전 훈련된 모델과 훈련 노트북을 모두 제공한다.

전문가들은 이 프로젝트가 엔터프라이즈급 인프라 없이도 의미 있는 자연어 처리 시스템 구축이 가능함을 증명했다고 평가했다.