사이프러스, 자연어로 테스트 작성하는 'cy.prompt()' 공개...AI 기반 테스트 자동화 혁신

자연어 명령만으로 테스트 코드 자동 생성, 자가 치유 기능으로 유지보수 부담 대폭 감소

[한국정보기술신문] 테스트 자동화 플랫폼 사이프러스가 AI 기반 실험 기능 cy.prompt()를 공식 출시했다. CypressConf 2025에서 창립자 브라이언 만이 직접 발표한 이 기능은 개발자가 자연어로 테스트를 작성할 수 있도록 지원하며, 테스트 자동화의 새로운 패러다임을 제시한다.

cy.prompt()는 사용자가 평범한 언어로 테스트 시나리오를 설명하면, 이를 cy.visit(), cy.get(), cy.click() 같은 실제 사이프러스 명령어로 자동 변환해 브라우저에서 실행한다. 예를 들어 여행 사이트 방문, 목적지 입력, 검색 결과 클릭, 일정 선택, 버튼 누르기 등의 단계를 자연어로 나열하면 즉시 실행 가능한 테스트가 완성된다.

사이프러스는 기존 AI 기반 테스트 도구들이 앱 동작을 추측하고, 실제 브라우저 검증 없이 스크립트를 생성하며, 불투명한 과정으로 테스트 의도를 가린다는 문제를 지적했다. 이는 불안정성과 느린 실행 속도, 낮은 디버깅 가능성으로 이어진다는 것이 회사 측 설명이다.

별도 도구 없이 기존 환경에서 즉시 사용

cy.prompt()는 별도의 플러그인이나 외부 애플리케이션 없이 사이프러스 앱에 직접 통합됐다. 사용자는 사이프러스 v15.4.0 이상 버전에서 설정 파일에 experimentalPromptCommand 플래그를 추가하고 사이프러스 클라우드 계정에 로그인하기만 하면 된다. 새로운 프레임워크를 배우거나 추가 서비스를 연동할 필요가 없다.

특히 주목할 점은 명령 로그에서 생성된 모든 단계를 확인할 수 있다는 점이다. 각 프롬프트 단계는 명령 로그에 표시되며, 클릭이나 마우스 오버로 테스트 실행의 모든 단계에서 정확히 무슨 일이 일어났는지 검사할 수 있다. 신비로운 블랙박스가 백그라운드에서 작동하는 것이 아니라, 직접 코드를 작성한 것처럼 선택한 모든 선택자와 수행한 모든 작업을 볼 수 있다.

자가 치유 기능으로 유지보수 부담 줄여

cy.prompt()는 UI 변경에도 자동으로 적응하는 자가 치유 기능을 제공한다. 정적 선택자에만 의존하지 않고 AI를 사용해 각 동작의 의도를 이해하고 더욱 적응력 있는 방식으로 요소를 찾는다. 마크업이 변경되면 사이프러스가 수동 편집 없이 선택자를 자동으로 업데이트한다.

이는 테스트 유지보수를 크게 줄여 새로운 테스트와 기능 구축에 집중할 수 있게 한다. 자가 치유는 완전한 가시성을 가지고 실행되며 모든 조정이 명령 로그에 표시된다. 이전 선택자로 로그인 버튼을 찾을 수 없지만 설명과 일치하는 새 버튼을 발견해 클릭했다는 것을 알려주는 스마트 어시스턴트와 같다.

대규모 CI 테스트 스위트의 경우 영향은 획기적이다. 중단된 빌드가 줄어들고 수동 트리아지가 감소하며 더 안정적인 배포 파이프라인을 확보할 수 있다.

테스트 자동화를 팀 전체로 확장

cy.prompt()의 가장 흥미로운 측면 중 하나는 테스트 자동화를 훨씬 더 광범위한 사용자에게 개방한다는 점이다. 의미 있는 테스트를 작성하기 위해 더 이상 깊은 자바스크립트나 사이프러스 전문 지식이 필요하지 않다. 사용자 여정을 이해한다면 자동화된 테스트 케이스로 전환할 수 있다.

제품 관리자가 새 기능에 대한 승인 기준을 작성하면 해당 설명이 사이프러스 테스트로 바로 들어갈 수 있다. BDD 스타일 Given/When/Then 시나리오를 테스트 스위트에 직접 작성하는 것과 같다. 실제로 cy.prompt()를 사용하면 BDD 스타일 또는 거킨과 유사한 문장을 테스트 단계로 사용할 수 있어 엔지니어부터 이해관계자까지 모든 사람이 검증되는 동작에 대해 일치할 수 있다.

자동화 장벽을 낮춤으로써 cy.prompt()는 테스트를 팀 스포츠로 만든다. QA 전문가, 제품 소유자, 지원 엔지니어 등 기능을 아는 사람이면 누구나 테스트 작성을 도울 수 있다. 이는 커버리지를 증가시킬 뿐만 아니라 협업을 촉진한다.

코드 추출 옵션으로 유연성 확보

사이프러스의 AI 접근 방식의 중요한 설계 원칙은 사용자를 운전석에 유지하는 것이다. cy.prompt()를 통해 생성된 테스트 단계를 일반 테스트 스크립트로 추출할 수 있는 옵션을 제공한다. 사용자는 다른 코드처럼 편집하고 커밋하며 유지 관리할 수 있다.

테스트 작성 속도를 높이기 위해서만 cy.prompt()를 활용하려면 코드를 추출할 수 있다. 명령의 모든 기능을 실현하려면 cy.prompt()가 포함된 테스트 코드를 커밋하고 실행 시 자가 치유를 실현할 수 있다. 이를 통해 팀은 신뢰나 추적성을 잃지 않으면서 기존 프로세스에 깔끔하게 맞는 방식으로 AI 지원 테스트를 활용할 수 있다.

cy.prompt()는 현재 실험 단계의 공개 기능으로 제공되며, 이 실험 단계 동안 무료로 사용할 수 있다. 무료 등급을 포함한 사이프러스 클라우드 계정만 있으면 된다. 가입하면 전체 엔터프라이즈 기능 세트의 무료 평가판을 받을 수 있다.

브라이언 만은 CypressConf 창립자 세션에서 AI 지원 테스트의 다음 단계인 스튜디오 AI도 처음 공개했다. 얼리 액세스에 관심이 있는 사용자는 사이프러스 웹사이트에서 대기자 명단에 등록할 수 있다.

한국정보기술신문 인공지능분과 이준 기자 news@kitpa.org