신뢰할 수 있는 AI 해양 에이전트를 구축하는 일은, 모델 선택보다는 시스템 설계에 훨씬 더 가깝다. 이것이 바로 Skylight가 실시간 해양 도메인 인식을 위해 특별히 구축한 AI 에이전트 Shippy를 개발하면서 얻은 핵심 교훈이다. 이 영역에서는 잘못된 답변이 단순히 사용자를 좌절시키는 수준을 넘어, 순찰 선박을 수 마일이나 잘못된 방향으로 보내고, 제한된 자원을 소모시키며, 잠재적으로 인력을 위험에 빠뜨릴 수 있다.
Summary
핵심 요약
- Shippy는 Skylight가 실시간 해양 도메인 인식을 위해 구축한 AI 에이전트로, 선박 행동, EEZ 및 MPA 경계, 선박 항적에 대한 질의를 지원한다.
- 아키텍처는 세 가지 구성 요소로 구조화되어 있다: 소울(시스템 프롬프트), 스킬(작업 처리), 그리고 설정(Claude Opus 4.6 사용을 포함한 런타임 설정).
- Shippy는 목적에 맞게 설계된 결정적 CLI를 통해 Skylight의 API와 통신하며, 모델이 직접 원시 API 호출을 구성할 때 나타났던 오류 패턴을 제거한다.
- 각 사용자 세션은 Mothership이 프로비저닝하는 전용 Kubernetes 샌드박스에서 실행되며, Skylight의 수백 개 정부 및 NGO 고객 간에 완전한 데이터 격리를 보장한다.
- 평가는 작업 및 루브릭 기반 프레임워크에 의존하며, LLM 판사가 실시간 데이터에 대해 응답을 채점한다. 이는 정적 벤치마크에서 의도적으로 벗어난 접근이다.
왜 해양 도메인 인식이 신뢰성 기준을 높이는가
대부분의 AI 도구는 미흡한 답변이 그저 도움이 되지 않는 정도에 그치는 환경에서 작동한다. 해양 작전은 다르다. Skylight는 수산 단속부터 보전 모니터링에 이르기까지, 70개국 이상에서 수백 개의 정부 기관과 NGO를 지원한다. 그런 맥락에서 분석가가 선박이 해양보호구역(MPA) 내에서 불법적으로 운영되고 있는지를 묻는다면, 환각이나 부정확한 응답이 초래하는 위험은 즉각적이고 작전과 직결된다.
이러한 맥락이 Shippy 뒤에 있는 모든 아키텍처적 결정을 형성했다. Skylight 팀이 계속해서 되돌아온 질문은 “모델이 무엇을 할 수 있는가?”가 아니라 “어떻게 하면 올바른 답을 내고, 한계를 지키며, 다양한 작업 전반에서 견고하게 작동하는 시스템을 구축할 수 있는가?”였다. 이 모든 것은 새로운 위성 및 선박 신호가 도착할 때마다 지속적으로 업데이트되는 Skylight의 실시간 데이터에 대해 검증되어야 했다.
Shippy의 아키텍처: 소울, 스킬, 설정
Skylight는 Shippy AI 해양 에이전트를 소울, 스킬, 설정이라는 세 개의 뚜렷한 계층으로 설명한다. 이 구분은 처음 생각하는 것보다 훨씬 중요하다.
소울은 시스템 프롬프트로, Shippy의 페르소나를 정의하고 엄격한 행동 한계를 설정한다. Shippy가 무엇을 할지, 그리고 결정적으로 무엇을 하지 않을지를 규정한다. 소울은 명시적이고 감사 가능하다. 예를 들어 Shippy는 선박이 법을 위반하고 있는지에 대한 법적 판단을 내리지 않으며, 데이터가 뒷받침하지 않는 추측을 하지 않는다. 이는 파인튜닝에 은연중에 녹아 있는 느슨한 가드레일이 아니라, 시스템 프롬프트에 직접 명시되어 있어 쉽게 점검하고 수정할 수 있다.
스킬은 Shippy가 특정 요청 유형을 어떻게 처리할지 알려준다. 이들은 Claude Code와 Codex 같은 코딩 도구에서 사용하는 것과 동일한 에이전트-스킬 명세를 따른다. 구조화된 프론트매터를 가진 일반 마크다운 파일로, 각 스킬을 버전 관리 가능하고 이해하기 쉽게 유지한다. Shippy의 현재 스킬 세트에는 다음이 포함된다.
- Skylight API를 질의해 선박 행동 및 이벤트(어업, 선박 간 환적)를 조회
- 배타적 경제 수역(EEZ) 및 해양보호구역(MPA) 경계 조회
- Skylight 자체 모델이 이미 생성한 활동 분류를 기반으로 선박 항적 데이터와 위치 신호 해석
- 분석가가 채팅 응답에서 Skylight 지도상의 정확한 위치로 바로 이동할 수 있도록 인터랙티브 지도 링크 생성
단일 사용자 질문이 여러 스킬을 동시에 활성화할 수 있다. 예를 들어 선박이 Cordillera de Coiba MPA 인근에서 운영 중인지 묻는다면, Shippy는 Skylight의 데이터 질의 스킬, ProtectedSeas의 경계 데이터베이스, 그리고 선박 항적 해석 스킬을 모두 하나의 대화 턴 안에서 활용한다.
설정과 모델 선택의 문제
설정 계층은 런타임과 관련된 모든 것을 처리한다. 어떤 에이전트 하네스를 실행할지, 어떤 LLM을 사용할지, 그리고 API 키 같은 주입되는 시크릿을 관리한다. Shippy는 현재 대형 언어 모델로 Claude Opus 4.6을 사용해 실행된다. 중요한 점은, 기반 모델을 교체하는 일이 재구축이 아니라 설정 변경이라는 것이다. 소울과 스킬은 독립적으로 Docker 이미지에 포함되어 있어, 시스템이 발전함에 따라 서로 다른 질의 유형을 서로 다른 모델로 라우팅할 수 있는 유연성을 팀에 제공한다.
비결정적 에이전트를 위한 결정적 도구
초기 단계에서 얻은 더 교훈적인 경험 중 하나는 Shippy가 직접 원시 API 호출을 구성하도록 허용했을 때였다. 그 결과는 미묘한 실패의 꾸준한 흐름이었다. 결과를 조용히 누락시키는 잘못된 페이지네이션, 기하 정보 인코딩 오류, 겉보기에는 올바르지만 필터 유형을 잘못 이해해 잘못된 데이터를 반환하는 질의 등이었다. Skylight API는 수십 개의 입력 유형, 중첩된 필터 객체, 페이지네이션 커서, 복잡한 기하 입력을 가지고 있어, 모델이 오류를 만들어내기 쉬운 표면적을 제공한다.
해결책은 목적에 맞게 설계된 결정적 CLI였다. Shippy는 원시 API 호출을 구성하는 대신, 예를 들어 형식화된 필터 플래그와 함께 skylight events search라는 단일 명령을 내리고, CLI가 인증, 페이지네이션, 구조화된 출력을 처리한다. CLI는 자체 문서화되어 있으며, 상세한 도움말 텍스트와 오류 메시지를 제공해 에이전트가 추측 없이 실수를 복구할 수 있게 한다. 결과는 항상 셸을 통해 파이프 처리되는 대신 로컬 JSON 파일에 기록되어, 초기 프로토타입에서 대용량 결과 집합으로 인해 발생했던 파이프 버퍼 한계 문제를 피한다.
타입이 지정된 API, 결정적 CLI, CLI 명령을 참조하는 에이전트 스킬이라는 계층화된 설계 덕분에 각 구성 요소를 독립적으로 테스트할 수 있다. 각 계층은 다음 계층이 틀릴 수 있는 범위를 좁힌다. 이는 고위험 도메인에서 연구용 프로토타입과 실제 운영 시스템을 가르는 아키텍처적 규율에 해당한다.
Kubernetes 샌드박싱과 데이터 격리 과제
Skylight의 사용자 기반은 민감하고 관할 구역별로 특화된 데이터를 가진 정부 기관 전반에 걸쳐 있다. 필리핀의 수산 단속 담당자는 자신의 계정에 한정된 감시 목록, 관심 지역, 경보 구성을 가지고 있다. 이들의 데이터가 다른 사용자의 세션으로 절대 새어 나가지 않도록 하고, 대화 기록이 완전히 비공개로 유지되도록 하는 일은 이 프로젝트에서 가장 중요한 엔지니어링 과제 중 하나였다.
해결책은 Skylight의 에이전트 호스팅 플랫폼인 Mothership이다. Mothership은 각 사용자 세션마다 전용 Kubernetes 배포를 프로비저닝한다. 대화가 시작되면, 시스템은 에이전트 런타임, 스킬, Skylight CLI를 패키징한 일련의 파드를 기동한다. 사용자의 JWT 토큰은 프로비저닝 시점에 주입되어, 모든 API 호출이 해당 사용자의 데이터로 범위가 한정된다. 에이전트가 다단계 분석 중에 작성하는 파일은 해당 세션 내에서만 존재하며, 사용자 간에 절대 공유되지 않는다.
샌드박스 내부에서 에이전트는 상당한 운영 능력을 유지한다. 코드를 작성하고 실행할 수 있고, 의존성을 설치하며, 데이터셋을 가져오고, 다단계 분석을 수행할 수 있다. 네트워크 수준에서는 샌드박스가 필요한 서비스에만 접근하도록 제한된다. 이러한 격리는 세션 범위이며, 일시적이고, 애플리케이션 로직에만 의존하지 않고 인프라 수준에서 강제된다.
실제 운영 환경에서 에이전트 평가하기
표준 AI 벤치마크는 정적 질문 집합에 대해 모델을 채점한다. 이들은 에이전트가 실제 워크플로에 연결되었을 때 어떤 일이 일어나는지, 즉 도구를 어떻게 선택하고, 실시간 데이터를 어떻게 질의하며, 결과에 따라 어떻게 행동하고, 언제 멈춰야 하는지 등을 포착하지 못한다. 바로 이런 이유로 Skylight는 맞춤형 평가 시스템을 구축했다.
LLM 판사를 활용한 루브릭 기반 프레임워크
Skylight의 평가 프레임워크에서 주제 전문가들은 시나리오와 루브릭을 작성하며, 각 작업에 어떤 기준이 적용되는지와 그 가중치를 결정한다. 예를 들어 어업 이벤트 질의의 경우, 데이터 정확도가 가장 높은 가중치를 가지며, 그 다음이 경계 해석과 기간, 출처 표기는 상대적으로 낮은 가중치를 가진다. 전문가들은 또한 개별 응답을 정답 또는 오답으로 주석 처리해, 판사가 채점할 수 있는 기준 진실을 제공한다.
파이프라인은 자연어 프롬프트를 실시간 샌드박스를 통해 실행하고, LLM 판사가 각 기준을 0에서 1 사이의 점수로 채점하며, 응답이 기준을 충족했는지 여부와 그 이유를 서면으로 설명한다. 가중 평균 점수는 고정된 합격 임계값과 비교된다. 작업은 Skylight가 구축한 플러그인을 통해 오픈 평가 프레임워크인 Harbor에서 실행되며, 실제 사용자와 동일한 실시간 데이터에 대해 실제 Shippy 세션을 기동한다.
최근 평가 실행 결과는 구체적이고 실행 가능한 실패 양상을 보여준다. 순찰 계획 작업에서는 Shippy가 의사결정 지원 범위를 넘어 전술적 권고까지 제시하는 경향이 나타났다. 기하에 민감한 질의에서는 경계 단순화로 인해 이벤트를 놓치는 문제가 드러났다. 또 한 사례에서는 에이전트가 존재하지 않는 CLI 명령을 생성했다. 각 패턴은 곧바로 스킬 개선 목표에 대응되며, 이는 잘 설계된 평가 시스템이 제공해야 하는 바로 그 산출물이다.
Shippy의 다음 단계와 그 너머
Skylight는 Shippy를 초기 도입자에게 순차적으로 개방하고 있으며, 약한 가드레일과 미흡하게 처리되는 질의를 드러내기 위한 강도 높은 테스트를 명시적으로 요청하고 있다. 다음 개발 주기는 세 가지 영역을 목표로 한다. 에이전트 주도 UI 제어(지도 링크를 반환하는 수준에서 나아가, Skylight 지도를 직접 제어하고 필터를 적용하며 시간 범위를 조정하는 기능), 모델 라우팅(단순 조회는 더 작고 빠른 모델로 보내고, 복잡한 조사는 전체 규모 모델에 할당), 그리고 스레드 간 메모리(분석가의 관할 구역이나 선호 출처 같은 지속적인 사실을 별도 대화 스레드 간에 유지하는 기능)다.
더 넓은 함의는 해양 응용을 훨씬 넘어선다. Mothership은 도메인에 구애받지 않도록 설계되었으며, Skylight의 모회사인 Ai2는 이미 Shippy에서 얻은 교훈을 야생동물 보전 플랫폼 EarthRanger와 지구 관측 오픈 도구 모음인 OlmoEarth에 적용하고 있다. 소울, 스킬, 설정, 결정적 도구, 세션 단위 샌드박싱, 실시간 데이터 평가로 구성된 이 아키텍처는, 잘못된 답변의 비용이 단순한 사용자 좌절을 넘어서는 모든 도메인에서 AI 에이전트를 배포하기 위한 청사진을 제시한다.
FAQ
Shippy는 무엇을 위해 설계되었나요?
Shippy는 실시간 해양 도메인 인식을 위해 Skylight가 개발한 AI 에이전트다. 분석가가 선박 행동을 질의하고, 배타적 경제 수역 및 해양보호구역 경계를 조회하며, 선박 항적 데이터를 해석하고, Skylight의 실시간 데이터 플랫폼과 직접 연결된 인터랙티브 지도 링크를 생성하도록 돕는다.
Shippy는 질의에 대한 신뢰성을 어떻게 보장하나요?
Shippy는 모든 Skylight API 호출을 처리하기 위해 결정적 CLI를 사용해, 모델이 직접 원시 API 호출을 구성했을 때 나타났던 오류 패턴을 피한다. 소울, 스킬, 설정으로 구성된 모듈식 아키텍처와 시스템 프롬프트에 명시된 엄격한 행동 한계를 결합해, 유연성보다 예측 가능하고 감사 가능한 동작을 우선시하는 설계를 구현한다.
Shippy는 정확성과 신뢰성을 어떻게 평가받나요?
Skylight는 주제 전문가가 작업 시나리오와 가중 루브릭을 작성하는 맞춤형 평가 프레임워크를 구축했다. LLM 판사는 각 에이전트 응답을 실시간 데이터에 대해 기준별로 0에서 1 사이 점수로 채점하고, 서면 근거를 제공한다. 가중 평균 점수는 고정된 합격 임계값과 비교되며, 평가 기준에서 성능이 퇴보한 Shippy 버전은 최종 사용자에게 배포되지 않는다.
Shippy는 선박 활동에 대한 법적 판단을 처리하나요?
아니다. Shippy는 선박이 어떤 법을 위반하고 있는지에 대한 법적 판단을 명시적으로 피하며, 데이터가 뒷받침하지 않는 추측을 하지 않는다. 이러한 판단은 인간 분석가에게 맡겨진다. 이러한 한계는 모델 파인튜닝에 암묵적으로 포함된 것이 아니라, 시스템 프롬프트에 직접 명시되어 있어 감사 및 조정이 가능하다.
{“@context”:”https://schema.org”,”@type”:”FAQPage”,”mainEntity”:[{“@type”:”Question”,”name”:”Shippy는 무엇을 위해 설계되었나요?”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”Shippy는 실시간 해양 도메인 인식을 위해 Skylight가 개발한 AI 에이전트다. 분석가가 선박 행동을 질의하고, 배타적 경제 수역 및 해양보호구역 경계를 조회하며, 선박 항적 데이터를 해석하고, Skylight의 실시간 데이터 플랫폼과 직접 연결된 인터랙티브 지도 링크를 생성하도록 돕는다.”}},{“@type”:”Question”,”name”:”Shippy는 질의에 대한 신뢰성을 어떻게 보장하나요?”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”Shippy는 모든 Skylight API 호출을 처리하기 위해 결정적 CLI를 사용해, 모델이 직접 원시 API 호출을 구성했을 때 나타났던 오류 패턴을 피한다. 소울, 스킬, 설정으로 구성된 모듈식 아키텍처와 시스템 프롬프트에 명시된 엄격한 행동 한계를 결합해, 유연성보다 예측 가능하고 감사 가능한 동작을 우선시하는 설계를 구현한다.”}},{“@type”:”Question”,”name”:”Shippy는 정확성과 신뢰성을 어떻게 평가받나요?”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”Skylight는 주제 전문가가 작업 시나리오와 가중 루브릭을 작성하는 맞춤형 평가 프레임워크를 구축했다. LLM 판사는 각 에이전트 응답을 실시간 데이터에 대해 기준별로 0에서 1 사이 점수로 채점하고, 서면 근거를 제공한다. 가중 평균 점수는 고정된 합격 임계값과 비교되며, 평가 기준에서 성능이 퇴보한 Shippy 버전은 최종 사용자에게 배포되지 않는다.”}},{“@type”:”Question”,”name”:”Shippy는 선박 활동에 대한 법적 판단을 처리하나요?”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”아니다. Shippy는 선박이 어떤 법을 위반하고 있는지에 대한 법적 판단을 명시적으로 피하며, 데이터가 뒷받침하지 않는 추측을 하지 않는다. 이러한 판단은 인간 분석가에게 맡겨진다. 이러한 한계는 모델 파인튜닝에 암묵적으로 포함된 것이 아니라, 시스템 프롬프트에 직접 명시되어 있어 감사 및 조정이 가능하다.”}}]}
이 기사는 인공지능의 도움을 받아 제작되었으며, 편집팀의 검수를 거쳤습니다.
