대규모 AI 모델을 실행한다는 것은 보통 남의 하드웨어를 임대하고, 남이 정한 가격을 받아들이며, 자신이 의존하는 모델이 어느 날 조용히 바뀌지 않기만을 바라는 것을 의미합니다. Mesh LLM은 전혀 다른 전제를 바탕으로 만들어졌습니다. 이미 보유한 여러 대의 머신에 분산된 AI 연산을 수행해 기존 방식을 완전히 대체하고, 이를 모두 하나의 익숙한 API로 노출한다는 전제입니다.
Summary
핵심 요약
- Mesh LLM은 여러 대의 머신에 있는 GPU와 메모리를 하나의 분산 AI 컴퓨팅 메쉬로 풀링하여, localhost:9337/v1에서 하나의 OpenAI 호환 API를 통해 접근할 수 있게 합니다.
- 모델은 로컬에서 실행되거나, 피어로 라우팅되거나, “Skippy”라 불리는 파이프라인 모드를 사용해 여러 머신에 걸쳐 분할 실행될 수 있으며, 클라이언트는 이 차이를 전혀 알 필요가 없습니다.
- 네트워킹은 iroh 엔드포인트에 의존하며, 중앙 서버 없이도 공개키 인증을 사용하는 NAT 우회 QUIC 연결을 설정합니다.
- 모델 카탈로그에는 10억 미만 파라미터 모델부터 2,350억 파라미터 Mixture-of-Experts 아키텍처까지 40개가 넘는 모델이 포함되어 있습니다.
- 공개 메쉬 참여와 프라이빗 배포 모두 지원하며, iroh의 Swift SDK를 사용하는 모바일 앱도 개발 중입니다.
Mesh LLM은 GPU 풀링을 통해 분산 AI 컴퓨팅을 가능하게 합니다
핵심 아이디어는 겉보기에는 매우 단순합니다. Mesh LLM은 여러분이 원하는 만큼 많은 머신 — 한 방의 워크스테이션, 다른 방의 서버, 사무실 반대편의 머신 — 에 흩어져 있는 GPU와 메모리를 풀링하고, 이를 하나의 일관된 컴퓨트 표면으로 제공합니다. 여기에 연결되는 클라이언트 애플리케이션을 위해 별도의 재구성이 필요하지 않습니다.
이것이 중요한 이유는 하드웨어가 이미 존재하기 때문입니다. AI 워크로드를 운영하는 팀은 종종 GPU를 사무실 곳곳, 책상 아래, 작은 서버룸 등에 분산해 두고 있습니다. 지금까지 부족했던 것은 이 머신들이 하나처럼 동작하게 만드는 레이어였습니다.
OpenAI 호환 API 추상화
Mesh LLM이 노출하는 인터페이스는 의도적으로 익숙한 형태입니다. 어떤 OpenAI 호환 클라이언트든 http://localhost:9337/v1 를 가리키도록 설정해, 호스팅 클라우드 서비스에 요청을 보내듯이 똑같이 요청을 보낼 수 있습니다. 클라이언트 입장에서는 아무것도 바뀌지 않습니다. 실제 연산이 어디에서 수행되는지 — 로컬인지, 피어 머신인지, 여러 머신에 분산되는지 — 는 완전히 투명합니다.
이는 의미 있는 설계 선택입니다. 기존 도구, 워크플로, 통합 코드를 다시 작성할 필요가 없다는 뜻이기 때문입니다. 메쉬의 분산 특성은 클라이언트가 신경 쓸 필요가 없는 구현 세부사항으로 남습니다.
“Skippy” 파이프라인을 포함한 유연한 실행 모드
요청이 도착하면 Mesh LLM은 이를 처리하는 세 가지 방법을 가집니다. 수신 머신의 GPU에서 모델을 로컬로 실행하거나, 이미 대상 모델이 로드된 피어로 요청을 라우팅하거나, 어떤 단일 머신에도 올려둘 수 없을 만큼 큰 모델의 경우 여러 노드에 순차적으로 워크로드를 분할할 수 있습니다. 이 세 번째 경로를 “Skippy” 모드라고 부릅니다.
Skippy는 대형 모델을 어떻게 여러 머신에 분할하나요
Skippy는 모델을 레이어 범위별로 나누어 파이프라인 스테이지로 분할합니다. 예를 들어 레이어 0부터 15까지는 한 노드에서, 16부터 31까지는 다음 노드에서 실행하는 식으로 체인을 따라 이어집니다. 활성화 값은 메쉬를 가로질러 스테이지에서 스테이지로 흐릅니다. 실질적인 결과는, 개별적으로는 메모리에 모델을 올릴 수 없는 소규모 머신들의 클러스터가 함께라면 그 모델을 실행할 수 있게 된다는 점입니다.
이 지점에서 Mesh LLM의 아키텍처적 야심이 분명해집니다. 2,350억 파라미터 Mixture-of-Experts 모델은 대부분의 팀이 단일 소비자용 또는 프로슈머용 GPU에서 실행할 수 있는 종류의 것이 아닙니다. Skippy는 이미 비용을 지불했고 놀고 있는 하드웨어를 사용해 바로 그런 시도를 가능하게 합니다. 이런 구성이 지니는 지연 시간과 처리량 특성은 여기서 수치로 제시되지는 않지만, 그 자체로 셀프 호스팅 AI가 도달할 수 있는 범위를 의미 있게 확장하는 능력입니다.
iroh 엔드포인트를 사용하는 보안 P2P 네트워킹 아키텍처
메쉬를 조정하는 중앙 서버는 존재하지 않습니다. 모든 노드는 iroh 엔드포인트를 부팅합니다. 이는 노드의 정체성이자 유일한 네트워크 표면이 되는 공개키입니다. 이 기반 위에서 iroh는 홀 펀칭, NAT 우회, 그리고 릴레이 폴백을 처리해, 어디에 있든 두 노드 사이에 직접적이고 인증된 QUIC 연결을 설정합니다.
트래픽 분리를 위한 QUIC ALPN 프로토콜
프로토콜 스택은 의도적으로 분리되어 있습니다. 세 가지 서로 다른 QUIC ALPN 식별자가 서로 다른 유형의 트래픽을 구분합니다.
- mesh-llm/1 — 가십, 라우팅, HTTP 터널, 플러그인 이벤트를 전달하는 메인 메쉬 채널
- mesh-llm-control/1 — 구성 동기화와 소유권 증명을 처리하는 오너 컨트롤 플레인
- skippy-stage/2 — 파이프라인 스테이지 간 활성화 데이터 흐름을 위한 전용 저지연 트랜스포트
메인 연결 내부에서 모든 스트림은 선행 바이트로 타입이 태깅됩니다. 가십, 추론 프록시, 경로 쿼리, 피어 라이프사이클 이벤트, 플러그인 RPC 채널 등 다양한 타입이 모두 하나의 연결 위에서 멀티플렉싱됩니다. 그 결과, 각 관심사마다 별도의 연결을 두는 오버헤드 없이도 깔끔한 트래픽 분리가 이루어집니다.
노드 아이덴티티와 NAT 우회
공개 인터넷을 통해 서로 직접 도달할 수 없는 노드를 지원하기 위해, Mesh LLM은 서로 다른 지리적 지역에 두 개의 iroh 릴레이 서버를 운영합니다. 직접 경로를 설정할 수 있는 노드는 그렇게 하고, 그렇지 못한 노드는 항상 가까운 폴백을 사용할 수 있습니다. 다시 말해 네트워킹 레이어는 방화벽 설정이나 고정 주소 지정에 세심한 주의를 기울이지 않아도 그냥 동작하도록 설계되어 있습니다.
이 아키텍처가 실제로 제공하는 것은 일종의 네트워킹 균질성입니다. 요청이 localhost로 라우팅되든, Skippy 파이프라인을 통해 다른 대륙의 머신으로 활성화를 스트리밍하든, 그 밑바탕에 있는 원시 연산은 동일합니다. 공개키로 주소 지정되는 인증된 QUIC 연결입니다. 물리적 토폴로지의 복잡성은 일관된 추상화 뒤로 사라집니다.
노트북급부터 2,350억 파라미터 거대 모델까지 아우르는 모델 카탈로그
Mesh LLM은 기본으로 40개가 넘는 모델을 제공합니다. 범위는 노트북에서도 실행 가능한 5억 파라미터급 소형 모델부터, 상단에는 2,350억 파라미터 Mixture-of-Experts 아키텍처까지 이어집니다. 아키텍처는 플러그형으로 설계되어 있으며, 플러그인은 매니페스트에서 자신의 기능을 선언하고, 런타임은 MCP, HTTP, 추론, 메쉬 이벤트를 통해 호출을 라우팅하고 기능을 노출합니다.
실질적인 의미는 사용자가 시작하기 위해 별도로 모델을 구해 설정할 필요가 없다는 것입니다. 카탈로그는 경량·고속 추론이 필요한 소규모 하드웨어부터, 메쉬 전반에 분산된 대규모 워크로드까지 전체 활용 사례 스펙트럼을 포괄합니다.
분산 컴퓨팅이라는 반(反) 흐름
Mesh LLM의 설계는 뚜렷한 배경 위에 놓여 있습니다. 중앙집중식 AI 인프라는 실제 마찰에 직면해 있습니다. 5월 조사에 따르면 미국인의 70% 이상이 자신들의 커뮤니티 인근에 새로운 데이터 센터 건설에 반대했으며, 그 이유로 오염, 소음, 에너지 및 물 소비에 대한 우려를 들었습니다. 태양광 및 가정용 에너지 기업 Sunrun은 최근 고객의 집에 소형 컴퓨트 노드를 배치해, 그 분산 컴퓨트 파워를 엔터프라이즈 AI 구매자에게 판매하려는 파일럿 프로그램을 시작했습니다. 이는 업계 스스로가 대형·집중형 데이터 센터의 대안을 모색하고 있음을 보여주는 신호입니다.
Mesh LLM은 같은 압력을 다른 각도에서 접근합니다. 새로운 분산 인프라를 처음부터 구축하는 대신, 이미 존재하는 컴퓨트를 활성화합니다. 팀이 보유하고 있지만, 이를 하나로 묶어주는 일관된 레이어가 없어서 충분히 활용하지 못하던 GPU들을 말입니다. 중앙 제공자에 대한 락인 제거, 비용 절감, 모델이 어디에서 실행되고 데이터가 어디로 가는지에 대한 사용자 통제권 유지에 초점을 맞추는 것은, 기존 클라우드 API가 제공하지 못하는 실제 공백을 반영합니다.
iroh의 Swift SDK 위에 구축된 모바일 앱이 개발 중이며, 새로 떠오르는 ACP 에이전트 표준 지원도 계획되어 있습니다. 이를 통해 다른 클라이언트가 직접 메쉬에 참여할 수 있어, 온라인에 합류하는 모든 노드의 네트워크 효과를 확장하게 됩니다. 장기적인 방향성은 분명합니다. 더 많은 P2P 실행, 더 적은 중개자, 그리고 누구의 중앙 서버도 거치지 않는 에이전트 상호운용성을 위한 개방형 표준입니다.
FAQ
Mesh LLM은 어떻게 분산 AI 컴퓨팅을 가능하게 하나요?
Mesh LLM은 여러 대의 머신에서 GPU와 메모리를 메쉬 네트워크로 풀링한 뒤, 전체 분산 구성을 단일 OpenAI 호환 API로 노출합니다. 클라이언트는 localhost:9337/v1에 연결해 평소처럼 상호작용하고, 메쉬는 요청을 로컬에서 실행할지, 피어로 라우팅할지, 여러 머신에 분할할지를 결정합니다.
Mesh LLM은 AI 모델을 위해 어떤 실행 모드를 지원하나요?
모델은 머신의 GPU에서 로컬로 실행되거나, 이미 해당 모델이 로드된 피어로 라우팅되거나, “Skippy” 파이프라인 모드를 사용해 여러 머신에 분할될 수 있습니다. 이 모드에서는 모델이 레이어 범위별로 분할되고, 활성화 값이 메쉬를 가로질러 스테이지에서 스테이지로 흐릅니다.
Mesh LLM에서는 보안 네트워킹이 어떻게 처리되나요?
각 노드는 중앙 서버에 의존하지 않고 NAT 우회와 릴레이 폴백을 갖춘 공개키 인증 QUIC 연결을 설정하는 iroh 엔드포인트를 실행합니다. 두 개의 지역 iroh 릴레이가 직접 연결할 수 없는 노드를 위한 폴백 경로를 제공합니다.
Mesh LLM을 통해 어떤 모델을 사용할 수 있나요?
Mesh LLM은 40개가 넘는 모델을 제공하며, 노트북에 적합한 5억 파라미터급 소형 모델부터, 다중 머신 Skippy 배포를 염두에 둔 2,350억 파라미터급 대형 Mixture-of-Experts 모델까지 포함합니다.
{“@context”:”https://schema.org”,”@type”:”FAQPage”,”mainEntity”:[{“@type”:”Question”,”name”:”Mesh LLM은 어떻게 분산 AI 컴퓨팅을 가능하게 하나요?”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”Mesh LLM은 여러 대의 머신에서 GPU와 메모리를 메쉬 네트워크로 풀링한 뒤, 전체 분산 구성을 단일 OpenAI 호환 API로 노출합니다. 클라이언트는 localhost:9337/v1에 연결해 평소처럼 상호작용하고, 메쉬는 요청을 로컬에서 실행할지, 피어로 라우팅할지, 여러 머신에 분할할지를 결정합니다.”}},{“@type”:”Question”,”name”:”Mesh LLM은 AI 모델을 위해 어떤 실행 모드를 지원하나요?”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”모델은 머신의 GPU에서 로컬로 실행되거나, 이미 해당 모델이 로드된 피어로 라우팅되거나, “Skippy” 파이프라인 모드를 사용해 여러 머신에 분할될 수 있습니다. 이 모드에서는 모델이 레이어 범위별로 분할되고, 활성화 값이 메쉬를 가로질러 스테이지에서 스테이지로 흐릅니다.”}},{“@type”:”Question”,”name”:”Mesh LLM에서는 보안 네트워킹이 어떻게 처리되나요?”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”각 노드는 중앙 서버에 의존하지 않고 NAT 우회와 릴레이 폴백을 갖춘 공개키 인증 QUIC 연결을 설정하는 iroh 엔드포인트를 실행합니다. 두 개의 지역 iroh 릴레이가 직접 연결할 수 없는 노드를 위한 폴백 경로를 제공합니다.”}},{“@type”:”Question”,”name”:”Mesh LLM을 통해 어떤 모델을 사용할 수 있나요?”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”Mesh LLM은 40개가 넘는 모델을 제공하며, 노트북에 적합한 5억 파라미터급 소형 모델부터, 다중 머신 Skippy 배포를 염두에 둔 2,350억 파라미터급 대형 Mixture-of-Experts 모델까지 포함합니다.”}}]}
이 기사는 인공지능의 도움을 받아 제작되었으며, 편집팀의 검수를 거쳤습니다.
