책상 위 AI 슈퍼컴,
그 영상이 무슨 뜻인가
엔비디아 DGX 스파크를 쉬운말로 푼다. 결론부터: AI의 벽은 속도가 아니라 메모리다. 이 상자가 대단한 이유도, 두 대를 케이블 하나로 잇는 이유도 전부 그 한 문장에서 나온다.
DGX 스파크 영상을 봤는데 뭐가 대단한 건지, 나랑 무슨 상관인지 모르겠는 순간.
벽이 어딘지 모르면 비싼 장비를 사고도 못 쓴다. 아래 계산기로 직접 검산: 2,000억(200B) 모델은 4비트로 100GB라 게임용 그래픽카드(보통 16~32GB)에는 애초에 올라가지 않는다.
아래 계산기에 내가 쓰고 싶은 모델 크기를 넣어 몇 대가 필요한지 눈으로 확인한다.
첫 번째 문장 · 모델은 메모리에 통째로 올라가야 돈다
AI 모델의 실체는 숫자 덩어리(무게값)다. 질문에 답하려면 그 덩어리 전체가 메모리 위에 올라와 있어야 한다. 절반만 올리면 느려지는 게 아니라, 사실상 못 쓴다. 그래서 "얼마나 빠른 칩인가"보다 먼저 물을 것이 "메모리에 올라가긴 하나"다.
✦ 읽는 법: 같은 덩어리를 어느 상자에 넣을 수 있느냐의 문제다. 데이터센터가 하던 일을 책상 위 상자가 하게 된 건, 이 상자의 메모리가 128GB로 통짜(CPU·GPU 공용)라서다.
칠판 · 올라가나 계산기
공식은 하나다: 필요한 메모리(GB) = 파라미터 수(B) × 비트 ÷ 8. 비트는 숫자 하나를 얼마나 잘게 저장하느냐다(잘게 쓸수록 자리를 덜 먹는다).
점 하나 = 1GB. 켜진 점이 지금 모델이 차지한 메모리다. 왼쪽 상자가 다 차면 오른쪽 상자에 불이 붙고, 케이블 위로 신호가 오가기 시작한다. 드래그로 돌려볼 수 있다.
필요한 메모리 35 GB
✦ 검산: 엔비디아의 공식 주장(1대 200B · 2대 405B, 4비트 기준)을 이 공식에 넣으면 200×0.5=100GB≤128, 405×0.5=202.5GB≤256으로 정확히 들어맞는다. ✦ 정직 단서: 실제로는 대화 기록과 작업 공간이 메모리를 더 먹어서, 꽉 채우지 말고 여유를 둬야 한다.
그 영상에서 벌어진 일 · 두 대 잇기 3단계
NVIDIA Sync로 두 대를 연결하는 공식 영상의 과정이 정확히 이 순서다.
- 케이블 하나를 꽂는다. 두 상자 뒤에 데이터센터급 통신 포트(200GbE)가 내장돼 있어, 전용 케이블 하나로 직결한다. 공유기·스위치가 필요 없다.
- 두 컴퓨터가 서로를 믿게 만든다. 영상의 "SSH Setup" 화면이 이 절차다. 열쇠 한 쌍을 만들고(Create keypair), 공개 열쇠를 서로 나눠 갖고(Share public key), 아는 컴퓨터 목록에 올리고(Known hosts), 연결을 시험한다(Test connection). 예전엔 엔지니어가 명령어로 하던 일을 Cluster Assistant가 체크리스트로 대신 해준다. 영상에서 초록 체크가 여섯 개 켜진 게 그 증거다.
- 모델을 반씩 나눠 싣는다. 한 대에 안 들어가는 큰 모델을 두 대의 메모리에 나눠 올리고, 한 질문을 두 뇌가 반씩 맡아 동시에 계산한다(텐서 병렬). 엔비디아의 공식 시연이 이 방식으로 라마 3.1 405B를 돌린 것이다.
이게 왜 일반인·소기업의 문인가
핵심은 성능 자랑이 아니라 절차의 이동이다. 큰 모델을 돌리는 일은 원래 데이터센터를 빌리고 엔지니어를 쓰는 일이었다. 그 일이 콘센트, 케이블 하나, 화면의 체크리스트로 내려왔다.
- 데이터가 밖에 못 나가는 일: 병원 기록, 법률 문서, 고객 정보. 내 책상 위에서 돌면 애초에 유출 경로가 없다.
- 매달 나가는 클라우드 요금이 부담인 일: 하루 종일 돌리는 작업이라면 한 번 사는 쪽이 싸질 수 있다. 가끔 쓰면 임대가 낫다. 갈림길은 "얼마나 자주, 얼마나 오래 돌리나"다.
- 시작은 1대, 부족하면 2대: 위 계산기에서 본 대로, 벽에 닿으면 케이블 하나로 메모리를 두 배로 늘리는 길이 열려 있다.
✦ 판단은 각자의 몫이고, 이 페이지 몫은 벽이 어디인지 보여주는 것까지다. 가격(발표가 3,999달러, 판매점별 상이)과 사양의 정본은 아래 공식 문이다.