GPU는 CPU보다 빠르지 않다
코어 하나는 오히려 느리다

풀고 있는 식 — 두 줄이 전부다

위 두 판이 계산하는 것은 이 식들입니다. 어려운 데가 없습니다 — 그런데 이 회사의 매출 2,159억 달러가 여기서 나옵니다.

두 항의 싸움입니다. p가 1에 가까울수록 뒷항이 지배하고, 그러면 N이 큰 쪽이 이깁니다. p가 작으면 앞항이 지배하고, 그러면 v가 큰 쪽이 이깁니다. GPU는 N을 사고 v를 팔았습니다. 그 거래가 맞아떨어지는 일감이 하필 신경망의 행렬 곱이었다는 것이 이 회사의 행운이자 실력입니다.

③ 그 조건이 맞아떨어진 결과

일감의 성질이 이 회사 쪽으로 기울자 재무제표가 이렇게 됐습니다. 아래는 2026 회계연도(2026년 1월 25일 종료) 공시 숫자입니다.

셋째 줄이 이 회사의 정체를 말합니다. 매출의 91.5%가 데이터센터입니다 — 게임 그래픽카드 회사로 알던 이름이 이제는 다른 업종입니다. 그리고 다섯째 줄, 총이익률 75%는 소프트웨어 회사의 자리입니다. 칩만 팔아서는 나오지 않는 숫자이고, 그 차이를 만드는 것이 위 두 판이 다루지 않은 세 번째 층 — 그 칩 위에서 도는 소프트웨어입니다.

숫자는 엔비디아가 발표한 실적과 SEC 제출본(8-K)에서 옮겼습니다. 회계연도는 달력과 어긋납니다 — 2026 회계연도는 2026년 1월 25일에 끝났습니다. 주가와는 연결하지 않았습니다.

이 회사가 파는 것 — 다섯 칸, 그리고 아무 칸에도 안 잡히는 하나

“그래픽카드 회사”로 알려져 있지만 실제로는 다섯 가지를 팝니다. 공시가 나누는 대로 적으면 이렇습니다 — 그리고 여섯 번째가 표에 안 보이는데, 그게 위 ①판과 직접 연결됩니다.

2026 회계연도(2026년 1월 25일 종료) 기준. 다섯 줄을 더하면 2,159억 달러로 총매출과 맞습니다.

① 데이터센터 — 팔던 단위가 칩에서 랙으로 바뀌었다

이 부문 하나가 매출의 열에 아홉입니다. 그런데 더 중요한 변화는 금액이 아니라 파는 단위입니다.

지금 주력인 GB300 NVL72는 부품이 아니라 한 대의 기계입니다 — 블랙웰 울트라 GPU 72개와 Arm 기반 그레이스 CPU 36개를 액체로 식히며 랙 하나에 넣고, 그 전체가 GPU 한 개처럼 동작하도록 묶었습니다. 다음 세대인 베라 루빈은 HBM4 메모리 288GB와 6세대 NVLink를 답니다.

부품 회사가 시스템 회사가 된 것입니다. 고객이 사는 것이 “칩 몇 장”에서 “전력과 냉각까지 딸린 기계 한 대”로 바뀌면, 비교 대상이 사라집니다 — 경쟁사가 칩 성능을 따라잡아도 랙을 통째로 내놓지 못하면 같은 물건이 아닙니다.

② 게이밍 — 지금은 AI를 쓰는 쪽이다

비중은 7%로 줄었지만 이 부문이 없었으면 나머지도 없었습니다. CUDA를 세상에 깔아 놓은 것이 게임 시장이기 때문입니다 — 학생 노트북에도 같은 소프트웨어가 돌았기 때문에, 2012년에 연구자들이 연구비 없이도 GPU로 신경망을 돌려 볼 수 있었습니다.

기술적으로도 뒤집혔습니다. 예전에는 화면의 픽셀을 전부 계산해서 그렸습니다. 지금은 일부만 그리고 나머지는 신경망이 채웁니다(DLSS 계열). 게임기 안에서 AI가 그림을 완성하는 구조 — 파는 물건 안에 자기 기술이 들어가 있습니다.

③ 전문 시각화 — 로봇을 가르칠 가상 공장

워크스테이션용 카드가 절반이고, 나머지 절반이 옴니버스입니다. 공장이나 창고를 짓기 전에 통째로 시뮬레이션하는 물건입니다 — 흔히 디지털 트윈이라 부릅니다.

매출 32억은 이 회사 기준으로 작습니다. 그런데 방향이 중요합니다 — 로봇을 실제 공장에서 굴리면 한 번에 한 번이지만, 가상 공장에서는 수만 번을 동시에 굴립니다. 다시 ①판의 이야기입니다: 나눌 수 있는 일감을 하나 더 만든 셈입니다.

④ 자동차 — 굴러다니는 데이터센터

가장 작은 축(24억)이지만 성격이 다릅니다. 차 안에 추론 컴퓨터를 넣는 사업입니다 — 카메라와 센서가 들어오면 그 자리에서 판단해야 하니, 데이터센터에 물어볼 시간이 없습니다.

여기서는 ①판의 셈이 반대로 작동합니다. 데이터센터는 전력을 얼마든지 쓸 수 있지만 차는 못 씁니다. 그래서 같은 회사가 전력 예산이 정반대인 두 물건을 동시에 설계합니다.

다섯 칸 전부를 관통하는 층 — CUDA

표 어디에도 “CUDA 매출”은 없습니다. 공짜로 줍니다. 그런데 위 다섯 칸이 전부 그 위에서 돕니다 — 데이터센터의 학습 코드도, 게임의 신경망 렌더링도, 옴니버스의 시뮬레이션도, 차 안의 추론도.

경쟁사가 칩을 따라 만들어도 즉시 갈아탈 수 없는 이유가 여기 있습니다. 바꾸려면 그 위에 쌓인 20년치 코드와 라이브러리와 사람을 같이 옮겨야 합니다. 총이익률 75%는 실리콘 값이 아니라 이 층의 값입니다 — 2006년의 그 결정이 여기서 회수됩니다.

부문 매출은 공시 구분(데이터센터·게이밍·전문 시각화·자동차·OEM 기타)을 그대로 옮겼습니다. 네트워킹은 별도 부문으로 공시되지 않고 컴퓨트&네트워킹 안에 들어갑니다 — 그래서 표에 줄이 없습니다. 제품명(GB300 NVL72·베라 루빈·RTX 50 등)은 회사 발표 기준이며, 세대는 계속 바뀝니다.

④ 칩 안에는 무엇이 더 들어 있나 — 전용 회로와 자릿수

위 ①②판은 “코어가 많다”까지만 설명합니다. 그런데 엔비디아는 거기서 두 발 더 갔습니다 — 코어 안에 행렬 곱만 하는 전용 회로를 넣었고, 세대마다 다루는 숫자의 자릿수를 줄였습니다. 이 둘이 “세대마다 몇 배 빨라졌다”는 말의 나머지 절반입니다. 아래에서 같은 행렬 곱을 두 방식으로 직접 돌려 보고, 자릿수를 줄이면 숫자가 실제로 얼마나 뭉개지는지 재 봅니다.

텐서 코어 — 행렬 곱만 하는 회로

신경망 계산의 대부분은 행렬 곱입니다. 일반 코어로도 할 수 있습니다 — 다만 한 번에 곱셈 하나씩입니다. 텐서 코어는 4×4 덩어리를 한 명령에 삼킵니다. 2017년 볼타 세대에 처음 들어갔습니다. 아래에서 같은 4×4 곱셈을 두 방식으로 돌립니다.

그래서 요즘 GPU 안에는 세 종류의 계산기가 있습니다 — 일반 코어(CUDA 코어), 행렬 전용(텐서 코어), 그리고 게임용 광선 전용(RT 코어). “코어 수”를 말할 때 어느 것을 세느냐에 따라 숫자가 완전히 달라지는 이유입니다.

자릿수를 줄이는 것이 왜 성능인가

같은 배관으로 처리량을 두 배로 만드는 가장 싼 방법은 숫자를 반으로 줄이는 것입니다. 16자리로 쓰던 것을 8자리로 쓰면 같은 폭에 두 개가 들어갑니다. 대신 숫자가 뭉개집니다. 얼마나 뭉개지는지 아래에서 직접 재 봅니다.

그래서 “몇 배 빨라졌다”는 발표를 볼 때는 어느 자릿수로 잰 숫자인지를 같이 봐야 합니다 — FP4로 잰 값과 FP16으로 잰 값은 같은 칩에서도 네 배 차이 납니다.

세대마다 같은 일이 반복된다

아래 계보를 가로로 훑으면 이야기가 하나입니다 — 전용 회로를 넣고, 자릿수를 줄인다. 세대를 눌러 보세요.

자릿수 그래프는 부동소수점 기준입니다. 정수(INT8·INT4)는 이보다 먼저부터 있었고 쓰임이 다릅니다 — 여기서 세는 것은 학습과 추론에 쓰는 부동소수점 형식입니다.

명령 하나가 삼키는 상자 — 돌려 본다

“4×4를 한 번에”가 왜 상자인지는 돌려 봐야 보입니다. 곱셈 64개는 평면이 아니라 4×4×4 부피입니다 — 깊이 방향이 더해서 합치는 축입니다.

상자는 연산의 모양이지 회로 배치도가 아닙니다. 실제 칩 안의 텐서 코어 배치는 공개돼 있지 않습니다.

그 밖에 이름이 알려진 것들

TensorRT — 학습이 끝난 모델을 추론용으로 다시 깎는 소프트웨어입니다. 같은 모델도 이걸 거치면 훨씬 빨리 답합니다. 젯슨(Jetson) — 로봇과 기계에 넣는 작은 추론 보드. 전력 예산이 데이터센터와 정반대인 쪽입니다. DLSS — 앞서 나온, 픽셀을 다 그리지 않고 신경망이 채우는 기술 — RT 코어가 감당 못 하는 몫을 텐서 코어가 메우는 구조입니다. NVLink와 InfiniBand — 위에서 다룬 GPU 사이를 잇는 쪽.

세대와 도입 시점은 회사가 공표한 아키텍처 문서 기준입니다. “코어 수”는 종류를 밝히지 않으면 비교할 수 없습니다 — CUDA 코어·텐서 코어·RT 코어는 세는 단위가 서로 다릅니다.

⑤ 파는 물건을 돌려 본다 — GB300 NVL72 한 랙

위에서 “파는 단위가 칩에서 랙으로 바뀌었다”고 썼는데, 말로만 하면 안 와닿습니다. 그 랙을 직접 돌려 보세요 — 끌면 회전하고, 휠로 당깁니다.

돌려 보면 이 물건의 절반이 계산이 아니라는 것이 보입니다 — 가운데 스위치 층, 그리고 뒤쪽의 배관. 액체로 식히지 않으면 이 밀도가 성립하지 않습니다. 경쟁사가 GPU 성능을 따라잡아도 이 상자를 통째로 내놓지 못하면 같은 물건이 아니라고 한 것이 이 뜻입니다.

구성(연산 트레이 18 × [CPU 2 + GPU 4], 스위치 트레이 9)은 회사가 공표한 NVL72 배치를 따랐습니다. 치수와 배관은 구조를 보이기 위한 것이고 실제 도면이 아닙니다.

이 사람은 어떻게 여기까지 왔나

앞의 두 판이 “왜 이 거래가 성립하는가”라면, 이 절은 누가 그 거래에 30년을 걸었는가입니다. 그리고 이 사람의 이력은 앞선 조각들의 주인공들과 결이 다릅니다 — 그는 회사를 팔지 않았습니다.

• 1막 대만에서 켄터키로, 그리고 접시닦이
• 1963 · 타이난

  대만에서 태어나 아홉 살에 미국으로

  대만 타이난에서 났고, 아홉 살에 가족과 미국으로 갑니다. 영어를 모르는 채로 남부의 기숙학교에 맡겨졌던 시절 이야기를 본인이 여러 번 했습니다.

• 1978 · 열다섯

  첫 직장은 데니스였다

  오리건 포틀랜드의 데니스에서 접시를 닦았습니다. 버스보이를 거쳐 웨이터까지 했습니다. 미국에서 처음 먹어 본 햄버거와 밀크셰이크도 그 가게였다고 말합니다.

  이 사실이 뒤에 다시 나옵니다 — 다만 같은 가게는 아닙니다. 창업한 데니스는 캘리포니아에 있는 다른 지점이었습니다. 같은 체인이라는 것만 맞습니다.

• 2막 칩을 배우다
• 1984–1992

  오리건주립대 → 일하면서 스탠퍼드 석사

  오리건주립대에서 전기공학 학사를 하고, 일을 하면서 스탠퍼드에서 석사를 마칩니다. LSI 로직에서 한 부문의 디렉터까지 올라갑니다 — 칩을 만드는 쪽과 파는 쪽을 둘 다 배운 자리입니다.

• 3막 데니스에서 시작한 회사
• 1993 · 4월 · 서른

  자본금 4만 달러

  산호세 근처 데니스에서 크리스 말라코프스키, 커티스 프리엠과 만나 PC에서 3D 그래픽을 돌릴 칩을 만들자고 정합니다. 시작 자본은 4만 달러였습니다. 두 사람이 황을 CEO로 앉혔습니다.

  열다섯에 접시를 닦던 체인의 식탁에서 서른에 회사를 세웠다는 것 — 그리고 그 회사를 지금까지 30년 넘게 직접 이끌고 있습니다.

• 4막 10년 일찍 건 내기
• 2006–2007

  게임 칩을 계산기로 열어 준다 — CUDA

  그래픽 칩은 원래 그림만 그리는 물건이었습니다. 엔비디아는 그걸 아무 계산에나 쓸 수 있게 여는 소프트웨어를 내놓습니다. 그게 CUDA입니다.

  당장은 돈이 안 되는 일이었습니다. 칩 면적과 개발비를 게임에 안 쓰는 기능에 썼으니 그 시점에는 손해였습니다. 이 내기가 회수되는 데 거의 10년이 걸립니다.

• 2012 · 그리고 그 뒤

  세상의 일감이 이쪽으로 기운다

  2012년, 이미지 대회를 뒤집은 신경망이 GPU로 학습됩니다. 위 ①판의 말로 하면, 세상이 풀려는 문제의 나뉘는 몫 p가 1에 붙은 순간입니다. 칩은 그대로였고 일감이 바뀌었습니다.

  그때 이미 CUDA가 6년째 깔려 있었습니다. 경쟁사들이 칩을 따라 만들어도 그 위에서 도는 소프트웨어를 따라잡는 데 다시 몇 년이 걸리는 이유입니다 — 아래 표의 총이익률 75%가 거기서 나옵니다.