풀고 있는 식 — 선이 곱으로 는다

위 화면의 fibers 숫자는 장식이 아니라 층 크기의 곱을 더한 값입니다. 층과 층 사이는 모든 쌍이 이어지기 때문입니다.

이 제곱이 신경망 이야기의 전부입니다. 파라미터 수가 노드 수가 아니라 연결 수이고, 학습이란 그 연결마다 붙은 숫자를 조금씩 고치는 일입니다. 층 하나를 두 배 넓히면 계산도 메모리도 네 배가 되는 것 — 그래서 아래 사진의 판 한 장에 칩을 넷씩 붙이고, 그 판을 다시 수천 장 잇습니다.

그 제곱이 실제로 어디까지 갔나

위 식은 추상적으로 보이지만, 지난 10년의 신경망 크기는 정확히 저 곱셈이 쌓인 결과입니다. 아래는 공표된 파라미터 수 — 즉 연결마다 붙은 숫자의 개수입니다.

가운데 줄이 이 표에서 가장 중요합니다. ResNet-50은 VGG-16보다 깊은데 파라미터가 1/5입니다. 위 화면처럼 모든 쌍을 다 잇는 층을 그대로 키우면 연결이 제곱으로 늘지만, 실제 설계는 그 제곱을 피하는 방향으로 갔습니다 — 건너뛰는 연결, 좁은 병목, 그리고 나중에는 필요한 곳만 보는 주의(attention) 구조로.

그러니 “망이 커졌다”는 말은 층을 무작정 넓혔다는 뜻이 아닙니다. 제곱을 피하는 법을 찾은 만큼 더 크게 키울 수 있었다는 뜻입니다. 위 화면의 fibers 숫자가 층을 조금만 키워도 튀어 오르는 것을 보면, 왜 설계자들이 그 제곱을 피하려 애썼는지가 눈으로 보입니다.

파라미터 수는 구현과 버전에 따라 조금씩 다르게 셉니다 — 여기 값은 각 논문과 표준 구현에서 널리 인용되는 수치입니다. LeNet 처럼 구성에 따라 크게 갈리는 것은 넣지 않았습니다.