지금 여러분의 휴대폰이나 노트북 안에는 1초에 1조 번이나 계산하는 아주 작은 칩이 있어요. 그런데 문제가 하나 있어요. 너무 빠르다 보니 대부분의 시간을 정보가 도착하기만 기다리며 보내는 거예요. 마치 몇 초 만에 책 한 권을 다 읽어 버릴 수 있는 챔피언 속독가가 있는데, 누군가 방 저편에서 한 번에 한 쪽씩만 건네주는 것과 같아요.

그 칩은 프로세서예요. 계산을 하는 뇌 같은 존재죠. 프로세서에게 필요한 정보는 가까이에 있는 메모리 칩들 안에 살고 있어요. 보통 컴퓨터 메모리는 프로세서에서 몇 센티미터 떨어진 곳에 있는데, 별로 멀지 않은 것처럼 들리죠. 하지만 컴퓨터의 속도에서는 그 거리가 영원처럼 길어요. 프로세서는 데이터를 요청한 뒤, 그 데이터가 돌아오기를 기다리며 보이지 않는 엄지손가락을 꼼지락거리는 셈이에요.

프로세서 속도와 메모리 속도 사이의 이 차이를 “메모리 대역폭 병목 현상”이라고 해요. 그리고 이 문제는 수십 년 동안 엔지니어들을 골치 아프게 만들었어요. 프로세서는 계속 더 빨라지는데, 메모리는 따라잡지 못해요. 소방 호스로 업그레이드했는데 여전히 정원 호스에 연결해 둔 것과 같아요. 그 모든 힘이 그저 기다리고 있는 거죠.

이제 HBM이 등장합니다. HBM은 High Bandwidth Memory, 즉 고대역폭 메모리예요. 메모리 칩을 옆쪽에 따로 두는 대신, HBM은 그것들을 아주 작은 아파트 건물처럼 바로 위에 차곡차곡 쌓아요. 그런 다음 그 전체 더미를 프로세서 바로 옆에, 또는 심지어 프로세서 위에 놓아요. 이제 데이터가 이동해야 하는 거리는 센티미터에서 밀리미터로 줄어들어요.

하지만 가까운 것만이 비결의 전부는 아니에요. 보통 메모리는 좁은 연결 통로를 통해 프로세서와 이야기를 나눠요. 한 차선짜리 도로를 떠올려 보세요. HBM은 더미를 곧장 위로 관통하는 수천 개의 작은 연결 통로를 사용해요. 마치 천 개의 차선이 나란히 있는 고속도로 같죠. 데이터는 그 모든 차선을 통해 한꺼번에 쏟아져 들어와요.

결과는 어떨까요? HBM은 보통 메모리보다 1초에 열 배나 더 많은 데이터를 전달할 수 있어요. 그 챔피언 속독가는 드디어 자신이 읽는 속도만큼 빠르게 페이지를 받게 된 거예요. 이것은 엄청난 양의 정보가 즉시 필요한 일에서 가장 중요해요. AI 모델을 훈련시키거나, 영화 그래픽을 렌더링하거나, 날씨 시뮬레이션을 실행하는 일처럼요.

물론 맞바꾸어야 할 점도 있어요. 칩을 쌓고 그 안에 수천 개의 현미경처럼 작은 연결 구멍을 뚫는 일은 비싸요. HBM은 보통 메모리보다 약 열 배 더 비싸답니다. 여러분의 노트북은 아마 이메일을 확인하는 데 HBM이 필요하지 않을 거예요. 하지만 최신 AI를 훈련시키는 데이터 센터나 픽사 영화의 장면을 렌더링하는 그래픽 카드에게는, 그 병목 현상이 실제 시간과 돈을 잡아먹고 있었어요. HBM은 정원 호스를 다시 소방 호스로 바꾸어 줘요.

그래서 HBM은 가까이에 앉아 빠르게 말하는 메모리예요. 식료품점을 바로 옆집으로 옮기고 계산대를 천 개로 늘리는 것만큼 단순한 구조인 셈이죠. 때로 가장 강력한 해결책은 무언가를 더 빠르게 만드는 것이 아니라, 서로 더 가까이 옮겨 놓는 데 있어요. 알고 보니 컴퓨터의 세계에서는 거리가 멀수록 마음도 정말 더 느려지는 거예요.