요즘 뉴스를 틀면 하루가 멀다 하고 나오는 단어들이 있죠. 반도체, HBM, GPU… 대충 중요하다는 건 알겠는데 정확히 뭔지는 설명하기 애매한 그 용어들, 이번 기회에 제대로 파헤쳐 보겠습니다. EBS 컬렉션 - 사이언스 채널의 영상 "반도체·HBM… 뉴스에서 항상 듣던 반도체 용어 전격 해부"를 보고 핵심 내용을 정리했는데, 생각보다 훨씬 흥미로운 내용이 많아서 필자 나름의 코멘트도 듬뿍 담아봤습니다.
AI 시대, 왜 반도체가 이렇게 난리일까?
AI 서비스 하나가 돌아가려면 어마어마한 양의 연산이 필요합니다. 챗GPT에 질문 하나 던지는 것도 수백억 개의 계산이 실시간으로 이루어지는 거거든요. 그리고 그 연산을 처리하는 게 바로 반도체입니다. AI 성능이 곧 반도체 성능이라고 해도 과언이 아닌 시대가 된 거죠.
여기에 데이터센터 수요까지 폭발적으로 늘어나면서 반도체 공급이 수요를 따라가지 못하는 상황이 이어지고 있습니다. 공급자 시장이 형성되니 가격은 당연히 치솟을 수밖에 없고, 관련 기업들의 주가도 함께 뛰는 구조가 만들어진 겁니다. 한마디로 반도체는 지금 이 시대의 '디지털 석유'나 다름없습니다.
GPU: 원래는 게임용이었는데, AI가 낚아챘다
GPU(Graphics Processing Unit)는 원래 게임이나 영상 편집에서 그래픽을 빠르게 처리하기 위해 만들어진 칩입니다. 픽셀 하나하나를 동시에 계산해야 하니까, 수천 개의 연산을 병렬로 처리하는 구조를 갖추게 됐죠.
그런데 AI 연산의 핵심인 행렬 계산이 이 구조와 딱 맞아떨어졌습니다. AI가 문장을 이해하고 생성하는 방식도 결국 단어들 사이의 관계를 숫자 행렬로 표현하고 계산하는 건데, GPU가 이걸 기막히게 잘 처리하는 겁니다. 2012년 이미지 인식 대회에서 GPU를 활용한 AI가 압도적인 성능으로 우승하면서 "아, GPU가 AI에도 되는구나"가 업계 전체에 퍼졌고, 그 이후 엔비디아(NVIDIA, 이하 N사)는 말 그대로 질주하기 시작했죠.
현재 N사는 AI용 GPU 시장에서 독보적인 점유율을 자랑하고 있습니다. 경쟁자들이 없는 건 아닙니다. AMD, 구글의 TPU 등이 도전장을 내밀고 있고, 특히 구글의 TPU는 행렬 연산에 특화된 구조로 자체 AI 인프라에서 상당한 성과를 내고 있습니다. N사의 독주가 언제까지 계속될지는 모르겠지만, 경쟁이 심화될수록 기술 발전 속도는 더 빨라질 테니 소비자 입장에서 나쁜 일은 아닙니다.
NPU: 국내 스타트업들의 도전, 생각보다 진지하다
GPU가 AI 연산을 잘 처리하긴 하지만, 원래 그래픽용으로 설계된 칩이라 AI 전용으로 쓰기엔 비효율적인 면이 있습니다. 그래서 등장한 게 NPU(Neural Processing Unit), 즉 뉴럴 프로세싱 유닛입니다. 말 그대로 AI 연산, 특히 행렬 계산만을 위해 설계된 전용 칩이에요.
흥미로운 건 국내 스타트업들이 이 분야에 적극적으로 뛰어들고 있다는 점입니다. 대기업이 아니라 스타트업이 첨단 반도체 개발에 도전한다는 게 쉬운 일이 아닌데, 그 자체로 의미 있는 흐름이라고 생각합니다. NPU는 스마트폰이나 IoT 기기처럼 작은 기기에서도 효율적인 AI 연산을 가능하게 해주는 방향으로 발전하고 있어서, 앞으로 엣지 AI 시장이 커질수록 그 중요성도 함께 커질 겁니다.
메모리 반도체와 병목 현상: 아무리 좋은 GPU도 메모리가 막히면 끝
GPU가 아무리 뛰어나도 데이터를 빠르게 공급해주는 메모리가 따라주지 못하면 그 성능을 제대로 쓸 수 없습니다. 이걸 '병목 현상'이라고 하는데, 사이다 병을 생각하면 쉽습니다. 병 안에 사이다가 아무리 많아도 병목이 좁으면 한 번에 많이 따를 수 없잖아요. GPU와 메모리 사이의 데이터 전송 속도가 느리면 정확히 그런 상황이 벌어지는 겁니다.
AI 학습에는 수백 기가바이트에서 수 테라바이트에 달하는 데이터가 필요하고, 이를 GPU에 끊임없이 빠르게 공급해야 합니다. 기존의 DRAM으로는 이 속도를 감당하기 어려워졌고, 결국 근본적인 구조 변화가 필요해진 것입니다.
HBM: D램을 아파트처럼 쌓아 올린 기막힌 아이디어
HBM(High Bandwidth Memory)은 바로 이 병목 문제를 해결하기 위해 탄생한 메모리입니다. 기존 DRAM을 수직으로 여러 층 쌓아 올리고, 각 층을 TSV(Through Silicon Via)라는 기술로 연결한 구조입니다. TSV는 쉽게 말해 수만 개의 아주 작은 구멍을 뚫고 구리 배선을 채워 층간 데이터를 초고속으로 주고받는 '엘리베이터'입니다.
아파트를 생각해보면 이해가 쉽습니다. 땅이 좁다면 위로 올리면 됩니다. 마찬가지로 반도체 면적을 늘리기 어렵다면, 층을 쌓아 전체 용량과 대역폭을 동시에 늘리는 거죠. 여기에 기존 메모리보다 훨씬 넓은 데이터 차선(High Bandwidth)을 확보해서 한 번에 전송할 수 있는 데이터량을 획기적으로 늘렸습니다.
이 아이디어는 2000년대 초 김정호 교수가 D램 용량의 한계를 예측하고 쌓는 방식을 제안하면서 시작되었다고 합니다. 학문적 연구가 10여 년 후 실제 산업을 바꾸는 핵심 기술이 된 셈인데, 기초 연구의 중요성을 다시금 실감하게 되는 대목입니다. 이후 AI 붐과 함께 HBM의 필요성이 폭발적으로 커졌고, 삼성전자와 SK하이닉스를 중심으로 한 국내 기업들이 HBM 시장을 주도하는 위치에 올라서게 되었습니다.
HBM4와 HBF: 한계를 넘는 기술은 계속된다
현재의 HBM도 완벽하지 않습니다. 층을 쌓다 보니 냉각 문제가 생기고, 얇은 웨이퍼가 열이나 무게에 의해 휘어지는 물리적 한계가 존재합니다. 고층 빌딩일수록 냉방과 구조 안전이 더 중요해지는 것과 같은 이치죠.
그래서 다음 단계로 HBM4가 개발되고 있습니다. HBM4는 단순히 메모리를 쌓는 걸 넘어서 GPU의 일부 연산 기능까지 메모리 안에 통합하려는 시도입니다. 데이터를 GPU로 보내고 받는 이동 자체를 줄여버리는 방향으로 발전하는 거죠. 거기에 더해 HBF(High Bandwidth Flash Memory)는 기존 HBM이 200GB 수준의 용량 한계를 가진다는 점을 보완하기 위해 등장한 개념입니다. 낸드 플래시 기반의 고용량 스토리지를 HBM처럼 고대역폭 구조로 연결해서, 용량과 속도 두 마리 토끼를 동시에 잡겠다는 발상입니다. 아직 상용화 초기 단계지만, AI 모델의 파라미터 수가 수천억 개를 넘어서는 시대에 메모리 용량 문제는 피할 수 없는 과제이기 때문에 HBF의 발전 방향은 업계의 주목을 받고 있습니다.
마무리: 몰라도 살 수 있지만, 알면 세상이 달라 보인다
GPU, NPU, HBM, HBF. 이름만 들으면 어딘가 먼 나라 이야기 같지만, 사실 이 기술들은 지금 우리가 쓰는 스마트폰과 검색 엔진, AI 챗봇 하나하나에 이미 들어와 있습니다. 뉴스에서 "SK하이닉스 HBM 수주"나 "엔비디아 GPU 공급 부족"이라는 헤드라인이 뜰 때 그냥 스크롤을 내리던 게, 이제는 '아, 그 병목 문제 때문이겠구나', '엣지 AI 수요가 늘어서겠구나' 하는 맥락으로 읽히기 시작한다면, 이 글이 제 역할을 다한 겁니다.
기술이 빠르게 변하는 만큼 용어도 계속 새로 나오겠지만, 기본 원리는 크게 바뀌지 않습니다. 더 빠르게, 더 효율적으로, 더 적은 전력으로. 반도체 기술이 추구하는 방향은 결국 하나입니다. 그 방향을 이해하고 있다면, 앞으로 어떤 새로운 용어가 등장하더라도 당황하지 않고 흐름을 읽을 수 있을 겁니다.
📌 출처
- 채널명: EBS 컬렉션 - 사이언스
- 영상 제목: 반도체·HBM… 뉴스에서 항상 듣던 반도체 용어 전격 해부
- 영상 URL: https://www.youtube.com/watch?v=mNef_eJ4qlk