뉴스에서 맨날 듣던 반도체 용어, 이제 제대로 알아보자 (GPU, HBM, NPU)

뉴스에서 GPU, HBM, NPU 단어가 매일 나오는데 막상 설명하려면 막히는 분들 꽤 있을 거예요.
저도 AI 관련 글 쓰다 보니까 이 용어들을 제대로 짚고 넘어가야겠다 싶었어요. 챗GPT한테 질문 하나 던지는 것도 수백억 개 연산이 돌아가는 건데, 그걸 처리하는 반도체가 정확히 어떤 건지 정리해봤습니다.

---

AI 시대, 왜 반도체가 이렇게 난리일까요

AI 서비스 하나가 돌아가려면 어마어마한 양의 연산이 필요해요. 챗GPT에 질문 하나 던지는 것도 수백억 개의 계산이 실시간으로 이루어지는 거거든요. 그리고 그 연산을 처리하는 게 바로 반도체예요. AI 성능이 곧 반도체 성능이라고 해도 과언이 아닌 시대가 된 거죠.

여기에 데이터센터 수요까지 폭발적으로 늘어나면서 반도체 공급이 수요를 따라가지 못하는 상황이 이어지고 있어요. 공급자 시장이 형성되니 가격은 당연히 치솟을 수밖에 없고, 관련 기업들의 주가도 함께 뛰는 구조가 만들어진 거예요. 한마디로 반도체는 지금 이 시대의 '디지털 석유'나 다름없어요.

---

GPU — 원래는 게임용이었는데, AI가 낚아챘어요

GPU(Graphics Processing Unit)는 원래 게임이나 영상 편집에서 그래픽을 빠르게 처리하기 위해 만들어진 칩이에요. 픽셀 하나하나를 동시에 계산해야 하니까, 수천 개의 연산을 병렬로 처리하는 구조를 갖추게 됐어요.

근데 AI 연산의 핵심인 행렬 계산이 이 구조와 딱 맞아떨어졌어요. AI가 문장을 이해하고 생성하는 방식도 결국 단어들 사이의 관계를 숫자 행렬로 표현하고 계산하는 건데, GPU가 이걸 기막히게 잘 처리하는 거예요. 2012년 이미지 인식 대회에서 GPU를 활용한 AI가 압도적인 성능으로 우승하면서 "아, GPU가 AI에도 되는구나"가 업계 전체에 퍼졌고, 그 이후 엔비디아는 말 그대로 질주하기 시작했어요.

지금 엔비디아는 AI용 GPU 시장에서 독보적인 점유율을 자랑하고 있어요. 경쟁자들이 없는 건 아니에요. AMD, 구글의 TPU 등이 도전장을 내밀고 있고, 특히 구글의 TPU는 행렬 연산에 특화된 구조로 자체 AI 인프라에서 상당한 성과를 내고 있어요. 엔비디아의 독주가 언제까지 계속될지는 모르겠지만, 경쟁이 심화될수록 기술 발전 속도는 더 빨라질 테니 소비자 입장에선 나쁜 일은 아니에요.

---

NPU — 국내 스타트업들의 도전, 생각보다 진지해요

GPU가 AI 연산을 잘 처리하긴 하지만, 원래 그래픽용으로 설계된 칩이라 AI 전용으로 쓰기엔 비효율적인 면이 있어요. 그래서 등장한 게 NPU(Neural Processing Unit), 즉 뉴럴 프로세싱 유닛이에요. 말 그대로 AI 연산, 특히 행렬 계산만을 위해 설계된 전용 칩이에요.

흥미로운 건 국내 스타트업들이 이 분야에 적극적으로 뛰어들고 있다는 거예요. 대기업이 아니라 스타트업이 첨단 반도체 개발에 도전한다는 게 쉬운 일이 아닌데, 그 자체로 의미 있는 흐름이에요. NPU는 스마트폰이나 IoT 기기처럼 작은 기기에서도 효율적인 AI 연산을 가능하게 해주는 방향으로 발전하고 있어서, 앞으로 엣지 AI 시장이 커질수록 그 중요성도 함께 커질 거예요.

---

메모리 반도체와 병목 현상 — 아무리 좋은 GPU도 메모리가 막히면 끝이에요

GPU가 아무리 뛰어나도 데이터를 빠르게 공급해주는 메모리가 따라주지 못하면 그 성능을 제대로 쓸 수 없어요. 이걸 '병목 현상'이라고 하는데, 사이다 병을 생각하면 쉬워요. 병 안에 사이다가 아무리 많아도 병목이 좁으면 한 번에 많이 따를 수 없잖아요. GPU와 메모리 사이의 데이터 전송 속도가 느리면 정확히 그런 상황이 벌어지는 거예요.

AI 학습에는 수백 기가바이트에서 수 테라바이트에 달하는 데이터가 필요하고, 이를 GPU에 끊임없이 빠르게 공급해야 해요. 기존 DRAM으로는 이 속도를 감당하기 어려워졌고, 결국 근본적인 구조 변화가 필요해진 거예요.

---

HBM — D램을 아파트처럼 쌓아 올린 기막힌 아이디어

HBM(High Bandwidth Memory)은 바로 이 병목 문제를 해결하기 위해 탄생한 메모리예요. 기존 DRAM을 수직으로 여러 층 쌓아 올리고, 각 층을 TSV(Through Silicon Via)라는 기술로 연결한 구조예요. TSV는 쉽게 말해 수만 개의 아주 작은 구멍을 뚫고 구리 배선을 채워 층간 데이터를 초고속으로 주고받는 '엘리베이터'예요.

아파트를 생각해보면 이해가 쉬워요. 땅이 좁다면 위로 올리면 돼요. 마찬가지로 반도체 면적을 늘리기 어렵다면, 층을 쌓아 전체 용량과 대역폭을 동시에 늘리는 거예요. 여기에 기존 메모리보다 훨씬 넓은 데이터 차선(High Bandwidth)을 확보해서 한 번에 전송할 수 있는 데이터량을 획기적으로 늘렸어요.

이 아이디어는 2000년대 초 김정호 교수가 D램 용량의 한계를 예측하고 쌓는 방식을 제안하면서 시작됐다고 해요. 학문적 연구가 10여 년 후 실제 산업을 바꾸는 핵심 기술이 된 셈인데, 기초 연구의 중요성을 다시금 실감하게 되는 대목이에요. 이후 AI 붐과 함께 HBM의 필요성이 폭발적으로 커졌고, 삼성전자와 SK하이닉스를 중심으로 한 국내 기업들이 HBM 시장을 주도하는 위치에 올라서게 됐어요.

---

HBM4와 HBF — 한계를 넘는 기술은 계속돼요

지금의 HBM도 완벽하지 않아요. 층을 쌓다 보니 냉각 문제가 생기고, 얇은 웨이퍼가 열이나 무게에 의해 휘어지는 물리적 한계가 존재해요. 고층 빌딩일수록 냉방과 구조 안전이 더 중요해지는 것과 같은 이치예요.

그래서 다음 단계로 HBM4가 개발되고 있어요. HBM4는 단순히 메모리를 쌓는 걸 넘어서 GPU의 일부 연산 기능까지 메모리 안에 통합하려는 시도예요. 데이터를 GPU로 보내고 받는 이동 자체를 줄여버리는 방향으로 발전하는 거예요. 거기에 더해 HBF(High Bandwidth Flash Memory)는 기존 HBM이 200GB 수준의 용량 한계를 가진다는 점을 보완하려고 등장한 개념이에요. 낸드 플래시 기반의 고용량 스토리지를 HBM처럼 고대역폭 구조로 연결해서, 용량과 속도 두 마리 토끼를 동시에 잡겠다는 발상이에요. 아직 상용화 초기 단계지만, AI 모델의 파라미터 수가 수천억 개를 넘어서는 시대에 메모리 용량 문제는 피할 수 없는 과제라서 HBF의 발전 방향은 업계의 주목을 받고 있어요.

제 솔직한 생각
이 용어들 정리하면서 느낀 건데, GPU·NPU·HBM 다 결국 같은 문제를 다른 방식으로 풀고 있더라고요. 더 빠르게, 더 효율적으로 데이터를 처리하는 것. 원리를 알고 나니 새 용어가 나와도 덜 헷갈릴 것 같아요.

---

정리하자면

GPU, NPU, HBM, HBF. 이름만 들으면 어딘가 먼 나라 이야기 같지만, 사실 이 기술들은 지금 우리가 쓰는 스마트폰과 검색 엔진, AI 챗봇 하나하나에 이미 들어와 있어요.
뉴스에서 "SK하이닉스 HBM 수주"나 "엔비디아 GPU 공급 부족"이라는 헤드라인이 뜰 때, 이제는 그 배경이 조금씩 그려지기 시작한다면 이 글이 제 역할을 다한 거예요. 기술이 빠르게 변하는 만큼 용어도 계속 새로 나오겠지만, 더 빠르게·더 효율적으로·더 적은 전력으로 가는 기본 방향은 크게 안 바뀝니다.

출처

• 채널명: EBS 컬렉션 - 사이언스
• 영상 제목: 반도체·HBM… 뉴스에서 항상 듣던 반도체 용어 전격 해부
• 영상 주소: https://www.youtube.com/watch?v=mNef_eJ4qlk