KPI뉴스 - HBM만 빨라져선 부족하다…AI가 바꾸는 메모리 경쟁

인공지능(AI) 메모리반도체 경쟁의 초점이 달라지고 있다. 고대역폭메모리(HBM)의 속도와 용량을 높이는 데서 AI 시스템 전체의 데이터 이동을 줄이는 방향으로 넓어지고 있다. AI 추론 과정에서 처리하고 보관해야 할 데이터가 늘면서 개별 메모리의 성능 개선만으로는 병목을 해소하기 어려워졌기 때문이다.

14일 서울 코엑스에서 개막한 '제28회 반도체대전(SEDEX 2026)'에서는 이러한 변화에 대응할 삼성전자와 SK하이닉스의 차세대 기술 구상이 제시됐다. 연산장치와 메모리를 수직으로 연결하거나, 기존 메모리 사이에 속도와 용량을 보완할 새로운 계층을 추가하는 방식이다.

"메모리는 부품 그 이상"…AI 시스템 전체의 효율이 경쟁력

안현 SK하이닉스 개발총괄 사장은 이날 기조강연에서 "메모리 계층 간 데이터 이동이 계속 증가해 AI 인프라의 핵심 과제는 데이터 이동의 병목을 해결하는 것"이라고 말했다.

AI 시스템은 필요한 속도와 용량에 따라 여러 메모리와 저장장치를 함께 사용한다. 데이터를 빠르게 공급해야 하는 곳에는 HBM 등을 배치하고, 더 많은 데이터를 보관하는 데는 D램과 낸드플래시 기반 저장장치를 활용하는 식이다.

AI 추론이 복잡해지고 처리할 정보가 많아질수록 이들 사이에서 오가는 데이터도 늘어난다. 연산장치가 빨라도 필요한 데이터를 제때 전달하지 못하면 시스템 전체의 성능을 충분히 끌어낼 수 없다. 메모리 업체의 경쟁력도 개별 제품의 성능뿐 아니라 연산장치·다른 메모리와 얼마나 효율적으로 연결하느냐로 확장되는 셈이다.

안 사장은 "메모리를 이제 부품 그 자체라고만 보지는 않는다"며 "국내 기업들과의 기술 개발·협업을 통해 새로운 AI 생태계를 만들겠다"고 밝혔다.

▲ SK하이닉스 부스. [배지수 기자]

연산칩 위로 올리고, 메모리 사이에 새 계층 더하고

삼성전자가 소개한 차세대 메모리 기술 zHBM은 연산장치와 메모리 사이의 물리적 거리를 줄이는 데 초점을 맞췄다. 기존 HBM이 연산장치 옆에 배치되는 구조에서 나아가 로직과 메모리를 수직으로 연결하는 구상이다.

삼성전자는 HBM4E와 함께 파운드리·첨단 패키징 기술도 제시했다. 메모리 자체의 성능을 높이는 동시에 칩을 만들고 연결하는 기술을 결합해 AI 시스템의 효율을 높이겠다는 전략이다.

SK하이닉스도 GPU나 신경망처리장치(NPU) 위에 D램을 직접 쌓는 3D 적층 D램을 차세대 해법으로 제시했다. 연산장치와 메모리의 연결을 늘리고 데이터 이동 거리를 줄이는 방식이다. 다만 연산칩 위에 메모리를 쌓는 만큼 발열을 관리하는 패키징 기술이 뒷받침돼야 한다.

또 다른 축은 낸드플래시 기반 고대역폭플래시(HBF)다. SK하이닉스는 HBM에서 활용하는 칩 적층·고속 연결 기술을 낸드에 적용해, 기존 메모리 계층 사이에서 대용량 데이터를 처리할 새로운 선택지를 개발하고 있다.

안 사장은 HBF에 대해 "HBM 대비 대역폭이 대략 절반 수준이지만 용량은 10배 이상 증가할 수 있다고 본다"고 설명했다. HBM보다 빠른 제품을 만드는 것과는 목표가 다르다. 속도와 용량의 조합을 달리해 AI 시스템이 데이터를 더 효율적으로 다루도록 하겠다는 것이다.

▲ 삼성전자 HBM4E 이미지. [배지수 기자]

기술 모형 넘어 표준·고객 생태계 확보해야

새 메모리를 실제 AI 시스템에 적용하려면 제품 개발뿐 아니라 이를 사용할 기업들과의 규격 협의도 필요하다.

SK하이닉스는 샌디스크와 HBF 표준화 작업을 진행하고 있다. 안 사장은 구글 등 글로벌 기업들이 참여해 규격을 논의하고 있으며, 2027년 1월 최종 규격을 마련할 계획이라고 밝혔다.

낸드 기반인 HBF의 내구성도 확인해야 할 과제다. 이날 전시 현장에서 낸드 셀의 수명에 대한 질문이 나오자 SK하이닉스 관계자는 "GPU 세대 교체가 빠른 만큼 시스템을 교체하는 시점까지 쓸 수 있는 수명을 기준으로 가이드를 잡고 있다"고 답했다.

이는 목표로 삼는 사용 기간을 설명한 것으로, 실제 적용 환경에서의 수명 검증 결과와는 다르다. 처리하는 데이터의 특성과 사용 강도에 맞춰 성능과 내구성을 확보하는 과정이 필요하다.

이번 행사에서 제시된 방향은 HBM의 역할이 끝난다는 의미가 아니다. HBM을 고도화하면서도 그것만으로 해결하기 어려운 속도·용량·전력 문제를 새로운 구조와 제품으로 보완하겠다는 구상이다.

차세대 메모리 경쟁의 관건은 개별 기술의 성능을 넘어, 고객의 AI 시스템 안에서 효율을 입증하고 표준화와 양산으로 연결하는 데 있다.

KPI뉴스 / 배지수 기자 didyou@kpinews.kr

[저작권자ⓒ KPI뉴스. 무단전재-재배포 금지]