애플 인텔리전스의 완성이 M5로 시작하는 이유

안녕하세요. IT 칼럼니스트 최호섭입니다. 온 세상이 AI 이야기로 가득입니다. 그만큼 인공지능은 우리의 많은 것들을 바꾸어 놓고 있기 때문이지요. 그런데 AI의 영향력에 비해서 일상에서 우리가 쓰는 컴퓨터가 얼마나 AI에 예민하게 움직이는지는 피부로 잘 와 닿지 않습니다. 아직은 많은 것들이 클라우드에 의존하고 있기도 하고, 기기마다 갖고 있는 AI의 역량도 서로 다르기 때문입니다.

하지만 컴퓨터, 스마트폰의 방향성 역시 명확히 AI 처리에 관심이 맞춰지고 있습니다. 특히 인공지능의 정확도가 높아지면서 이제는 본격적으로 개인정보를 맡기는 것은 물론이고, 아예 키보드와 마우스를 넘겨주는 에이전트 AI 시대로 넘어가면서 ‘내 컴퓨터의 AI가 얼마나 똑똑한가’에 대해 돌아보기 시작했습니다.

애플도 마찬가지입니다. 최근 애플의 맥 미니는 오픈클로를 통해 성능만 충분하다면 개인용 컴퓨터에서 에이전트 AI가 가능하다는 것을 확실히 보여주기도 했지요. 게다가 지금 나오고 있는 M5, A19 칩은 이전 세대보다 4배 이상의 AI 처리 능력을 내면서 에이전트 AI에 대한 기대를 키우고 있습니다.

사실 애플의 AI는 여러가지 복잡한 평가를 받고 있는 상황이지만 제 개인적으로는 애플 기기에서 마주하게 될 AI 경험에 대해서는 조금도 의심하지 않습니다. 반도체를 통해 AI 관련 기술들을 아주 유연하게 받아들이고 있기 때문입니다. 특히 최근의 A19, 그리고 M5 프로세서를 보면 이 반도체의 유연한 설계 방법이 있기 때문에 애플이 급변하는 AI 시장에서도 빠르게 적응해 나갈 수 있다는 것을 뚜렷이 보여주고 있습니다.

지난 6월 3일 이 칩과 애플의 AI 생태계에 대해서 애플의 더그 브룩스 Mac 부문 시니어 프로덕트 매니저와 이야기를 나눌 기회가 생겼습니다. 더그 브룩스 프로덕트 매니저는 시스템 엔지니어 출신으로 맥과 애플의 반도체, 소프트웨어 생태계의 뿌리부터 함께 해온 인물입니다.

뉴럴 액셀러레이터, AI에 대한 요구 풀어낸 결과물

“이번 세대 기기의 가장 큰 차별점은 GPU에 들어간 뉴럴 액셀러레이터입니다. AI는 엄청난 수학 연산 능력을 필요로 합니다. 뉴럴 액셀러레이터는 GPU 속 각각의 코어에 들어가 GPU의 다양한 처리 중에서 행렬 연산을 집중적으로 맡습니다. 이를 통해서 M4 라인업에 비해 4배 이상의 AI 성능을 냅니다.”

더그 브룩스 프로덕트 매니저는 뉴럴 액셀러레이터 이야기를 먼저 꺼냈습니다. 저 역시 M5 시리즈 칩에서 느껴지는 가장 큰 차별점은 뉴럴 액셀러레이터라고 봅니다. 그리고 이 뉴럴 액셀러레이터는 사실상 애플이 M1 칩을 통해 가져온 변화 이후 가장 큰 세대 교체이기도 합니다.

단순히 칩의 성능을 높여서 게임과 인공지능 등 최근의 컴퓨터에게 요구하는 일들을 잘 처리하는 것이 아니라 아예 특정 목적에 맞춰서 그 일을 아주 잘 할 수 있는 칩을 만들어낸 겁니다. 영상 편집 성능에 대한 요구를 위해 칩 내부에 ‘미디어 엔진’이라는 전용 가속기를 넣었던 것처럼 AI에 대한 요구를 뉴럴 액셀러레이터로 풀어내는 것으로 읽을 수 있습니다.

먼저 뉴럴 액셀러레이터의 역할과 차이점을 짚고 이야기를 이어가 볼까요? 지금 우리가 쓰는 인공지능 기술은 해야 할 일과 관련된 모든 것들이 서로 얼마나 가까운지 기억하고, 그 결과를 바탕으로 사람처럼 새로운 인과 관계를 만들어 냅니다. 그 과정은 사실상 무한에 가까운 확률을 계산해 보고, 정답에 가장 가까운 것을 골라내는 전쟁과 같은 연산으로 이뤄져 있습니다. 더 빠르고 많은 연산 능력과 큰 메모리가 필요한 이유이기도 합니다.

애초 GPU는 그 코어 유닛의 개수가 많기 때문에 이 수학 문제를 많이 풀어낼 수 있다는 점 때문에 ‘본업’인 그래픽을 떠나 인공지능 업계에도 끌려오게 되었지요. 하지만 그 연산의 가장 큰 비중을 차지하는 행렬 연산은 GPU의 본래 일이 아닙니다. 그래서 최근에는 GPU에 인공지능이 필요한 연산 능력을 심어서 그 효율을 높이는 기술들이 쓰이고 있습니다. 뉴럴 액셀러레이터는 바로 GPU 내부에서 행렬 연산에 집중하도록 설계된 요소입니다.

“대규모 언어 모델을 비롯해 이미지 생성 등 GPU의 AI 연산량이 중요한 부분이 늘어나고 있습니다. 애플 실리콘의 GPU 성능은 계속해서 높아지고 있지만 더 높은 AI 경험을 위해서 강력한 연산이 필요했습니다. 이를 위해서 애플은 GPU 구조를 다시 설계했습니다.”

어떤 형태든, 어떤 구조든 받아들일 수 있는 반도체의 유연성

더그 브룩스 프로덕트 매니저는 애플 실리콘의 유연성을 강조했습니다. 애초 애플은 GPU 의존도가 높아지는 컴퓨팅 환경에서 외장 GPU 없이도 높은 성능을 낼 수 있도록 칩의 구조를 다양하게 설계했습니다. 칩 하나에 더 많은 GPU 코어를 넣어 성능을 끌어올리는 프로와 맥스, 그리고 이 맥스 칩을 두 개 이어서 성능을 두 배로 끌어올리는 독특한 설계를 했습니다.

여기에 코어 당 성능을 높이기 위해서 뉴럴 액셀러레이터를 더해 코어 하나하나를 더 똑똑하게 만드는 것으로 처리 속도도, 처리량도 끌어올리게 했습니다. 이런 구조는 설계의 어려움도 있지만 칩의 종류와 세대에 따라서 칩의 모양과 크기가 달라지기 때문에 실제 컴퓨터에 적용하기 어렵습니다. 하지만 하지만 애플은 칩의 규격을 만들고, 그 안에서 프로세서의 특성을 만들어내는 기존의 구조와 달리 필요한 기능과 역할을 중심으로 프로세서를 자유롭게 설계하고, 이를 스스로의 기기에 쓰기 때문에 칩의 크기나 디자인, 규격 등에서 자유롭습니다.

“강력한 하드웨어도 중요하지만 개발자들이 이 칩을 바탕으로 필요한 일들을 해낼 수 있어야 결과적으로 기기 이용자들에게 그 효과가 전해지게 됩니다. 이 때문에 모든 기기의 플랫폼에 걸쳐서 같은 칩 구조를 공유하고 있습니다. 이는 기기 뿐 아니라 개발 환경, 그리고 코어ML과 메탈 등 새로운 컴퓨팅 프레임워크와 이를 아우르는 전체 소프트웨어 파운데이션을 공유하고 있습니다. 모든 기기에 걸쳐셔 같은 프레임워크로 소프트웨어 경험을 만들어 낼 수 있습니다.”

당장 뉴럴 액셀러레이터에 기반한 M5 시리즈 칩의 성능은 맥에서 더 많이 언급되긴 하지만 이미 아이폰 17 시리즈와 아이폰 에어에도 적용되어 있습니다. 더그 브룩스 프로덕트 매니저도 맥과 아이폰, 아이패드가 같은 수준의 AI 처리를 할 수 있는 역량을 갖고 있는 것 뿐 아니라 사실상 하나의 경험을 다른 기기로 자연스럽게 넓힐 수 있는 소프트웨어 생태계를 갖고 있다고 말합니다. 애플이 늘 이야기하던 것처럼 인공지능 역시 하드웨어와 운영체제, 소프트웨어의 통합으로 목표로 하는 경험을 만들어가고 있는 것이지요.

CPU와 GPU, 뉴럴 엔진까지 모두 최고의 AI 경험 위한 통합 요소

새로운 GPU 구조를 통해서 글과 이미지를 만들어내는 생성형 AI에서 뿐 아니라 개인정보의 맥락을 이해하는 에이전트 AI로서의 성능도 더 높아진 건 분명합니다. 그렇다면 GPU의 뉴럴 액셀러레이터는 이제까지 애플이 칩 안에 넣은 뉴럴 엔진과 어떻게 다른 것일까요?

“뉴럴 엔진 역시 강력한 AI 처리 엔진입니다. 이미 애플 생태계에는 수 천 가지의 AI 모델과 애플의 파운데이션 모델이 뉴럴 엔진을 통해 운영되고 있습니다. 다양한 앱에서 이미지와 텍스트를 이해하고, 빠르게 주어진 역할을 처리하고 있습니다. 반면 GPU는 더 높은 성능을 요구하는 언어 모델을 비롯해 다양한 생성형 AI, 그리고 애플 실리콘에 최적화된 MLX 프레임워크로 다양한 분야에서 쓰이고 있습니다. 여기에 CPU를 더해 요구 조건에 맞는 AI 연산을 처리하는 것이 애플 실리콘의 방향성입니다.”

애초 뉴럴 엔진은 CPU나 GPU에 영향을 주지 않으면서 AI 연산을 독자적으로 빠르게 처리하면서도 전력 소비량을 줄여 기기 내에서 개인정보를 효율적으로 다루고, 앱들이 우리의 습관을 학습할 수 있도록 하는 데에 초점이 맞춰져 있습니다. 또한 사진에서 사람과 사물을 인식해서 배경을 흐리게 해주거나 얼굴을 돋보이게 하는 등 실시간 처리에도 쓰였습니다. 특히 코어ML을 통해서 개발자들이 직접 모델을 설계하고 학습하지 않아도 앱에서 많이 쓰는 인공지능 요소들을 코드 몇 줄로 넣을 수 있게 해 주었지요.

하지만 AI의 범위가 넓어지면 연구 목적의 AI가 활성화되고. 앱 개발자들이 독자적인 모델을 만들어서 차별화를 하는 경우들이 늘어나면서 GPU를 직접 활용하는 경우가 늘어나고 있습니다. 애플도 이를 위해서 MLX라는 프레임워크를 만들었고, 이를 통해 AI의 상상력을 펼쳐나가고 있습니다. 더 높은 GPU의 성능이 요구되는 상황입니다. 이제 AI 모델은 단순히 전문가들의 영역이 아니라 LM스튜디오 같은 환경을 통해 적절한 컴퓨터만 있다면 모두에게 똑같이 열려 있습니다.

맥OS나 iOS 등 운영체제는 이렇게 다양한 AI 분야에서 가장 적절한 유닛으로 일을 처리하도록 결정합니다. 스스로 판단을 내리기도 하고, 앱 개발자가 원하는 방식으로 GPU나 뉴럴 엔진을 선택할 수도 있습니다. 독자적인 모델을 운영한다면 아마도 뉴럴 액셀러레이터를 품은 GPU를 선호하게 되겠지만 애플의 파운데이션 모델들도 GPU를 함께 쓰면서 더 똑똑한 인공지능 기술들을 보여주게 될 겁니다. 이번 WWDC에서 가장 주목해야 하는 부분도 바로 애플이 내놓을 파운데이션 모델의 확장입니다.

역량 아니라 성능의 발전, 기존 칩에서도 AI 경험 이어갈 것

그렇다면 이 칩을 쓰지 않는 기기는 어떻게 될까요? 저도 M5 칩으로 AI 성능 테스트를 해 보니 그 놀라움만큼이나 당장 쓰고 있는 M4 이전의 기기들이 덜컥 걱정되더군요. 애플의 하드웨어, 운영체제, 그리고 소프트웨어 생태계가 만들어내는 통합 경험은 대단하지만 다른 한편으로는 어쩔 수 없이 더 나은 경험을 위해 ‘리거시’로 불리는 이전 세대의 경험에 선을 긋기도 합니다.

“모든 애플 실리콘 기반의 맥은 여전히 높은 성능을 내고 있고 AI 관련된 일들도 충분히 잘 처리하고 있습니다. 세대를 가리지 않고 최신의 프레임워크는 모두가 공통으로 쓸 수 있습니다. 다만 그 성능과 처리 속도의 차이가 있는 것입니다. 이건 역량(Capability)이 아닌 성능(Performance)의 차이에 가깝습니다.”

M1부터 M4까지는 반도체 미세공정, 그리고 구조의 확장성을 통해서 성능을 높여 왔습니다. M5 역시 큰 틀에서는 같은 흐름을 갖고 있지만 AI 연산에 대한 시장의 요구를 더한 엔진이 한 가지 더해졌을 뿐 할 수 있는 일은 같다는 이야기입니다. 또한 애플은 계속해서 모든 세대의 기기를 지원할 것이라고 합니다.

“M5와 A19 시리즈는 이전 칩에 비해서 온 디바이스로 언어 모델이나 이미지 생성 속도를 높이고, 직접적인 AI 처리 능력을 높이는 성능적인 차이가 더 큽니다. 하지만 애플의 목표는 온 디바이스 뿐 아니라 필요에 따라 클라우드를 이용하는 하이브리드 모델을 통해서 모든 기기에 높은 AI 경험을 만들어주는 데에 있습니다.”

애플 인텔리전스와 함께 소개됐던 ‘프라이빗 클라우드 컴퓨트’를 기억하시나요? 애플은 AI 처리를 위해서 기기 안에서 더 많은 것들을 하지만 더 높은 성능이 필요한 부분에는 클라우드의 컴퓨팅 파워를 이용해서 처리하도록 한 것이지요. AI 성능의 격차가 기기와 소프트웨어 경험을 더 크게 가른다면 이를 더 적극적으로 이용할 수 있는 기술적인 채비도 마련되어 있다는 이야기로 풀어볼 수 있습니다.

’해야 할 일’에서 거꾸로 거슬러 오는 반도체 설계, 애플의 가장 큰 무기

애플의 반도체 구조를 담은 다이 포토를 보는 것은 요즘 가장 재미있는 일 중 하나입니다. 반도체는 지난 수 십 년 동안 미세공정을 통해 트랜지스터를 더 많이 집어넣고, 열 관리를 통해서 더 높은 클럭 속도를 내는 것을 기반으로 발전해 왔습니다. 이후 코어 개수를 늘리는 멀티 코어에 이어 각각의 기능을 맡는 요소들이 더해지면서 기존과는 명확히 다른 방향으로 발전하는 것이 지금의 반도체입니다.

애플은 규격화된 칩을 버리는 대신 완성될 기기에서 필요한 기능과 성능, 역할 등을 바라보고 있고, 원래 각 요소들이 갖고 있는 성능 외에 시스템이 해야 하는 일의 관점에서 중요한 요소들을 칩에 계속해서 반영해 나가고 있습니다. 초기에는 ‘아무리 통합 칩의 성능이 높다고 해도 게이밍과 AI가 성장하는 상황에서 외장 GPU를 쓰지 않는 시스템이 맞는 건가’라는 의문도 있었지만 그 요소들을 미디어 엔진, 뉴럴 가속기, 다이내믹 캐싱 등을 더해 역할 관점에서 풀어내는 것이 현재 애플의 전략입니다. 그 안에는 여전히 메모리 하나를 중심에 두는 통합 메모리 구조, 그리고 시스템 전체를 잘 반영하는 운영체제와 개발 환경이 있습니다.

현재의 애플은 그 어느 때보다 투명하게 반도체와 앱 생태계를 통해 기기가 바라보는 방향성을 설명하고 있습니다. 더그 브룩스 프로덕트 매니저와의 대화로 그 생각들도 더 명확해졌습니다. 오랫동안 반도체, 그리고 그 안에서도 프로세서의 구조에 관심을 갖고 있었던 입장에서 애플의 반도체는 상상할 수 있는 모든 형태의 진화를 거듭하며 애플에게 가장 큰 무기가 되고 있다는 것을 다시 한 번 확인할 수 있는 계기가 되었습니다.

이제 남은 것은 WWDC26을 통해 보여질 새로운 애플 인텔리전스와 파운데이션 모델, 그리고 이를 하나로 이어줄 소프트웨어적인 접근성이 되겠지요. 올해 키노트가 더 기대되는 이유입니다.