GPU 대신 맥미니? 개발자들이 로컬 AI(LLM)용으로 맥북을 사는 이유
0. 서론
요즘 AI에 대한 수요가 많아지면서 LLM을 구독형으로 프론티어 모델을 사용하는 것이 아니라
자신이 소유하고 있는 기기에서 구동을 하려는 소비자들이 증가하고 있습니다.
"나는 ChatGPT나 Claude, Gemini처럼 되게 좋은 성능까지는 필요 없는데 사용량이 많아서 토큰이 부족해"
위와 같은 문제를 해결하기 위한 방법으로 자신이 직접 AI를 구동할 장비를 구축 또는 구매하여
프론티어 모델과는 다르게 자신이 직접 구축한 환경에서는 무제한으로 토큰을 사용할 수 있다는 것입니다.
그런데 여기에서 궁금한 점은 "대부분의 AI는 특별히 제작된 AI용 연산 서버에서 구동되는 것이 아닌가요?
그런데 왜 소비자들은 연산 서버로 설계되지 않은 애플(Apple)의 맥미니와 맥북을 구매하는 것인가요?"
이런 의문을 가지게 됩니다.
1. AI 구동의 핵심 장벽: VRAM(비디오 메모리) 용량
LLM(대규모 언어 모델)을 내 기기에서 원활하게 돌리려면 연산 속도도 중요하지만,
모델 전체를 메모리에 올려둘 수 있는 넉넉한 'VRAM(비디오 메모리)' 공간이 필수적입니다.
파라미터(매개변수)가 70B(700억 개) 수준인 제법 성능 좋은 모델을 구동하려면 최소 40GB 이상의 VRAM이 요구됩니다.
일반 데스크톱 PC에서 이 정도 용량을 맞추려면 24GB짜리 최고 사양 그래픽카드(RTX 4090 등)를 두 대 이상 연결해야 합니다.
개인 단위에서는 장비 가격만 수백만 원이 훌쩍 넘어가고 전력 소모도 감당하기 어렵습니다.
2. 애플 실리콘의 '통합 메모리' 구조
애플의 M 시리즈 칩셋(M1~M4)은 CPU 램과 GPU 램의 물리적인 경계를 없앤
'통합 메모리(Unified Memory)' 방식을 사용합니다.
이 점이 로컬 AI를 돌릴 때 엄청난 강점으로 작용합니다. 만약 64GB 램이 탑재된 맥미니나 맥 스튜디오를
구매하면, 이 64GB 중 대부분을 VRAM처럼 활용할 수 있습니다. 즉, 비싼 외장 그래픽카드를 여러 대 구매할
필요 없이, 고용량 램 옵션을 선택한 맥 한 대만 있으면 무거운 AI 모델을 거뜬히 구동할 수 있는 것입니다.
또한, 전력 소모와 발열, 팬 소음이 일반 데스크톱 서버에 비해 현저히 적기 때문에 방이나 거실에 상시 켜두고 홈서버 형태로 활용하기에도 유리합니다.
하지만 GPU 전용 VRAM이 아니라 DRAM 계열을 사용하여 LLM이 토큰을 생성하는 속도는 낮아
프론티어 모델 또는 전용 GPU에서 구동되는 LLM보다는 답변이 천천히 나오겠지만
자신만의 AI를 사용하고 토큰이 무제한이라는 엄청난 장점으로 인해 많은 소비자들이 선택하고 있습니다.
아래는 어떤 유저가 비행기에서 맥북을 활용하는 영상입니다.
단순한 맥북이 아니라 고용량의 RAM을 탑재한 맥북에 최신 오픈소스 LLM을 구축하여
인터넷이 없어도 AI를 활용할 수 있다는 것과 오픈소스 LLM도 잘 사용하면 충분히
사용할 수 있다는 것을 증명한 영상으로 유명해졌습니다.
3. 직접 구축할 만한 오픈소스 AI 모델
하드웨어 요건이 맞춰졌다면 Ollama, LM Studio 같은 무료 소프트웨어를 통해 복잡한 세팅 없이
오픈소스 모델을 구동할 수 있습니다.
현재 가장 많이 쓰이는 세 가지 모델을 추천합니다.
Llama 3 (Meta): 현재 오픈소스 AI 생태계의 표준격인 모델입니다. 8B 버전은 램 16GB의 맥북 에어에서도 가볍고 빠르게 돌아가며, 70B 버전은 코딩이나 논리적 추론 능력이 뛰어나 개발자들이 주로 활용합니다.
Qwen3.5 (Alibaba): 최근 각종 벤치마크 테스트에서 두각을 나타내는 모델입니다. 특히 수학, 코딩 능력이 뛰어나며, 모델 용량 대비 성능이 준수해 사양이 다소 낮은 맥 환경에서도 효율적으로 작동합니다.
Gemma 4 (Google): 최근 구글에서 Apache 2.0 라이선스로 완전 개방한 최신 AI 모델입니다.
텍스트뿐만 아니라 이미지와 오디오까지 처리할 수 있는 멀티모달 기능이 특징입니다.
특히 노트북 환경에 맞춰 시스템 자원을 극도로 적게 쓰도록 설계된 경량화 버전(E2B, E4B)이 있어,
구형 맥북에서도 발열 없이 가볍게 추론과 코딩 보조 작업을 수행할 수 있습니다.
저는 제일 최근에 출시된 Gemma4를 사용했었는데 간단한 지식 질문이나 영어 번역, 구현하기 쉬운 기능을 코딩으로 구현할 때는 나쁘지 않게 사용하였습니다.
마치며
구독형 AI 서비스도 훌륭하지만, 회사 기밀이나 개인의 민감한 데이터를 외부 서버에 전송하는 것이 껄끄러운 상황에서 '온디바이스 AI'는 현실적인 대안이 되고 있습니다.
고용량 램을 탑재한 맥 기기들은 이러한 로컬 AI 환경을 구축하는 데 있어 전력 효율과 세팅의 편의성 측면에서 꽤 합리적인 선택지입니다.
긴글 읽어주셔서 감사합니다.
댓글
댓글 쓰기