Qwen 3.5-397B MoE, Ironwood TPU7x에서 극대화된 성능의 비밀

최근 대규모 언어 모델(LLM)의 복잡도가 기하급수적으로 증가하면서, 이들을 효율적으로 배포하고 서비스하는 것이 단순한 하드웨어 증설을 넘어선 시스템 엔지니어링의 영역이 되었습니다. 특히 3970억 개에 달하는 파라미터를 가진 Qwen 3.5 Mixture-of-Experts (MoE) 모델과 같은 초거대 모델을 Ironwood (TPU7x) 플랫폼에 최적화하는 과정은 매우 깊이 있는 기술 접근을 요구합니다.

본 글에서는 Qwen 3.5 MoE 최적화를 통해 사전 채우기(prefill) 중심 워크로드에서 최대 4.7배의 추론 속도 향상을 달성한 구체적인 시스템 엔지니어링 플레이북을 분석했습니다. 이는 단순히 몇 가지 설정을 변경하는 수준이 아니라, JAX/Pallas 기반의 모듈식 최적화 스택과 하이브리드 병렬화 전략, 그리고 로우레벨 커뮤니케이션 퓨전 기술이 결합된 결과물입니다. 이러한 혁신은 AI 모델 배포의 새로운 표준을 제시하며, HBM 대역폭과 TensorCore MXU 같은 핵심 자원을 이론적 한계까지 끌어올리는 데 기여했습니다.

※ AI로 생성된 이미지입니다

하드웨어 제약을 극복한 하이브리드 병렬화 전략

Qwen 3.5-397B MoE와 같은 방대한 모델을 TPU7x 같은 전문 가속기에 올릴 때 마주하는 가장 큰 난관 중 하나는, 약 400GB에 달하는 모델 가중치를 고대역폭 메모리(HBM)에 안정적으로 로드하고 하드웨어 활용률을 극대화하는 것입니다. 이 문제를 해결하기 위해 엔지니어들은 ‘하이브리드 데이터 병렬화(Data Parallelism)’와 ‘전문가 병렬화(Expert Parallelism, DP+EP)’ 토폴로지를 결합하여 도입했습니다. 이는 기존의 하드웨어 샤딩 제약을 넘어서는 설계 방식으로, 각 TPU 코어가 데이터 처리와 특정 전문가 모델 처리를 동시에 맡도록 구조화한 것입니다.

이러한 전략을 실제로 구현하는 데 핵심 역할을 한 것이 JAX/Pallas를 활용한 맞춤형 커널 개발입니다. 나아가 ‘계층적 리듀스-스캐터(hierarchical reduce-scatter)’와 같은 저수준 통신 퓨전 기술은 디바이스 간 토큰 라우팅을 최적화하여 통신 과정에서 발생하는 오버헤드를 최소화했습니다.

흥미로운 점은, 이러한 접근 방식이 모델의 ‘희소한 라우팅 스킴’이라는 Qwen 3.5의 특성을 극대화했다는 부분입니다. 즉, 3970억 개의 파라미터 중 토큰 하나를 처리할 때 실제로 활성화되는 파라미터가 약 170억 개에 불과합니다. 이 낮은 라우팅 활성화 비율(약 4.3%)을 활용하여, 거대한 모델의 표현력은 유지하면서도 마치 20B급 시스템에서 구동하는 듯한 추론 속도를 달성할 수 있었습니다.

※ AI로 생성된 이미지입니다

맞춤형 커널과 워크플로우를 통한 HBM 대역폭 포화

성능을 한 단계 끌어올리기 위해, 개발팀은 하드웨어의 특성을 깊이 이해한(hardware-aware) 맞춤형 커널을 개발하고 이를 실제 서비스 워크플로우에 녹여내는 작업에 집중했습니다. 이 과정에서 ‘Batched Ragged Page Attention (RPA)’이나 완전히 통합된 ‘Gated DeltaNet (GDN)’ 블록과 같은 커널들이 JAX/Pallas를 이용해 구현되었습니다.

특히 Batched RPA는 길이가 제각기인 시퀀스(불규칙한 길이)도 효율적으로 처리하여 HBM 대역폭 활용률을 높이는 데 기여했습니다. 또한, GDN 블록은 Qwen 3.5가 가진 고유의 선형 어텐션 구조와 게이팅 컴포넌트를 직접 겨냥해 연산 효율 자체를 끌어올렸습니다.

다음은 이러한 커널 개발의 개념적인 흐름을 보여주는 예시입니다:

“`python

import jax

import jax.numpy as jnp

from jax.experimental import pallas as pl

예시: Gated DeltaNet (GDN) 블록의 일부를 JAX/Pallas로 구현

def gated_delta_net_kernel(x, gate_weight, delta_weight):

def body(idx, acc):

Pallas를 사용하여 HBM에 직접 접근하고 연산을 최적화하는 로우레벨 과정입니다.

g = x @ gate_weight # 게이팅 연산

d = x @ delta_weight # 델타 연산

return jnp.maximum(0, g) * d # GDN 활성화 함수 예시

Pallas를 통한 커널 컴파일 및 실행을 통해 하드웨어에 최적화된 연산을 수행합니다.

return jax.lax.fori_loop(0, 1, body, jnp.zeros_like(x))

GDN 블록을 포함하는 Qwen 3.5 모델 레이어의 워크플로우 개념

def qwen_layer(input_tensor, params):

attention_output = batched_ragged_page_attention(input_tensor, params.attn_weights)

gdn_output = gated_delta_net_kernel(attention_output, params.gdn_gate, params.gdn_delta)

return gdn_output + input_tensor # 잔여 연결 등

이처럼 모듈화된 커널들은 모델 아키텍처의 특정 병목 지점을 정밀하게 공략합니다.

“`

이러한 하드웨어 인지 커널들은 Qwen 3.5 모델의 구조적 특성, 특히 GDN 선형 어텐션과 어텐션 데이터 병렬화를 효과적으로 활용했습니다. 그 결과, HBM 대역폭과 TensorCore MXU를 포화시키며 시스템 처리량을 이론적인 루프라인 한계(roofline limits)까지 끌어올리는 데 성공한 것입니다. 더 나아가 이 방법론은 특정 모델에 갇히지 않고, 모듈화된 JAX/Pallas 커널 라이브러리를 구축하여 새로운 아키텍처가 등장해도 ‘제로 엔지니어링 마찰’ 수준으로 포팅할 수 있는 확장 가능한 전략을 제시합니다.

※ AI로 생성된 이미지입니다

AI 모델 배포의 새로운 표준: 성능 및 확장성

이러한 시스템 엔지니어링 플레이북을 적용하자, Qwen 3.5 MoE 모델의 추론 성능에 눈에 띄는 개선이 있었습니다. 실제로 최적화를 거치면서, 디코드 중심(decode-heavy) 워크로드에서는 약 3.1배, 사전 채우기(prefill-heavy) 워크로드에서는 최대 4.7배의 추론 성능 향상(512 동시성 티어 기준)을 기록했습니다. 이는 단순히 속도가 빨라졌다는 의미를 넘어, AI 서비스의 경제성과 확장성을 근본적으로 변화시키는 수준입니다.

다시 한번 강조하자면, Qwen 3.5-397B MoE 모델은 3970억 개의 파라미터 중 실제로는 토큰당 약 170억 개의 파라미터만 사용하는 희소 라우팅 방식을 사용합니다. 이 낮은 활성화 비율 덕분에, 400B급 모델의 잠재력을 유지하면서도 마치 20B급 모델을 구동하는 것 같은 빠른 실행 속도를 구현할 수 있었습니다. 이러한 효율성은 대규모 배포 시 발생하는 막대한 운영 비용 부담을 크게 줄여줄 것으로 보입니다.

더 의미 있는 점은, 이 모듈식 최적화가 vLLM이나 SGLang 같은 이미 널리 쓰이는 오픈소스 서빙 프레임워크에 기본적으로 통합될 수 있다는 사실입니다. 이는 레거시 소프트웨어의 장벽을 허물고, 전 세계 기업들이 자신들의 워크로드에 AI를 원활하게 탑재할 수 있는 ‘프로덕션 준비된 마이그레이션 경로’를 제공합니다.

※ AI로 생성된 이미지입니다

마치며: AI 시스템 엔지니어링의 미래와 당신의 역할

Qwen 3.5-397B MoE 모델을 Ironwood (TPU7x) 환경에서 최적화한 사례는, 현시대 LLM 배포에 있어 ‘시스템 엔지니어링’이 얼마나 결정적인 역할을 하는지를 명확히 보여줍니다. 단순히 뛰어난 모델을 확보하는 것만으로는 부족하며, 그 모델을 특정 하드웨어 위에서 어떻게 가장 효율적으로 구동시킬지에 대한 깊은 이해와 정교한 기술 플레이북이 요구되는 시점입니다.

궁극적으로 이 경험은 특정 모델에 국한된 해결책이라기보다, 미래의 복잡하고 거대한 AI 모델들에도 적용 가능한 ‘범용적인 시스템 엔지니어링 방법론’을 제시하며, AI 인프라 전체의 플랫폼 수준 확장성을 목표로 하고 있습니다.