Model2026년 9월 1일

AI 모델 파라미터 활용 기법에 대한 이해

#dense-model#mixture-of-experts#state-space-model#model-architecture#parameter-activation

모델 하나를 고를 때 파라미터 수만 보고 판단하기 어려운 이유는 그 파라미터를 실제로 얼마나, 어떻게 쓰는지가 모델마다 다르기 때문이다. 입력 토큰 하나가 들어올 때 모델 전체 파라미터를 다 동원하는 방식이 있고 그중 일부만 골라 쓰는 방식이 있으며 아예 개별 토큰을 다 붙들고 있지 않고 지나온 맥락을 압축된 상태로만 들고 가는 방식도 있다. 이 차이를 기준으로 나누면 AI 모델의 아키텍처는 크게 Dense, MoE(Mixture of Experts), SSM(State Space Model) 세 갈래로 정리된다.

세 아키텍처를 가르는 질문은 단순하다. 토큰 하나를 처리할 때 모델이 가진 파라미터 중 몇 퍼센트가 실제로 계산에 관여하느냐다. 이 비율은 그대로 추론 비용, 메모리 사용량, 지연 시간과 직결되기 때문에 모델을 파라미터 총량이 아니라 활성화 방식으로 나누는 것이 실무적으로 더 유용한 분류가 된다. Dense는 이 비율이 사실상 100%이고 MoE는 총 파라미터 중 일부만 선택적으로 켜지며 SSM은 애초에 토큰별로 파라미터를 나눠 쓰는 문제가 아니라 시퀀스를 처리하는 방식 자체를 바꿔서 연산량과 메모리 곡선을 다르게 그린다.

이 글은 세 방식이 각각 어떤 문제를 풀려고 등장했는지, 기능과 성능 측면에서 서로 어떤 장단점을 갖는지, 그리고 어떤 응용 환경에 가장 잘 들어맞는지를 순서대로 짚는다.

기본값에서 출발하다: Dense

Dense는 입력이 무엇이든 모델의 모든 파라미터가 매 토큰마다 관여하는 가장 단순한 구조다. 신경망 기반 언어 모델이 출현한 이후 지금까지 가장 오래 쓰여 온 기본값이고 지금도 여러 모델이 이 구조를 그대로 따른다.

Dense가 오래 표준으로 자리 잡은 배경은 단순함에 있다. 모든 파라미터가 항상 관여하므로 학습이 안정적이고 추론 결과의 지연 시간을 예측하기 쉬우며 분산 학습이나 서빙 인프라를 설계할 때 고려해야 할 변수가 상대적으로 적다. 모델 성능을 올리는 방법도 직관적이다. 파라미터 수를 늘리고 그만큼 데이터와 연산을 투입하면 성능이 예측 가능한 곡선을 그리며 좋아진다는 점이 초기 스케일링 연구를 통해 널리 확인되면서 Dense 구조를 키우는 방향이 한동안 업계의 기본 전략이 됐다.

문제는 이 단순함이 곧 비용으로 직결된다는 것이다. 파라미터를 늘릴수록 학습과 추론에 드는 연산량이 거의 비례해서 늘어난다. 여기에 더해 어텐션 기반 구조를 그대로 쓰는 Dense 모델은 시퀀스 길이가 길어질수록 연산량이 제곱에 가깝게 증가하는 문제를 함께 짊어진다. 즉 모델을 더 똑똑하게 만들고 싶을 때도 더 긴 문맥을 다루고 싶을 때도 비용이 거의 그대로 따라 올라간다는 것이 Dense 구조의 근본적인 한계다.

이런 특성 때문에 Dense는 모델 크기가 상대적으로 작거나 중간 규모인 환경, 그리고 지연 시간의 예측 가능성과 배포의 단순함이 성능 극대화보다 중요한 환경에 잘 맞는다. 온디바이스나 엣지 환경처럼 복잡한 라우팅 인프라를 두기 어려운 곳 그리고 파인튜닝과 서빙 파이프라인을 최대한 단순하게 유지해야 하는 환경이 대표적이다.

큰 용량과 적은 연산량 사이: MoE

MoE는 Dense의 근본적인 딜레마, 즉 모델 용량을 키우면 연산 비용도 그만큼 커진다는 문제에서 출발한다. 발상은 이렇다. 모델 안에 여러 개의 전문화된 서브 네트워크, 즉 전문가(expert)를 두고 토큰마다 라우터가 그중 일부만 골라 활성화시키면 전체 파라미터 수를 늘려 모델의 표현력을 키우면서도 토큰 하나를 처리하는 데 드는 실제 연산량은 낮게 유지할 수 있다.

이 구조의 핵심 이점은 총 용량과 연산 비용을 분리해 낸다는 데 있다. 파라미터 총량은 Dense 모델보다 훨씬 커질 수 있지만 토큰 하나당 활성화되는 파라미터는 그 일부에 그치므로 같은 연산 예산 안에서 더 큰 모델 용량을 확보할 수 있다. 여러 전문가가 서로 다른 패턴이나 영역에 특화되도록 학습되면서 특정 작업에서 Dense보다 나은 품질을 보이는 경우도 관찰된다.

다만 이 구조는 새로운 종류의 복잡성을 함께 끌고 온다. 토큰을 어느 전문가로 보낼지 정하는 라우팅 학습이 불안정해지기 쉽고 특정 전문가에만 트래픽이 쏠리는 부하 불균형 문제를 별도로 관리해야 한다. 서빙 단계에서도 실제로 계산에 쓰이는 파라미터는 일부뿐이지만 어떤 토큰이 어느 전문가로 갈지 미리 알 수 없기 때문에 전체 전문가를 메모리에 올려 두어야 하고 여러 장치에 전문가를 분산시키는 익스퍼트 병렬화와 그 사이의 통신 오버헤드까지 인프라 설계에 포함시켜야 한다.

이런 특성 때문에 MoE는 최대한의 모델 용량이 필요하면서 그 용량을 감당할 분산 서빙 인프라를 이미 갖췄거나 갖출 수 있는 환경에 가장 잘 맞는다. 프론티어 규모의 대형 모델을 지으면서도 평균적인 토큰당 연산 비용을 낮게 유지해야 하는 경우, 그리고 다양한 성격의 작업을 하나의 모델로 커버하면서 전문가별 특화로 이득을 볼 수 있는 경우가 대표적이다.

시퀀스 길이의 벽을 넘다: SSM

SSM은 Dense나 MoE와는 아예 다른 지점을 문제 삼는다. Dense와 MoE는 모두 어텐션 메커니즘을 기반으로 시퀀스를 처리하는데, 어텐션은 시퀀스 안의 모든 토큰 쌍 사이의 관계를 계산하기 때문에 시퀀스가 길어질수록 연산량과 메모리 사용량이 제곱에 가깝게 늘어난다. 이 한계가 긴 문서나 실시간 스트리밍처럼 시퀀스 길이 자체가 큰 응용에서 병목으로 작동한다는 문제의식에서 SSM이 등장했다.

SSM의 접근 방식은 토큰 쌍 사이의 관계를 매번 다시 계산하는 대신 지나온 시퀀스 정보를 고정된 크기의 상태(state)로 압축해서 이어 나가는 것이다. 새 토큰이 들어오면 이 상태를 갱신하는 방식으로 시퀀스를 처리하기 때문에 시퀀스 길이에 따른 연산량 증가가 어텐션보다 훨씬 완만하고 자기회귀적으로 토큰을 생성할 때 유지해야 하는 메모리도 시퀀스 길이와 무관하게 일정한 크기로 유지된다.

다만 이 구조의 이점에는 대가가 함께 따른다. 상태를 고정된 크기로 압축해서 유지하다 보니 시퀀스 전체에 걸쳐 특정 토큰을 정확히 다시 불러오거나 문자 그대로 복사해야 하는 작업에서는 모든 토큰 쌍을 직접 비교할 수 있는 어텐션 기반 구조에 비해 정확도가 떨어지는 경향이 관찰된다. 압축이라는 이점 자체가 세부 정보의 손실 가능성과 맞닿아 있는 셈이다.

이런 특성 때문에 SSM은 매우 긴 문서나 로그, 유전체 데이터처럼 시퀀스 길이 자체가 매우 긴 입력을 다뤄야 하는 응용, 그리고 지연 시간과 메모리 사용량이 빠듯한 실시간 스트리밍이나 엣지 추론 환경에 특히 잘 맞는다. 반대로 시퀀스 안의 특정 지점을 정밀하게 되짚어야 하는 작업에서는 아직 어텐션 기반 구조를 완전히 대체하기 어렵다는 평가가 우세하다.

세 방식을 가르는 기준: 무엇이 얼마나 켜지는가

세 아키텍처를 나란히 놓고 보면 각각이 서로 다른 축을 최적화하고 있다는 것이 드러난다. Dense는 단순함과 예측 가능성을 최적화한다. 파라미터를 늘리는 만큼 연산 비용도 그대로 늘어나는 것을 감수하는 대신 학습과 서빙의 복잡도를 낮게 유지한다. MoE는 용량과 연산 비용을 분리하는 방향으로 최적화한다. 그 대가로 라우팅과 분산 인프라라는 새로운 복잡성을 떠안는다. SSM은 시퀀스 길이에 대한 확장성을 최적화한다. 그 대가로 특정 토큰을 정확히 짚어내는 정밀 참조 능력의 일부를 내준다.

세 방식이 서로 배타적이지 않다는 점도 중요하다. 최근에는 어텐션 기반 계층과 SSM 계층을 함께 배치하고 그 위에 MoE 방식의 피드포워드 계층을 얹어 각 방식의 강점만 골라 취하려는 하이브리드 구조 시도가 늘고 있다. 이는 세 아키텍처가 서로 경쟁하는 대안이라기보다 하나의 모델 안에서 조합할 수 있는 설계 축에 가깝다는 것을 보여준다.

정리 및 요약

파라미터 활성화 방식으로 AI 모델을 나눠 보면 각 아키텍처가 어떤 문제의식에서 출발했는지가 뚜렷하게 드러난다. Dense는 가장 단순한 기본값으로 시작해 지금도 예측 가능성과 배포 단순함이 중요한 환경에서 자리를 지키고 있다. MoE는 모델 용량과 연산 비용을 분리하려는 시도에서 나와 대규모 서빙 인프라를 갖춘 환경에서 진가를 발휘한다. SSM은 시퀀스 길이라는 벽을 넘으려는 시도에서 나와 긴 문맥과 실시간 처리가 중요한 환경에서 두각을 보인다.

세 방식 모두 완전한 정답은 아니다. Dense는 규모의 경제 앞에서 비용 부담이 크고 MoE는 라우팅과 인프라의 복잡성을 감당해야 하며 SSM은 토큰 단위의 정밀 참조 능력에서 아직 타협이 필요하다. 결국 어떤 아키텍처를 고를지는 모델 하나로 모든 것을 해결하려는 접근보다 자신의 응용 환경이 요구하는 축, 즉 연산 비용과 모델 용량과 시퀀스 길이 중 무엇을 가장 우선할 것인지를 먼저 가려내는 데서 시작해야 한다.

참고 자료

← Blog