Author
초록
Speculative Decoding은 초안(draft) 생성과 타깃(target) 검증을 분리함으로써 대규모 언어 모델(LLM)의 추론 속도를 가속하는 기법이다. 최근 제안된 병렬 초안 생성기(parallel drafter)는 단 한 번의 forward pass로 긴 토큰 시퀀스를 효율적으로 생성할 수 있지만, 토큰 간 의존성을 충분히 반영하지 못해 수용률(acceptance)이 시퀀스 후반부에서 급격히 감소하는 문제가 있다. 또한 이러한 긴 초안 블록을 무차별적으로 검증하면, 거부될 가능성이 높은 토큰에도 귀중한 배치(batch) 자원이 소모되어 높은 동시성(concurrency) 환경의 서빙 시스템에서 처리량(throughput)이 크게 저하된다.
본 논문에서는 높은 처리량의 병렬 생성과 적응적(load-aware) 검증을 통합한 speculative decoding 프레임워크인 DSpark를 제안한다. 초안의 품질을 유지하기 위해 DSpark는 병렬 백본(parallel backbone) 과 경량 순차 모듈(lightweight sequential module) 을 결합한 반(半)자기회귀(semi-autoregressive) 구조를 사용한다. 이를 통해 블록 내부 토큰 간 의존성을 모델링하여 시퀀스 후반부에서 발생하는 품질 저하(suffix decay)를 완화한다.
또한 시스템 효율을 높이기 위해 DSpark는 신뢰도 기반 검증(confidence-scheduled verification) 기법을 도입한다. 이 기법은 각 요청에 대해 예상되는 접두부(prefix) 생존 확률과 추론 엔진의 처리량 특성을 바탕으로 검증할 토큰 길이를 동적으로 결정한다.
다양한 도메인에서 수행한 오프라인 벤치마크 결과, DSpark는 기존의 최첨단 자기회귀 및 병렬 초안 생성기보다 실제로 수용되는 토큰 길이(accepted length) 를 크게 향상시켰다. 또한 실제 사용자 트래픽이 흐르는 DeepSeek-V4 서빙 시스템에 배포한 결과, DSpark는 불필요한 검증으로 인한 자원 낭비를 효과적으로 줄였다. 기존의 프로덕션 기준 모델인 MTP-1과 비교했을 때, 동일한 처리량 수준에서 사용자별 생성 속도를 60~85% 향상시켰다. 더욱 중요한 점은, 엄격한 응답성(interactivity) 요구사항에서도 심각한 처리량 저하를 방지함으로써 기존에는 달성할 수 없었던 성능 영역을 가능하게 하여 서빙 시스템의 Pareto frontier를 확장했다는 것이다.
커뮤니티의 연구 발전을 위해 저자들은 DSpark 체크포인트와 함께, speculative decoding을 위한 알고리즘 중심의 학습 저장소인 DeepSpec을 오픈소스로 공개한다.
1. 서론
대규모 언어 모델(LLM)은 자기회귀(autoregressive) 방식으로 텍스트를 생성한다. 즉, 새로운 토큰 하나를 생성할 때마다 이전까지 생성된 모든 토큰을 조건으로 하는 전체 forward pass가 필요하므로, 추론 지연(latency)은 출력 길이에 비례하여 증가한다. 이로 인해 GPU 활용률이 낮아지고 사용자가 체감하는 응답 시간이 길어지며, 특히 실시간 대화형 비서나 멀티턴 에이전트(agentic) 워크플로우처럼 지연에 민감한 서비스에서는 이러한 문제가 실제 LLM 서빙의 핵심 병목으로 작용한다.
Speculative Decoding(Chen et al., 2023; Leviathan et al., 2023)은 이러한 문제를 해결하기 위한 원리적인 접근법이다. 먼저 경량 초안 모델(draft model) 이 후보 토큰 블록을 생성하고, 이후 대형 타깃 모델(target model) 이 rejection sampling을 이용해 전체 블록을 한 번의 forward pass로 검증한다. 이 과정에서 타깃 모델의 분포와 일치하는 가장 긴 접두부(longest prefix) 를 수용(accept)하고, 추가적으로 보너스 토큰(bonus token) 하나를 생성한다. 검증은 병렬적으로 수행되며, 이러한 수용 규칙은 타깃 모델의 출력 분포를 정확하게 유지하므로, 생성 품질의 손실 없이 추론 속도만 향상시킬 수 있다.
초안 모델의 설계는 초안 생성 시간(drafting latency) 과 수용률(acceptance rate) 사이의 균형을 결정한다. 초기의 초안 생성기(drafter)는 자기회귀 방식(Cheng et al., 2024; Li et al., 2024b)을 사용하여 각 위치의 토큰을 이전에 생성된 토큰에 조건부로 생성하였다. 하지만 이러한 방식에서는 초안 생성 시간이 블록 길이에 선형적으로 증가하므로, 짧은 블록과 얕은 모델 구조만 사용할 수 있다는 한계가 있다.
이러한 순차적 병목을 해결하기 위해 병렬 초안 생성기(parallel drafter) (Cai et al., 2024; Chen et al., 2026; Liu et al., 2026a)가 등장하였다. 병렬 생성기는 모든 위치의 토큰을 한 번의 forward pass 에서 동시에 생성하므로, 초안 생성 시간은 블록 길이에 거의 영향을 받지 않는다. 이러한 구조적 장점 덕분에 훨씬 긴 초안 블록을 효율적으로 생성할 수 있다.
하지만 긴 병렬 초안 블록의 잠재력을 충분히 활용하기 위해서는 두 가지 핵심 병목이 존재한다. 하나는 생성 품질이고, 다른 하나는 시스템 효율성이다.
첫째, 병렬 생성기는 각 위치를 서로 독립적으로 예측하기 때문에 블록 내부의 토큰 간 의존성(inter-token dependency) 을 학습할 수 없다. 이러한 독립성은 다중 모드 충돌(multi-modal collisions) 을 유발하며, 시퀀스 후반부에서 수용률이 급격히 감소하는 acceptance decay 문제를 초래한다(Gu et al., 2018; Huang et al., 2022b).
둘째, 얼마나 긴 초안 블록을 검증해야 하는지를 결정하는 것도 중요한 문제이다. 병렬 생성기는 긴 초안을 쉽게 생성할 수 있지만, 생성된 모든 토큰을 무조건 검증하면 특히 높은 동시성(concurrency) 환경에서 시스템 처리량이 크게 감소한다(Hu et al., 2026; Liu et al., 2024c).
최적의 검증 길이는 두 가지 요인에 의해 결정된다.
데이터 측면에서는 코드 생성처럼 구조가 명확한 작업은 일반적인 대화보다 높은 수용률을 유지한다(Abramovich et al., 2026; Xia et al., 2024).
시스템 측면에서는 부하가 낮을 때는 추가 토큰을 검증하는 비용이 거의 없지만, 부하가 높은 상황에서는 거부될 가능성이 높은 토큰을 검증하는 것이 다른 요청을 처리할 수 있는 중요한 배치 자원을 낭비하게 된다(Liu et al., 2024b; Wu et al., 2025).
이러한 문제를 해결하기 위해 본 논문에서는 DSpark를 제안한다. DSpark는 고처리량 병렬 생성(high-throughput parallel generation) 과 적응적(load-aware) 검증을 하나의 speculative decoding 프레임워크로 통합한다.
DSpark의 핵심은 초안 생성과 검증 과정에서 존재하는 근본적인 trade-off를 다음 두 가지 메커니즘으로 해결하는 것이다.
• 1) Semi-autoregressive 구조
토큰 간 의존성이 부족한 문제를 해결하기 위해 DSpark는 반(半)자기회귀(semi-autoregressive) 구조를 채택한다.
계산량이 큰 draft backbone은 완전히 병렬적으로 유지하면서, 그 뒤에 가벼운 순차적(serial) 출력 헤드(output head) 만 추가하여 인접 토큰 간 전이 정보를 반영한다.
이를 통해 병렬 모델의 높은 생성 속도는 유지하면서도 시퀀스 후반부에서 발생하는 suffix decay를 크게 완화한다.
• 2) Confidence-scheduled Verification
시스템 수준의 병목을 해결하기 위해 DSpark는 confidence-scheduled verification을 도입한다.
각 위치의 prefix survival probability(접두부가 검증을 통과할 확률) 를 예측하는 confidence head와 하드웨어 특성을 고려한 scheduler를 결합하여, 요청마다 검증해야 할 토큰 길이를 동적으로 결정한다.
이 scheduler는 실시간 추론 엔진의 처리량 정보를 활용하여 가장 높은 기대효율(expected return)을 갖는 토큰에만 검증 자원을 집중한다.
실험 결과
DSpark는 오프라인 벤치마크와 실제 프로덕션 환경 모두에서 광범위하게 평가되었다.
오프라인 실험은
수학적 추론,
코드 생성,
일반 대화
등 다양한 작업에서 수행되었으며, DSpark는 모든 경우에서 강력한 기존 방법보다 우수한 성능을 보였다.
구체적으로 Qwen3-4B, 8B, 14B 타깃 모델(Yang et al., 2025)에서,
기존 자기회귀 방식인 Eagle3(Li et al., 2026b) 대비 평균 accepted length를 각각
30.9%
26.7%
30.0%
향상시켰다.
또한 병렬 방식인 DFlash(Chen et al., 2026) 대비
16.3%
18.4%
18.3%
더 높은 accepted length를 달성하였다.
단순한 평균 성능뿐 아니라, 위치별(position-wise) 분석을 통해 각 drafter의 생성 특성을 비교한 결과, DSpark는 병렬 모델의 초기 토큰 생성 능력과 자기회귀 모델의 후반부 일관성(suffix coherence) 을 효과적으로 결합하고 있음을 실증적으로 확인하였다.
실제 서비스 환경 평가
DSpark는 DeepSeek-V4(DeepSeek-AI, 2026) 서빙 시스템에도 실제 배포되어 라이브 사용자 트래픽에서 평가되었다.
기존 프로덕션 기준인 MTP-1(DeepSeek-AI, 2024)과 비교하면, DSpark는 시스템의 운영 가능 영역(operation envelope)을 크게 확장하였다.
동일한 전체 처리량 조건에서 사용자별 생성 속도는
V4-Flash: 6085% 향상
V4-Pro: 5778% 향상
되었다.
또한 서비스 수준 협약(SLA)이 매우 엄격한 환경에서는 기존 방식의 처리량이 크게 감소하는 문제가 있었는데,
Flash 모델의 120 TPS
Pro 모델의 50 TPS
환경에서도 DSpark는 검증 오버헤드를 줄여 높은 처리량을 안정적으로 유지하였다.
이러한 성능 절벽(performance cliff)을 극복함으로써, 기존에는 달성할 수 없었던 높은 상호작용성(interactivity) 수준을 실현하였으며, 결과적으로 LLM 서빙 시스템의 Pareto frontier를 확장하였다.
오픈소스 공개
오픈소스 커뮤니티의 연구 발전을 위해 저자들은 다음을 공개한다.
DeepSeek-V4-Flash (preview) 및 DeepSeek-V4-Pro (preview) 용으로 학습된 DSpark 체크포인트
DeepSpec: Eagle3, DFlash, DSpark를 포함하는 알고리즘 중심의 speculative decoding 학습 프레임워크
이러한 공개 자료는 향후 효율적인 LLM 서빙 연구를 촉진하기 위한 기반으로 제공된다.
Author
초록
Speculative Decoding은 초안(draft) 생성과 타깃(target) 검증을 분리함으로써 대규모 언어 모델(LLM)의 추론 속도를 가속하는 기법이다. 최근 제안된 병렬 초안 생성기(parallel drafter)는 단 한 번의 forward pass로 긴 토큰 시퀀스를 효율적으로 생성할 수 있지만, 토큰 간 의존성을 충분히 반영하지 못해 수용률(acceptance)이 시퀀스 후반부에서 급격히 감소하는 문제가 있다. 또한 이러한 긴 초안 블록을 무차별적으로 검증하면, 거부될 가능성이 높은 토큰에도 귀중한 배치(batch) 자원이 소모되어 높은 동시성(concurrency) 환경의 서빙 시스템에서 처리량(throughput)이 크게 저하된다.
본 논문에서는 높은 처리량의 병렬 생성과 적응적(load-aware) 검증을 통합한 speculative decoding 프레임워크인 DSpark를 제안한다. 초안의 품질을 유지하기 위해 DSpark는 병렬 백본(parallel backbone) 과 경량 순차 모듈(lightweight sequential module) 을 결합한 반(半)자기회귀(semi-autoregressive) 구조를 사용한다. 이를 통해 블록 내부 토큰 간 의존성을 모델링하여 시퀀스 후반부에서 발생하는 품질 저하(suffix decay)를 완화한다.
또한 시스템 효율을 높이기 위해 DSpark는 신뢰도 기반 검증(confidence-scheduled verification) 기법을 도입한다. 이 기법은 각 요청에 대해 예상되는 접두부(prefix) 생존 확률과 추론 엔진의 처리량 특성을 바탕으로 검증할 토큰 길이를 동적으로 결정한다.
다양한 도메인에서 수행한 오프라인 벤치마크 결과, DSpark는 기존의 최첨단 자기회귀 및 병렬 초안 생성기보다 실제로 수용되는 토큰 길이(accepted length) 를 크게 향상시켰다. 또한 실제 사용자 트래픽이 흐르는 DeepSeek-V4 서빙 시스템에 배포한 결과, DSpark는 불필요한 검증으로 인한 자원 낭비를 효과적으로 줄였다. 기존의 프로덕션 기준 모델인 MTP-1과 비교했을 때, 동일한 처리량 수준에서 사용자별 생성 속도를 60~85% 향상시켰다. 더욱 중요한 점은, 엄격한 응답성(interactivity) 요구사항에서도 심각한 처리량 저하를 방지함으로써 기존에는 달성할 수 없었던 성능 영역을 가능하게 하여 서빙 시스템의 Pareto frontier를 확장했다는 것이다.
커뮤니티의 연구 발전을 위해 저자들은 DSpark 체크포인트와 함께, speculative decoding을 위한 알고리즘 중심의 학습 저장소인 DeepSpec을 오픈소스로 공개한다.
1. 서론
대규모 언어 모델(LLM)은 자기회귀(autoregressive) 방식으로 텍스트를 생성한다. 즉, 새로운 토큰 하나를 생성할 때마다 이전까지 생성된 모든 토큰을 조건으로 하는 전체 forward pass가 필요하므로, 추론 지연(latency)은 출력 길이에 비례하여 증가한다. 이로 인해 GPU 활용률이 낮아지고 사용자가 체감하는 응답 시간이 길어지며, 특히 실시간 대화형 비서나 멀티턴 에이전트(agentic) 워크플로우처럼 지연에 민감한 서비스에서는 이러한 문제가 실제 LLM 서빙의 핵심 병목으로 작용한다.
Speculative Decoding(Chen et al., 2023; Leviathan et al., 2023)은 이러한 문제를 해결하기 위한 원리적인 접근법이다. 먼저 경량 초안 모델(draft model) 이 후보 토큰 블록을 생성하고, 이후 대형 타깃 모델(target model) 이 rejection sampling을 이용해 전체 블록을 한 번의 forward pass로 검증한다. 이 과정에서 타깃 모델의 분포와 일치하는 가장 긴 접두부(longest prefix) 를 수용(accept)하고, 추가적으로 보너스 토큰(bonus token) 하나를 생성한다. 검증은 병렬적으로 수행되며, 이러한 수용 규칙은 타깃 모델의 출력 분포를 정확하게 유지하므로, 생성 품질의 손실 없이 추론 속도만 향상시킬 수 있다.
초안 모델의 설계는 초안 생성 시간(drafting latency) 과 수용률(acceptance rate) 사이의 균형을 결정한다. 초기의 초안 생성기(drafter)는 자기회귀 방식(Cheng et al., 2024; Li et al., 2024b)을 사용하여 각 위치의 토큰을 이전에 생성된 토큰에 조건부로 생성하였다. 하지만 이러한 방식에서는 초안 생성 시간이 블록 길이에 선형적으로 증가하므로, 짧은 블록과 얕은 모델 구조만 사용할 수 있다는 한계가 있다.
이러한 순차적 병목을 해결하기 위해 병렬 초안 생성기(parallel drafter) (Cai et al., 2024; Chen et al., 2026; Liu et al., 2026a)가 등장하였다. 병렬 생성기는 모든 위치의 토큰을 한 번의 forward pass 에서 동시에 생성하므로, 초안 생성 시간은 블록 길이에 거의 영향을 받지 않는다. 이러한 구조적 장점 덕분에 훨씬 긴 초안 블록을 효율적으로 생성할 수 있다.
하지만 긴 병렬 초안 블록의 잠재력을 충분히 활용하기 위해서는 두 가지 핵심 병목이 존재한다. 하나는 생성 품질이고, 다른 하나는 시스템 효율성이다.
첫째, 병렬 생성기는 각 위치를 서로 독립적으로 예측하기 때문에 블록 내부의 토큰 간 의존성(inter-token dependency) 을 학습할 수 없다. 이러한 독립성은 다중 모드 충돌(multi-modal collisions) 을 유발하며, 시퀀스 후반부에서 수용률이 급격히 감소하는 acceptance decay 문제를 초래한다(Gu et al., 2018; Huang et al., 2022b).
둘째, 얼마나 긴 초안 블록을 검증해야 하는지를 결정하는 것도 중요한 문제이다. 병렬 생성기는 긴 초안을 쉽게 생성할 수 있지만, 생성된 모든 토큰을 무조건 검증하면 특히 높은 동시성(concurrency) 환경에서 시스템 처리량이 크게 감소한다(Hu et al., 2026; Liu et al., 2024c).
최적의 검증 길이는 두 가지 요인에 의해 결정된다.
데이터 측면에서는 코드 생성처럼 구조가 명확한 작업은 일반적인 대화보다 높은 수용률을 유지한다(Abramovich et al., 2026; Xia et al., 2024).
시스템 측면에서는 부하가 낮을 때는 추가 토큰을 검증하는 비용이 거의 없지만, 부하가 높은 상황에서는 거부될 가능성이 높은 토큰을 검증하는 것이 다른 요청을 처리할 수 있는 중요한 배치 자원을 낭비하게 된다(Liu et al., 2024b; Wu et al., 2025).
이러한 문제를 해결하기 위해 본 논문에서는 DSpark를 제안한다. DSpark는 고처리량 병렬 생성(high-throughput parallel generation) 과 적응적(load-aware) 검증을 하나의 speculative decoding 프레임워크로 통합한다.
DSpark의 핵심은 초안 생성과 검증 과정에서 존재하는 근본적인 trade-off를 다음 두 가지 메커니즘으로 해결하는 것이다.
• 1) Semi-autoregressive 구조
토큰 간 의존성이 부족한 문제를 해결하기 위해 DSpark는 반(半)자기회귀(semi-autoregressive) 구조를 채택한다.
계산량이 큰 draft backbone은 완전히 병렬적으로 유지하면서, 그 뒤에 가벼운 순차적(serial) 출력 헤드(output head) 만 추가하여 인접 토큰 간 전이 정보를 반영한다.
이를 통해 병렬 모델의 높은 생성 속도는 유지하면서도 시퀀스 후반부에서 발생하는 suffix decay를 크게 완화한다.
• 2) Confidence-scheduled Verification
시스템 수준의 병목을 해결하기 위해 DSpark는 confidence-scheduled verification을 도입한다.
각 위치의 prefix survival probability(접두부가 검증을 통과할 확률) 를 예측하는 confidence head와 하드웨어 특성을 고려한 scheduler를 결합하여, 요청마다 검증해야 할 토큰 길이를 동적으로 결정한다.
이 scheduler는 실시간 추론 엔진의 처리량 정보를 활용하여 가장 높은 기대효율(expected return)을 갖는 토큰에만 검증 자원을 집중한다.
실험 결과
DSpark는 오프라인 벤치마크와 실제 프로덕션 환경 모두에서 광범위하게 평가되었다.
오프라인 실험은
수학적 추론,
코드 생성,
일반 대화
등 다양한 작업에서 수행되었으며, DSpark는 모든 경우에서 강력한 기존 방법보다 우수한 성능을 보였다.
구체적으로 Qwen3-4B, 8B, 14B 타깃 모델(Yang et al., 2025)에서,
기존 자기회귀 방식인 Eagle3(Li et al., 2026b) 대비 평균 accepted length를 각각
30.9%
26.7%
30.0%
향상시켰다.
또한 병렬 방식인 DFlash(Chen et al., 2026) 대비
16.3%
18.4%
18.3%
더 높은 accepted length를 달성하였다.
단순한 평균 성능뿐 아니라, 위치별(position-wise) 분석을 통해 각 drafter의 생성 특성을 비교한 결과, DSpark는 병렬 모델의 초기 토큰 생성 능력과 자기회귀 모델의 후반부 일관성(suffix coherence) 을 효과적으로 결합하고 있음을 실증적으로 확인하였다.
실제 서비스 환경 평가
DSpark는 DeepSeek-V4(DeepSeek-AI, 2026) 서빙 시스템에도 실제 배포되어 라이브 사용자 트래픽에서 평가되었다.
기존 프로덕션 기준인 MTP-1(DeepSeek-AI, 2024)과 비교하면, DSpark는 시스템의 운영 가능 영역(operation envelope)을 크게 확장하였다.
동일한 전체 처리량 조건에서 사용자별 생성 속도는
V4-Flash: 60
85% 향상78% 향상V4-Pro: 57
되었다.
또한 서비스 수준 협약(SLA)이 매우 엄격한 환경에서는 기존 방식의 처리량이 크게 감소하는 문제가 있었는데,
Flash 모델의 120 TPS
Pro 모델의 50 TPS
환경에서도 DSpark는 검증 오버헤드를 줄여 높은 처리량을 안정적으로 유지하였다.
이러한 성능 절벽(performance cliff)을 극복함으로써, 기존에는 달성할 수 없었던 높은 상호작용성(interactivity) 수준을 실현하였으며, 결과적으로 LLM 서빙 시스템의 Pareto frontier를 확장하였다.
오픈소스 공개
오픈소스 커뮤니티의 연구 발전을 위해 저자들은 다음을 공개한다.
DeepSeek-V4-Flash (preview) 및 DeepSeek-V4-Pro (preview) 용으로 학습된 DSpark 체크포인트
DeepSpec: Eagle3, DFlash, DSpark를 포함하는 알고리즘 중심의 speculative decoding 학습 프레임워크
이러한 공개 자료는 향후 효율적인 LLM 서빙 연구를 촉진하기 위한 기반으로 제공된다.