vLLM

vLLM: 빠르고 쉬운 LLM Serving

vLLM은 대규모 언어 모델(LLM)을 위한 높은 처리량과 메모리 효율성을 갖춘 추론 및 서빙 엔진입니다. 원래 UC Berkeley의 Sky Computing Lab에서 개발되었으며, 현재는 학계와 업계 모두의 지원을 받는 커뮤니티 중심 프로젝트로 성장했습니다.

vLLM이란 무엇입니까?

vLLM은 Versatile, Low-Latency, Memory-Efficient Large Language Model serving의 약자입니다. LLM 추론 및 서빙을 더 빠르고 쉽게 액세스할 수 있도록 설계되었습니다.

vLLM의 주요 기능

vLLM은 속도, 유연성 및 사용 편의성을 위해 설계되었습니다. 주요 기능은 다음과 같습니다.

• 최첨단 서빙 처리량: vLLM은 LLM 서빙의 처리량을 최대화하도록 설계되어 더 적은 하드웨어로 더 많은 요청을 처리할 수 있습니다.
• PagedAttention을 통한 효율적인 메모리 관리: 이 혁신적인 기술은 LLM 성능에 중요한 구성 요소인 attention key 및 value 메모리를 효율적으로 관리합니다.
• 들어오는 요청의 지속적인 배치 처리: vLLM은 컴퓨팅 리소스 활용을 최적화하기 위해 들어오는 요청을 지속적으로 배치 처리합니다.
• CUDA/HIP 그래프를 사용한 빠른 모델 실행: CUDA/HIP 그래프를 활용하여 vLLM은 빠른 모델 실행을 보장합니다.
• 양자화 지원: vLLM은 메모리 공간을 줄이고 추론을 가속화하기 위해 GPTQ, AWQ, AutoRound, INT4, INT8 및 FP8과 같은 다양한 양자화 기술을 지원합니다.
• 최적화된 CUDA 커널: 향상된 성능을 위해 FlashAttention 및 FlashInfer와 통합되어 있습니다.
• 추측 디코딩: 미래 토큰을 예측하고 사전 계산하여 LLM 서빙 속도를 향상시킵니다.
• Hugging Face 모델과의 원활한 통합: vLLM은 Hugging Face의 인기 모델과 쉽게 연동됩니다.
• 다양한 디코딩 알고리즘을 통한 높은 처리량 서빙: 병렬 샘플링, 빔 검색 등을 지원합니다.
• 텐서, 파이프라인, 데이터 및 전문가 병렬 처리: 분산 추론을 위한 다양한 병렬 처리 전략을 제공합니다.
• 스트리밍 출력: 보다 상호 작용적인 사용자 경험을 위해 스트리밍 출력을 제공합니다.
• OpenAI 호환 API 서버: 기존 시스템과의 통합을 단순화합니다.
• 광범위한 하드웨어 지원: NVIDIA GPU, AMD CPU 및 GPU, Intel CPU 및 GPU, PowerPC CPU 및 TPU와 호환됩니다. 또한 Intel Gaudi, IBM Spyre 및 Huawei Ascend와 같은 하드웨어 플러그인도 지원합니다.
• 접두사 캐싱 지원: 입력 시퀀스의 접두사를 캐싱하여 성능을 향상시킵니다.
• Multi-LoRA 지원: 여러 LoRA(Low-Rank Adaptation) 모듈을 사용할 수 있습니다.

vLLM은 어떻게 작동합니까?

vLLM은 높은 성능을 달성하기 위해 몇 가지 주요 기술을 활용합니다.

1. PagedAttention: 운영 체제의 가상 메모리 관리와 유사하게 attention key 및 value 메모리를 페이지로 나누어 효율적으로 관리합니다.
2. 지속적인 배치 처리: 들어오는 요청을 배치로 그룹화하여 GPU 활용률을 최대화합니다.
3. CUDA/HIP 그래프: 모델 실행 그래프를 컴파일하여 오버헤드를 줄이고 성능을 향상시킵니다.
4. 양자화: 낮은 정밀도의 데이터 유형을 사용하여 모델의 메모리 공간을 줄입니다.
5. 최적화된 CUDA 커널: attention 및 행렬 곱셈과 같은 중요한 작업에 대해 고도로 최적화된 CUDA 커널을 활용합니다.
6. 추측 디코딩: 미래 토큰을 예측하고 사전 계산하여 디코딩을 가속화합니다.

vLLM 사용 방법

1. 설치:

   pip install vllm
   

2. 빠른 시작:

   빠른 시작 가이드는 공식 문서를 참조하십시오.

vLLM을 선택하는 이유?

vLLM은 다음과 같은 몇 가지 강력한 장점을 제공합니다.

• 속도: 최첨단 서빙 처리량을 달성합니다.
• 효율성: PagedAttention으로 메모리 사용량을 최적화합니다.
• 유연성: Hugging Face 모델 및 다양한 하드웨어 플랫폼과 원활하게 통합됩니다.
• 사용 용이성: 간단한 설치 및 설정.

vLLM은 누구를 위한 것입니까?

vLLM은 다음과 같은 경우에 이상적입니다.

• 대규모 언어 모델을 사용하는 연구원 및 개발자.
• 프로덕션 환경에 LLM을 배포하는 조직.
• LLM 추론의 성능과 효율성을 최적화하려는 모든 사람.

지원되는 모델

vLLM은 다음을 포함하여 Hugging Face에서 가장 인기 있는 오픈 소스 모델을 지원합니다.

• Transformer와 유사한 LLM(예: Llama)
• Mixture-of-Expert LLM(예: Mixtral, Deepseek-V2 및 V3)
• 임베딩 모델(예: E5-Mistral)
• 다중 모드 LLM(예: LLaVA)

지원되는 모델의 전체 목록은 here에서 찾을 수 있습니다.

실제적 가치

vLLM은 다음과 같은 방법으로 중요한 실제적 가치를 제공합니다.

• LLM 추론 비용 절감.
• LLM 기반 실시간 애플리케이션 지원.
• LLM 기술에 대한 접근성 향상.

결론

vLLM은 대규모 언어 모델을 사용하는 모든 사람에게 강력한 도구입니다. 속도, 효율성 및 유연성 덕분에 연구 및 프로덕션 배포 모두에 탁월한 선택입니다. 새로운 모델을 실험하는 연구원이든 LLM을 대규모로 배포하는 조직이든 vLLM은 목표 달성에 도움이 될 수 있습니다.

vLLM을 사용하면 다음을 달성할 수 있습니다.

• 더 빠른 추론: 더 적은 대기 시간으로 더 많은 요청을 처리합니다.
• 더 낮은 비용: 하드웨어 요구 사항 및 에너지 소비를 줄입니다.
• 더 큰 확장성: 증가하는 수요를 충족하기 위해 LLM 배포를 쉽게 확장할 수 있습니다.

혁신적인 기능과 광범위한 호환성을 갖춘 vLLM은 LLM 추론 및 서빙을 위한 최고의 플랫폼이 될 것입니다. 높은 처리량의 LLM 서빙 또는 메모리 효율적인 LLM 추론을 찾고 있다면 vLLM을 고려해 보십시오.