Soup CLI는 대규모 언어 모델(LLM)을 미세 조정하기 위한 명령줄 도구입니다. CPU RAM 또는 NVMe에서 레이어를 스트리밍하여 사용 가능한 VRAM보다 큰 모델을 훈련할 수 있습니다. Soup CLI는 LoRA, DPO, QLoRA와 같은 다양한 미세 조정 기술을 지원하며, 데이터 준비, 모델 평가 및 배포 기능을 제공합니다.
Free
사용 방법 Soup CLI?
pip를 통해 설치: `pip install soup-cli`. 미세 조정에는 `soup train`, 추측 디코딩 평가에는 `soup draft measure`, 모델 배포에는 `soup ship`과 같은 명령을 사용합니다. CLI는 훈련 매개변수, 데이터 처리 및 모델 최적화를 구성하기 위한 광범위한 옵션을 제공하여 소비자 하드웨어에서 LLM 미세 조정을 쉽게 사용할 수 있도록 합니다.