Soup CLI

通过一个命令即可微调 LLM，优化效率和性能。

Soup CLI 是一个用于微调大型语言模型 (LLM) 的命令行工具。它通过从 CPU RAM 或 NVMe 流式传输层来实现训练大于可用 VRAM 的模型。Soup CLI 支持 LoRA、DPO 和 QLoRA 等各种微调技术，并提供数据准备、模型评估和部署功能。

免费

如何使用 Soup CLI?

通过 pip 安装：`pip install soup-cli`。使用 `soup train` 进行微调，使用 `soup draft measure` 评估推测性解码，使用 `soup ship` 进行模型部署。该 CLI 提供广泛的选项来配置训练参数、数据处理和模型优化，使 LLM 微调在消费级硬件上即可实现。

Soup CLI 的核心功能

用于训练大于 VRAM 的 LLM 的层流式传输

支持 LoRA、QLoRA、DPO 和其他微调方法

推测性解码测量和蒸馏

自动模型评估和治理功能

数据准备和增强工具

带模型注册表的有效推理服务

用于草稿模型的跨分词器支持

Soup CLI 的使用场景

在消费级 GPU 上微调大型 LLM

训练超出可用 VRAM 的模型

评估和优化推测性解码性能

准备和清理 LLM 训练数据集

高效部署微调模型

确保模型正确性和治理

从其他 LLM 训练框架迁移

Soup CLI 的常见问题

最受影响的职业

机器学习工程师

AI 研究员

数据科学家

软件开发人员

MLOps 工程师

Soup CLI 的标签

#LLM #微调 #CLI #Python #AI #深度学习 #推测性解码 #LoRA

Soup CLI 的替代品

Harmony

一个原生AI的ITSM平台，可自主解决员工请求并保持IT资产准确。

OpenScience

开源人工智能联合科学家，用于科学研究，整合文献、代码、实验和结果。

Onto

通过在同一 URL 上提供干净的 Markdown，让您的网站可被 AI 代理读取。

Dots-In

通过 Dots-In Living Twin 升级您的现实，这是一个零提示代理，可与您同步以优化您的日常生活。

GoodSocials

适用于领英的AI社交媒体管理器，可根据您的数据和研究撰写帖子，每周发布5次。

Hemory

持续收听，捕捉真相，将您经历的一切转化为可供生成内容的素材。

PixVerse R2

用于生成式、交互式视频媒体的实时世界模型。

Maximem Synap

为 AI 代理提供持久化内存和上下文管理，无缝集成 23 种框架。