关于 Awan LLM
Awan LLM 通过固定月费套餐提供基于 Llama 模型的推理服务，令牌生成不限量，但不能超过模型上下文窗口。各套餐在每分钟请求数、不同规模模型的每日请求数以及并行请求支持方面有所区别。它更适合用量持续且重视成本可预测性的工作负载，前提是现有模型和容量限制能够满足应用需求。该服务称模型运行在自有服务器上，不记录提示词和生成内容，但会记录请求数量与速率，用于限流和用量统计。
适合人群
适合持续产生大量大模型请求、希望用固定月费替代按令牌计费的开发者。
适合构建助手、智能体或角色扮演系统，并且经常需要生成大量文本的高频用户。
适合能够根据现有模型目录和明确请求上限规划应用容量的小型公司。
适合场景
助手需要处理长对话和大量文本生成，同时希望避免按令牌累积费用。
智能体工作流需要并行发起请求，并能遵守 Pro、Max 或 Enterprise 套餐的速率限制。
应用使用受支持的 Llama 模型周期性处理文本任务，并按固定月费配置容量。
对比选择
对于持续高用量场景，固定月费比按令牌计费更便于预测推理成本。
模型选择少于多供应商网关，因此接入前需要确认应用所需模型是否可用。
标准套餐的令牌生成不限量，但仍受每分钟请求数和每日请求数限制。
功能特性
助手后端
用固定月费支持高令牌用量的对话助手，便于控制持续推理成本。
智能体工作负载
在套餐的请求速率和每日模型请求限制内运行智能体循环与并行任务。
应用推理接口
为数据处理、角色扮演或代码补全应用接入 Llama 模型生成能力，无需按令牌计费。
优点
- 固定月费便于持续高令牌用量的团队预测推理成本，避免费用随令牌数波动。
- 令牌生成不限量，可在模型上下文窗口内支持长文本输出，无需按令牌付费。
- 服务称模型在自有服务器运行，且不记录提示词和生成内容，有利于注重隐私的工作流。
缺点
- 标准套餐仍有每分钟请求数和不同模型的每日请求上限，突发流量可能受限。
- 当前模型目录以部分 Llama 模型为主，需要其他模型系列的应用兼容性较弱。
- 并行请求从 Pro 套餐起才提供，并发工作负载的最低月费因此提高。
价格方案
Plus
$10每月
- 令牌生成不限量
- 每分钟 50 个请求
- 小型模型每日 10,000 个请求
- 中型模型每日 6,000 个请求
- 大型模型每日 2,000 个请求
Pro
$20每月
- 令牌生成不限量
- 支持并行请求
- 每分钟 100 个请求
- 小型模型每日 80,000 个请求
- 中型模型每日 40,000 个请求
- 大型模型每日 30,000 个请求
Max
$80每月
- 令牌生成不限量
- 支持并行请求
- 每分钟 200 个请求
- 小型、中型和大型模型的每日请求不限量
Enterprise
Contact for pricing定制
- 令牌生成不限量
- 每分钟请求不限量
- 每日请求不限量
- 保证生成速度
- 服务等级协议
- 运行指定模型或申请微调
* 价格信息仅供参考，请以Awan LLM官网最新公告为准。
常见问题
Awan LLM 称其拥有自有数据中心和 GPU，因此套餐可在各模型上下文窗口范围内提供不限量的令牌生成。
Awan LLM 称其不记录提示词或生成内容，但会记录请求数量和速率，用于限流与用量统计。
套餐设有每分钟请求数和不同模型的每日请求上限；各模型也有各自的上下文窗口和预估速度。