1
输入Token（Input Tokens）：
2
- 你发给模型的内容
3
- 包括：系统提示词、用户问题、上下文、示例等
4
- 价格：较便宜
5

6
输出Token（Output Tokens）：
7
- 模型生成的回复
8
- 价格：通常是输入的2-5倍

1
中文字估算：
2
- 1个中文字 ≈ 1-2个Token
3
- 1000字中文 ≈ 1500个Token
4

5
英文估算：
6
- 1个英文单词 ≈ 1-1.3个Token
7
- 1000英文单词 ≈ 1300个Token
8

9
代码更不规则：
10
- 简洁代码：Token较少
11
- 注释多：Token翻倍
12
- 复杂表达式：Token爆炸

1
每日输入Token：1000 × 10,000 = 1000万
2
每日输出Token：500 × 10,000 = 500万
3

4
每日成本：
5
- 输入：10 × $2.5 = $25
6
- 输出：5 × $10 = $50
7
- 合计：$75/天 = $2250/月

1
输入：10 × $0.15 = $1.5
2
输出：5 × $0.6 = $3
3
合计：$4.5/天 = $135/月
4

5
节省：$2115/月（94%）

1
每日输入：5200 × 5000 = 2600万
2
每日输出：500 × 5000 = 250万
3

4
每日成本：
5
- 输入：26 × $3 = $78
6
- 输出：2.5 × $15 = $37.5
7
- 合计：$115.5/天 = $3465/月

1
Claude支持缓存：
2
- 文档部分可缓存（5分钟有效期）
3
- 重复查询只计新增部分
4
- 缓存命中后输入成本降低90%
5

6
假设60%命中：
7
- 原输入成本：$78
8
- 缓存后：$78 × 0.4 + $78 × 0.6 × 0.1 = $36.72
9
- 节省：$41.28/天 = $1238/月

1
输入：26 × $0.14 = $3.64
2
输出：2.5 × $0.28 = $0.7
3
合计：$4.34/天 = $130/月
4

5
节省：$3335/月（96%）

1
每日输入：300 × 50,000 = 1500万
2
每日输出：100 × 50,000 = 500万
3

4
每日成本：
5
- 输入：15 × $2.5 = $37.5
6
- 输出：5 × $10 = $50
7
- 合计：$87.5/天 = $2625/月

1
输入：15 × $0.14 = $2.1
2
输出：5 × $0.28 = $1.4
3
合计：$3.5/天 = $105/月
4

5
节省：$2520/月（96%）

1
闭源API成本 = API调用费
2

3
开源自部署成本 = GPU租赁费 + 运维人力 + 电费 + 带宽费

1
冗余输入（浪费Token）：
2
"请帮我分析一下这篇文章的主要内容，用简洁的语言总结，
3
不要太长，大概100字左右，要抓住重点..."
4

5
精简输入（意思一样，Token少很多）：
6
"用100字总结这篇文章的主要内容"
7

8
对比：
9
- 冗余版本：约80个Token
10
- 精简版本：约15个Token
11
- 节省：80%+

1
原理：
2
- 相同的系统提示词、文档等可以缓存
3
- 后续请求只计算新增部分
4
- 节省60-90%输入成本
5

6
Claude缓存规则：
7
- 最小缓存：1024 Token
8
- 缓存有效期：5分钟
9
- 缓存写入费用：$3.75/百万Token
10
- 缓存命中费用：$0.30/百万Token（节省90%）
11

12
适用场景：
13
RAG（重复检索相同文档）
14
固定系统提示词
15
多轮对话中的上下文
16
Few-shot示例
17

18
示例代码：

1
import anthropic
2

3
client = anthropic.Anthropic()
4

5
# 使用Prompt Caching
6
message = client.messages.create(
7
    model="claude-3-5-sonnet-20241022",
8
    max_tokens=1024,
9
    messages=[
10
        {
11
            "role": "user",
12
            "content": [
13
                {
14
                    "type": "document",
15
                    "source": {
16
                        "type": "text",
17
                        "media_type": "text/plain",
18
                        "data": large_document  # 这个会被缓存
19
                    },
20
                    "caching": {"type": "ephemeral"}  # 启用缓存
21
                },
22
                {
23
                    "type": "text",
24
                    "text": "请总结上面的文档"
25
                }
26
            ]
27
        }
28
    ]
29
)

1
不需要长回复时，明确指定：
2

3
"用一句话回答"
4
"用3个要点回答"
5
"输出JSON格式，不要解释"
6
"答案不超过50字"
7

8
效果：
9
- 减少输出Token
10
- 输出更精准
11
- 成本降低30-50%

1
实时调用 vs 批处理：
2

3
实时调用：
4
- 每次单独请求
5
- 响应快
6
- 成本高
7

8
批处理：
9
- 一次处理多个
10
- 响应慢（几小时内）
11
- 成本低50%
12

13
OpenAI Batch API：
14
- 价格：实时调用的50%
15
- 适用场景：
16
  批量翻译
17
  批量分类
18
  批量摘要
19
  数据处理

1
# OpenAI Batch API示例
2
from openai import OpenAI
3

4
client = OpenAI()
5

6
# 创建批处理任务
7
batch = client.batches.create(
8
    input_file_id="file-xxx",  # 上传的JSONL文件
9
    endpoint="/v1/chat/completions",
10
    completion_window="24h"
11
)
12

13
# 查询状态
14
status = client.batches.retrieve(batch.id)
15
print(status.status)  # validating, in_progress, completed

1
┌─────────────────────────────────────────────────────────────┐
2
│                    成本计算公式                              │
3
├─────────────────────────────────────────────────────────────┤
4
│                                                             │
5
│  月成本 = (日均输入Token × 输入单价                          │
6
│          + 日均输出Token × 输出单价) × 30                    │
7
│                                                             │
8
│  其中：                                                     │
9
│  日均输入Token = 日均调用量 × 平均输入长度                    │
10
│  日均输出Token = 日均调用量 × 平均输出长度                    │
11
│                                                             │
12
│  示例计算：                                                  │
13
│  日均10000次调用，输入1000，输出500，用GPT-4o-mini           │
14
│  = (10000×1000×$0.15/1M + 10000×500×$0.6/1M) × 30          │
15
│  = ($1.5 + $3) × 30                                        │
16
│  = $135/月                                                  │
17
│                                                             │
18
└─────────────────────────────────────────────────────────────┘