mobile wallpaper 1mobile wallpaper 2mobile wallpaper 3mobile wallpaper 4
3010 字
9 分钟
AI 参考资料分类法与 Tag 规范
2025-07-25

这份文档解决什么问题#

reference-compendium.md 已经从“参考链接清单”演化成“研究与工程参考图谱”。

如果后续继续补论文、官方文档、benchmark、代码仓库、事故案例,而没有统一的分类法,最终会再次回到:

  • 同一类资料被放进不同栏目
  • 同一篇论文在不同文章里被赋予不同定位
  • Tag 命名越来越散,后期无法检索
  • “它属于哪一层、解决什么机制、是否还值得长期保留”没有统一判断标准

这份文档的目的,就是把这些规则正式化,作为整个 machine-learning 知识库的 参考资料元数据规范


核心原则#

  • 一条资源可以有多个 Tag,但必须有一个主层次
  • 层次回答“它主要工作在哪一层”
  • 机制回答“它主要在改什么”
  • Tag 回答“以后怎么检索和聚类”
  • 状态回答“它是基础材料,还是前沿动态,还是工程实现”
  • 同一资源在不同文章里作用可以不同,但在 taxonomy 中的主分类要尽量稳定

推荐判断顺序:

  1. 它主要工作在哪一层?
  2. 它主要修改哪种机制?
  3. 它属于什么主题?
  4. 它是什么类型的资源?
  5. 它在时间线上处于什么位置?
  6. 它是基础必读,还是前沿补充,还是工程资料?

一、层次规范#

层次用于回答:这条资源主要工作在哪一层?

1.1 L0-范式层#

定义:描述整个技术路线、任务范式、系统范式,而不是某个具体内部模块。

适用资源:

  • Transformer 范式建立
  • 预训练范式
  • 指令微调范式
  • RAG 作为系统范式
  • Agent 作为任务执行范式
  • inference-time compute / reasoning models 作为范式转移

典型例子:

  • Attention Is All You Need 在“范式转移”语境下可视为 L0,但默认主层次仍放 L1
  • InstructGPT
  • Retrieval-Augmented Generation
  • Introducing Gemini 2.0: the agentic era
  • Introducing Claude 4

不适用:

  • 某个单独 kernel 优化
  • 单个 benchmark
  • 单个工具文档

1.2 L1-模型机制层#

定义:直接改变模型内部结构、表示方式、信息流动方式。

适用资源:

  • 注意力机制
  • 位置编码
  • 残差结构
  • MoE / MQA / GQA
  • 长上下文结构改造
  • 多模态模型内部结构

典型例子:

  • Attention Is All You Need
  • RoPE
  • YaRN
  • DeepNet
  • FlashAttention
  • Attention Residuals

1.3 L2-训练与对齐层#

定义:关注模型如何学到能力、行为和偏好。

适用资源:

  • 预训练与后训练
  • RLHF
  • DPO / IPO / KTO
  • SFT
  • LoRA / QLoRA / PEFT
  • reasoning post-training

典型例子:

  • InstructGPT
  • Constitutional AI
  • DPO
  • LoRA
  • QLoRA
  • DeepSeek-R1

1.4 L3-推理与解码层#

定义:关注模型在推理时如何组织思考、搜索、采样和输出。

适用资源:

  • CoT
  • Self-Consistency
  • Tree of Thoughts
  • ReAct(默认放 L3 或 L4,要看语境)
  • test-time compute
  • speculative decoding
  • N-gram speculation

典型例子:

  • Chain-of-Thought Prompting
  • Zero-Shot Reasoners
  • Self-Consistency
  • Tree of Thoughts
  • Learning to Reason with LLMs

1.5 L4-知识与工具层#

定义:关注模型如何连接外部知识、工具、协议和执行环境。

适用资源:

  • RAG
  • GraphRAG
  • reranker
  • function calling
  • tool use
  • MCP
  • A2A
  • memory systems
  • computer use

典型例子:

  • RAG
  • GraphRAG
  • OpenAI Function Calling
  • Anthropic Tool Use
  • MCP
  • A2A

1.6 L5-系统工程层#

定义:关注如何把模型或 Agent 部署成可运行、可观测、可评测、可扩展的系统。

适用资源:

  • serving engine
  • inference backend
  • observability
  • evaluation framework
  • local deployment
  • runtime / scheduler / cache / batching

典型例子:

  • vLLM
  • SGLang
  • TensorRT-LLM
  • llama.cpp
  • Ollama
  • LangSmith
  • Langfuse
  • OpenTelemetry
  • ARC Prize

1.7 L6-安全与治理层#

定义:关注攻击、防御、合规、组织控制与风险管理。

适用资源:

  • jailbreak
  • prompt injection
  • system prompt leakage
  • RAG poisoning
  • agent security
  • OWASP
  • NIST AI RMF
  • EU AI Act

典型例子:

  • GCG
  • Prompt Injection Attacks
  • OWASP GenAI Security
  • NIST AI RMF
  • EU AI Act

二、机制规范#

机制用于回答:这条资源主要在改什么?

一条资源可以有多个机制,但建议:

  • 1 个主机制
  • 0-2 个辅机制

2.1 模型与结构类#

  • 架构机制

    • 适用于整体网络结构、层间连接、模块组织方式
    • 例:Transformer、DeepNet、AttnRes
  • 注意力机制

    • 适用于 self-attention、sparse attention、FlashAttention、MQA/GQA
    • 例:Attention Is All You Need、FlashAttention、GQA
  • 位置编码机制

    • 适用于位置表示与长上下文外推
    • 例:RoPE、YaRN
  • 深层稳定性机制

    • 适用于解决深层网络梯度、残差、hidden state 稀释问题
    • 例:DeepNet、Attention Residuals
  • 多模态机制

    • 适用于图像、音频、视频、文本统一建模
    • 例:Gemini 2.0、Whisper(在语音子域中也可用 语音理解机制

2.2 训练与对齐类#

  • 对齐机制

    • 适用于 RLHF、DPO、Constitutional AI 等
  • 微调机制

    • 适用于 LoRA、QLoRA、PEFT
  • 量化机制

    • 适用于推理或训练中的量化路径
  • 推理训练机制

    • 适用于 reasoning post-training、过程监督、test-time specialization

2.3 推理与生成类#

  • 推理机制

    • 适用于 CoT、ToT、reasoning parser、deliberate inference
  • 搜索机制

    • 适用于树搜索、投票、verifier、candidate selection
  • 解码机制

    • 适用于 sampling、beam search、guided decoding、structured decoding
  • 推理加速机制

    • 适用于 speculative decoding、continuous batching、CUDA graph 优化

2.4 知识与工具类#

  • 检索机制

    • 适用于向量检索、hybrid search、retrieval augmentation
  • 索引机制

    • 适用于 embedding index、chunking、index build
  • 重排机制

    • 适用于 reranker、retrieval refinement
  • 知识图谱机制

    • 适用于 GraphRAG 等图结构增强路线
  • 工具调用机制

    • 适用于 function calling、tool use、computer use
  • 协议机制

    • 适用于 MCP、A2A 等标准化接口协议
  • 环境交互机制

    • 适用于 computer use、GUI automation、browser agents
  • 记忆机制

    • 适用于 memory files、episodic memory、hierarchical memory

2.5 系统工程类#

  • 部署服务机制

    • 适用于 serving engine、runtime、OpenAI-compatible server
  • 连续批处理机制

    • 适用于 continuous batching、dynamic batching
  • KV cache 机制

    • 适用于 paged KV、KV reuse、prefix caching
  • 本地模型管理机制

    • 适用于 Ollama、本地 model pull / run / API 管理
  • 边缘部署机制

    • 适用于 llama.cpp、本地 CPU / GPU / mobile / edge inference
  • 可观测机制

    • 适用于 tracing、metrics、logging、production debugging
  • 评测机制

    • 适用于 benchmark、eval framework、judge、trajectory eval
  • 多模态 serving 机制

    • 适用于 multimodal runtime、realtime API、vision/audio serving

2.6 安全治理类#

  • 安全攻击机制

    • 适用于 jailbreak、prompt injection、poisoning
  • 安全防御机制

    • 适用于 guardrails、sandbox、output validation
  • 治理合规机制

    • 适用于法规、组织风险控制、权限模型、审计

三、Tag 规范#

Tag 用于回答:以后怎么查、怎么聚类、怎么维护?

统一约束:

  • 全部使用小写英文
  • 全部使用 命名空间:值 结构
  • 不用自由发挥中文 Tag
  • 尽量复用既有值,不临时发明同义词

3.1 topic:*#

表示主题域。

推荐主集合:

  • topic:architecture
  • topic:attention
  • topic:transformer
  • topic:scaling
  • topic:inference
  • topic:reasoning
  • topic:cot
  • topic:test-time-compute
  • topic:o-series
  • topic:search
  • topic:interactive-reasoning
  • topic:rag
  • topic:retrieval
  • topic:reranking
  • topic:graphrag
  • topic:long-context
  • topic:agent
  • topic:tool-use
  • topic:computer-use
  • topic:mcp
  • topic:a2a
  • topic:memory
  • topic:serving
  • topic:vllm
  • topic:sglang
  • topic:tensorrt-llm
  • topic:local-llm
  • topic:ollama
  • topic:ui
  • topic:multimodal
  • topic:speech
  • topic:gemini
  • topic:claude
  • topic:kimi
  • topic:eval
  • topic:observability
  • topic:security
  • topic:jailbreak
  • topic:prompt-injection
  • topic:governance
  • topic:risk-management
  • topic:compliance
  • topic:alignment
  • topic:constitutional-ai
  • topic:rlhf
  • topic:dpo
  • topic:finetuning
  • topic:lora
  • topic:qlora
  • topic:coding

规则:

  • 一条资源建议 1-3 个 topic tag
  • 不要同时给太多高度近义的 topic
  • 如果必须选择,优先保留“读者会怎么搜”的主题

补充说明:

  • topic:attention 用于显式聚合注意力相关论文与实现;不要和 mechanism:attention 混用
  • topic:inference 用于“推理性能 / 推理路径 / inference runtime”这一检索视角;如果更偏思维链与 test-time compute,优先用 topic:reasoning
  • topic:scaling 用于 scaling law、深层扩展、大规模训练等材料
  • topic:o-series 用于 OpenAI o 系列推理模型产品线聚合
  • topic:interactive-reasoning 用于 ARC-AGI-3 一类交互式推理 benchmark
  • topic:reranking 用于检索后重排;如果条目重点在召回本身,优先保留 topic:retrieval
  • topic:computer-use 用于 GUI agent、桌面操作、browser/computer use 相关资料
  • topic:ui 只用于本地 UI、交互前端或平台界面类工程资料,不要泛化为所有前端内容
  • topic:gemini topic:claude topic:kimi 属于产品或生态聚合 tag,只有当“特定模型家族 / 厂商路线”本身就是检索目标时再使用
  • topic:jailbreaktopic:prompt-injection 用于安全攻击子类;如果不确定,保留 topic:security 即可
  • topic:risk-management 用于组织级风险框架,如 NIST AI RMF
  • topic:constitutional-ai 用于 Anthropic 对齐路线的特定方法聚合

3.2 layer:*#

表示资源主工作层次。

固定值:

  • layer:paradigm
  • layer:model
  • layer:training
  • layer:inference
  • layer:knowledge
  • layer:system
  • layer:security

规则:

  • 每条资源至少有 1 个 layer tag
  • 通常只保留 1 个主 layer
  • 跨层资源允许 2 个,但要有主次

3.3 mechanism:*#

表示主要机制。

推荐主集合:

  • mechanism:architecture
  • mechanism:attention
  • mechanism:position-encoding
  • mechanism:long-context
  • mechanism:stability
  • mechanism:multimodal
  • mechanism:alignment
  • mechanism:finetuning
  • mechanism:quantization
  • mechanism:reasoning
  • mechanism:test-time-compute
  • mechanism:search
  • mechanism:decoding
  • mechanism:inference-acceleration
  • mechanism:retrieval
  • mechanism:indexing
  • mechanism:reranking
  • mechanism:knowledge-graph
  • mechanism:tool-use
  • mechanism:modularity
  • mechanism:protocol
  • mechanism:agent
  • mechanism:agent-collaboration
  • mechanism:environment-interaction
  • mechanism:memory
  • mechanism:serving
  • mechanism:structured-decoding
  • mechanism:prefix-caching
  • mechanism:continuous-batching
  • mechanism:kv-cache
  • mechanism:model-management
  • mechanism:edge-inference
  • mechanism:observability
  • mechanism:evaluation
  • mechanism:multimodal-serving
  • mechanism:security-attack
  • mechanism:security-defense
  • mechanism:governance
  • mechanism:speech-understanding
  • mechanism:api

规则:

  • 每条资源建议 1 个主 mechanism
  • 最多 3 个 mechanism
  • 避免把主题 Tag 和机制 Tag 混用

补充说明:

  • mechanism:long-context 用于长上下文能力本身的实现或外推机制;如果条目只是“评测长上下文”,优先用 mechanism:evaluation
  • mechanism:test-time-compute 用于推理时额外计算预算、延迟思考、deliberation 扩展;与 mechanism:reasoning 可同时出现,但应有主次
  • mechanism:modularity 用于 MRKL 一类“模块化组合系统”设计,不替代 mechanism:tool-use
  • mechanism:agent 仅在条目明确提出 Agent 内部组织机制时使用;普通 Agent 论文通常仍优先落到 topic:agent
  • mechanism:agent-collaboration 用于多 Agent 协作与协商协议,如 A2A 场景
  • mechanism:structured-decoding 用于 JSON mode、grammar-constrained decoding、reasoning parser 一类结构化输出控制
  • mechanism:prefix-caching 用于 prefix reuse、共享前缀缓存等 serving 优化;不要和 mechanism:kv-cache 完全等同

3.4 type:*#

表示资源类型。

固定值:

  • type:paper
  • type:doc
  • type:repo
  • type:benchmark
  • type:policy
  • type:course
  • type:news
  • type:wiki
  • type:tool

映射建议:

  • 学术论文 / technical report -> type:paper
  • 官方文档 / 产品说明 / API guide -> type:doc
  • GitHub 仓库 -> type:repo
  • leaderboard / dataset / benchmark page -> type:benchmark
  • 法规、行业框架、组织规范 -> type:policy
  • 教程、课程、可视化长文 -> type:course
  • 新闻报道、媒体文章 -> type:news
  • Wikipedia 等 -> type:wiki
  • tokenizer、UI 工具、在线实验工具 -> type:tool

3.5 time:*#

表示时间定位。

推荐格式:

  • 年份:time:2017
  • 季度:time:2025Q1
  • 滚动更新类文档如果不适合固定季度,可省略时间 Tag,但正文仍保留“时间”字段

规则:

  • 论文、公告、版本发布,尽量都有 time:*
  • 长期更新文档可以没有 time:*

3.6 status:*#

表示这条资源在知识库中的长期地位。

固定值:

  • status:foundational
  • status:frontier
  • status:engineering
  • status:reference

含义:

  • status:foundational
    • 基础必读,几年后大概率仍然重要
  • status:frontier
    • 前沿动态,重要但可能很快被下一波更新替代
  • status:engineering
    • 主要工程资料,强调实操和实现
  • status:reference
    • 辅助参考材料,如 wiki、新闻、外部综述

规则:

  • 每条资源至少 1 个 status
  • 不建议同时打 2 个互斥 status

四、推荐元数据模板#

以后 reference-compendium.md 中的标准化条目,建议统一写成:

- `资源名称`
- URL: <https://example.com>
- 类型:论文
- 时间:2025 Q1
- 层次:L3-推理与解码层
- 机制:推理机制、搜索机制
- Tags: `topic:reasoning` `topic:cot` `layer:inference` `mechanism:reasoning` `mechanism:search` `type:paper` `time:2025Q1` `status:frontier`
- 概述:这条资源讲什么、为什么重要、在知识库里承担什么角色。

五、分类示例#

5.1 示例 1:Attention Residuals#

  • 资源性质:前沿模型机制论文
  • 主层次:L1-模型机制层
  • 主机制:注意力机制
  • 辅机制:架构机制深层稳定性机制
  • 推荐 Tags:
    • topic:architecture
    • topic:reasoning
    • topic:kimi
    • layer:model
    • mechanism:attention
    • mechanism:architecture
    • mechanism:stability
    • type:paper
    • time:2026Q1
    • status:frontier

5.2 示例 2:Chain-of-Thought Prompting#

  • 资源性质:推理方法论文
  • 主层次:L3-推理与解码层
  • 主机制:推理机制
  • 推荐 Tags:
    • topic:reasoning
    • topic:cot
    • layer:inference
    • mechanism:reasoning
    • type:paper
    • time:2022
    • status:foundational

5.3 示例 3:MCP#

  • 资源性质:协议文档
  • 主层次:L4-知识与工具层
  • 主机制:协议机制
  • 推荐 Tags:
    • topic:mcp
    • topic:agent
    • layer:knowledge
    • mechanism:protocol
    • type:doc
    • status:foundational

5.4 示例 4:vLLM#

  • 资源性质:推理部署工程项目
  • 主层次:L5-系统工程层
  • 主机制:部署服务机制
  • 辅机制:KV cache 机制连续批处理机制
  • 推荐 Tags:
    • topic:serving
    • topic:vllm
    • layer:system
    • mechanism:serving
    • mechanism:kv-cache
    • mechanism:continuous-batching
    • type:repo
    • status:foundational

5.5 示例 5:OWASP Top 10 for LLM Applications#

  • 资源性质:安全治理框架
  • 主层次:L6-安全与治理层
  • 主机制:安全防御机制
  • 辅机制:治理合规机制
  • 推荐 Tags:
    • topic:security
    • topic:governance
    • layer:security
    • mechanism:security-defense
    • mechanism:governance
    • type:policy
    • status:foundational

六、冲突处理规则#

6.1 一条资源跨多个层次怎么办?#

主层次 + 辅助 topic/mechanism 解决。

例子:

  • ReAct

    • 可同时被理解成 reasoning 方法和 agent 原型
    • 默认主层次建议:L3-推理与解码层
    • 通过 Tag 再补:topic:agent mechanism:tool-use
  • DeepSeek-R1

    • 同时属于 reasoning、对齐、训练后强化学习
    • 默认主层次建议:L2-训练与对齐层
    • 通过 Tag 再补:topic:reasoning

6.2 论文与官方实现同时存在怎么办?#

拆成两条:

  • 论文条目:强调思想、机制、结论
  • 官方仓库 / 官方文档条目:强调工程实现、使用方式、社区入口

6.3 新闻报道要不要保留?#

保留,但默认:

  • 不作为主骨架来源
  • 使用 type:news
  • 通常标记为 status:reference

例外:

  • 如果它是重大事件唯一清晰来源
  • 或者用于事故复盘、社区传播背景

七、建议的维护流程#

以后每新增一条资源,建议按这个顺序走:

  1. 先判断 类型
  2. 再判断 主层次
  3. 再确定 主机制
  4. 再补 topic tags
  5. 再补 time tag
  6. 最后判断 status

最小合格元数据集:

  • 类型
  • 时间
  • 层次
  • 机制
  • Tags
  • 概述

八、不推荐做法#

  • 不要混用中英文 Tag
  • 不要出现自由格式 Tag,比如 llm很强前沿论文
  • 不要把 topicmechanism 混成一个字段
  • 不要让一条资源拥有 10 个以上 Tag
  • 不要因为一篇文章使用它,就改变它在 taxonomy 中的主分类
  • 不要把新闻报道当作基础学术来源替代论文或官方文档

九、建议优先使用的 Tag 组合#

9.1 推理论文#

topic:reasoning
layer:inference
mechanism:reasoning
type:paper
status:foundational | status:frontier

9.2 RAG 工程资料#

topic:rag
layer:knowledge
mechanism:retrieval
type:doc | type:repo
status:engineering

9.3 Agent 协议文档#

topic:agent
topic:mcp | topic:a2a
layer:knowledge
mechanism:protocol
type:doc
status:foundational | status:frontier

9.4 推理部署项目#

topic:serving
layer:system
mechanism:serving
type:repo
status:foundational | status:frontier

9.5 安全治理框架#

topic:security
topic:governance
layer:security
mechanism:security-defense | mechanism:governance
type:policy
status:foundational

十、和 reference-compendium.md 的关系#

推荐职责划分:

  • reference-compendium.md

    • 负责实际资料条目
    • 负责按文章来源整理
    • 负责按方向和时间线索引
  • reference-taxonomy.md

    • 负责定义分类规则
    • 负责定义 Tag 词表
    • 负责统一元数据写法
    • 负责解释冲突如何处理

简单说:

  • compendium 是“数据”
  • taxonomy 是“规则”

结语#

如果后续你想把 machine-learning 从“博客集合”做成“可持续维护的 AI 知识库”,这份 taxonomy 是必须的。

因为真正决定长期可维护性的,不是你今天收集了多少链接,而是你以后还能不能持续、稳定、可检索地把新资料放进同一套结构里。

支持与分享

如果这篇文章对你有帮助,欢迎支持作者或分享给更多人

AI 参考资料分类法与 Tag 规范
https://blog.souloss.com/posts/machine-learning/reference-taxonomy/
作者
Souloss
发布于
2025-07-25
许可协议
CC BY-NC-SA 4.0

部分信息可能已经过时