上下文变长会带来显存压力。
框架内核与推理运行层模型服务与编排层
CONCEPT / technology
KV Cache
推理时复用注意力键值缓存以降低延迟。
该概念用于定位 AI 技术栈中的能力、风险和责任边界。它不是孤立术语，而是和层级、失败模式、防护机制、证据一起进入 OCG 判断结构。
伪造引用检索失败成本爆炸静默失败
T2传统算法在 AI 时代的迁移reinterpret@model_training_layer
T4Python 与 C++ 在 AI 中的分工decompose@kernel_runtime_layer
T5RAG 的能力边界bound@ai_application_layer