long context
概念词 📚 基础词库 · 存量热词长上下文
🔍 Google 联想 10 📄 arxiv 2797 篇 📅 首次出现 2026-08-28
🧠 long context 是什么
上下文长度(context length / context window)指大模型一次推理所能处理的输入 token 总量。GPT-4 时代普遍为 8K-128K token,2024 年 Gemini 1.5 Pro 将窗口扩展到 100 万 token,足以一次性读完《三体》三部曲,Claude、GPT-4o 等随后跟进,百万级成为旗舰标配。
长上下文依赖稀疏注意力、旋转位置编码等架构改进,但研究(《Lost in the Middle》,2023)发现模型存在"中部遗忘":上下文越长,位于中间位置的信息越容易被忽略,长上下文并不等于强检索。
实践中,长上下文支撑了整库 RAG、超长文档分析与多轮智能体任务;厂商同时探索"无限上下文"与更好的位置外推,长上下文评测成为新的比拼战场。
🔥 为什么现在火
百万级上下文成为旗舰模型的核心卖点;"长上下文+智能体"的组合被看作简化 RAG 架构、提升 Agent 连续性的关键路径。
📄 证据链(交叉验证)
- ▸arXiv 论文《Gemini 1.5: Unlocking multimodal understanding across millions of tokens of context》
- ▸arXiv 论文《Lost in the Middle: How Language Models Use Long Contexts》
🔍 搜索形态
what is long context long context LLM meaning
long context 常见问题 FAQ
长上下文能替代 RAG 吗?+
不能简单替代:长上下文存在成本高与"中部遗忘"的问题,RAG 仍是性价比方案,两者常组合使用。
为什么长上下文会"中部遗忘"?+
注意力分布不均匀,模型倾向关注开头与结尾,中间信息利用率下降,这是当前研究热点之一。
与 long context 相关的搜索
人们搜索 long context 时,还会关心这些问题:
- 长上下文 是什么
- 什么是 长上下文
- 长上下文 是什么意思
- 长上下文 原理
- 长上下文 有什么用
- 长上下文 应用场景
- 长上下文 为什么火
- 长上下文 2026