作者花了一千刀帮我们测试了 LLM 模型大上下文性能，使用 LLM 的最佳输入长度是小于 20K tokens，重要内容放于首尾，尾部比头部稍好。否则准确率会大幅降低。那些所谓的超大上下文模型都是以牺牲准确率为代价的。 https://x.com/gregkamradt/status/1727018183608193393