近日，Chandar Research Lab 和 Mila – 魁北克人工智能研究所等机构的研究发现，大型语言模型（LLM）具有自知之明，即它们能够知道自己对某个主题的了解程度。
研究团队通过生成新数据并避免现有数据影响，评估了架构、模型大小和数据集大小对性能的影响，结果显示，随着模型规模的增加，性能会提高，但超过一定阈值后性能会下降。
此外，研究还发现，处理分散在多个训练文档中的信息时，模型表现较差，而在简化设置下训练的模型则能更好地回忆单个训练文档中的信息。
近日，Chandar Research Lab 和 Mila – 魁北克人工智能研究所等机构的研究发现，大型语言模型（LLM）具有自知之明，即它们能够知道自己对某个主题的了解程度。
研究团队通过生成新数据并避免现有数据影响，评估了架构、模型大小和数据集大小对性能的影响，结果显示，随着模型规模的增加，性能会提高，但超过一定阈值后性能会下降。
此外，研究还发现，处理分散在多个训练文档中的信息时，模型表现较差，而在简化设置下训练的模型则能更好地回忆单个训练文档中的信息。
