用英语查询模型，我们能得到更好的答案吗？

多语言能力的基础

大型语言模型的训练通常以英语数据为主，尽管也使用多语言数据来实现跨不同语言的功能。英语在数字内容和科学出版物中的主导地位显著影响了模型的语言能力。例如，GPT-3的训练数据集包含近93%的英语内容（这是关于OpenAI模型发布的最后官方数据）。

1. 数据主导地位： 训练期间使用的数据比例决定了模型在给定语言中的能力。对于代表性不足的语言（例如，匈牙利语、丹麦语、斯洛伐克语、许多非洲语言），模型可能提供不太准确的答案。

2. 语言结构和文化差异： 不同的语法规则和文化特性使得模型更难泛化，特别是对于需要文化背景的任务。

尽管匈牙利语不是使用人数最多的语言之一（如英语或中文），但大多数模型在匈牙利语中表现出色。这是因为训练数据集包含足够的匈牙利语文本，可以生成准确且自然的回复，尽管这些回复有时可能不如英语回复那样详细或听起来自然。匈牙利语富含习语和俚语，这有时会对模型构成挑战。

当前先进的LLM使用各种技术和微调来优化非英语语言的回复，但它们的性能仍然很大程度上取决于输入语言和任务类型。研究区分了以下两种任务类型：

• 翻译等变任务： 对于这些任务，正确的答案不依赖于输入语言。示例包括数学问题和事实查询。LLM在这些领域往往在不同语言之间表现相对一致。

• 翻译变异任务： 这些包括特定于语言的问题，例如文字游戏、语法特性或文化参考。在这些方面的表现可能因语言而异。

LLM是否在内部将非英语文本翻译成英语？

现代大型语言模型（LLM）运作背后的概念是，它们不会在内部从其他语言进行翻译，而是直接以目标语言生成回复。 这种方法提供了几个优势，有助于实现更准确、更快、更自然的互动。当LLM接受训练时，它会处理以各种语言编写的大量文本数据（如前所述）。模型不会存储文本数据或显式记忆示例；相反，它学习模式、统计关系和相关性。因此，当被问及问题或任务时，模型会使用这些学习到的模式直接以目标语言生成答案，而无需先将其翻译成另一种语言。

跳过翻译步骤的好处

• 减少出错的可能性：在翻译过程中，源语言的含义可能无法在目标语言中完美传达，尤其是在文化或语法差异方面。直接生成消除了这个问题，因为模型不充当“中介”，而是专注于以目标语言生成回复。
• 更自然的语言使用：LLM可以考虑目标语言的特定特征，例如习语、当地习俗和语法规则。这对于生成自然且易于理解的文本尤为重要。
• 更快的响应时间：跳过翻译步骤减少了生成回复所需的时间，因为最终答案是在一个步骤中创建的。

语言微调：可以通过有针对性的微调进一步提高多语言模型的通用能力，以生成更准确的特定语言回复。 嵌入和上下文处理：LLM使用文本嵌入，这是一种数学表示，表达单词、短语和句子的含义。这使得模型可以直接在目标语言中解释上下文并创建适当的回复。

如果特定主题只有英文来源可用，会发生什么？

当大型语言模型（LLM）使用 exclusively 英语来源就特定主题（例如化学）进行训练时，该模型可能仍然能够以其他语言（例如匈牙利语）回复。但是，这些回复的质量取决于几个影响准确性和自然性的因素。

模型能力和局限性

现代LLM的一个优势是它们能够将在一种语言中获得的知识转移到其他语言。这种“跨语言迁移”意味着模型可以基于英语来源生成匈牙利语回复。但是，这并非总是完美无缺：

• 不准确性：概念在转移过程中可能会失去其原始含义，或者模型可能会使用不恰当的匈牙利语术语。
• 翻译效应：有时，回复听起来可能过于“翻译腔”，导致措辞不太自然。

术语处理

在化学、医学或技术等领域，管理技术术语尤为重要。主要在英语来源上训练的模型可能会按如下方式处理术语：

• 直接借用：英语术语可能会以未更改的形式出现在匈牙利语回复中，例如，“chemical bonding”出现而不是翻译。
• 翻译或改编：如果模型接受了足够的匈牙利语训练，它将尝试找到匈牙利语等效词，例如，“chemical bonding” → “kémiai kötés”。

匈牙利语训练数据的影响

如果用于训练模型关于特定主题（如化学）的匈牙利语文本数据非常少或没有，则可能会出现以下问题：

• 不准确的答案：模型尝试根据英语上下文生成匈牙利语回复，这可能导致不准确。
• 不自然的语言：回复听起来可能过于正式或僵硬，因为模型缺乏足够的匈牙利语示例来进行自然措辞。

缺乏上下文

缺乏匈牙利语上下文使得模型难以考虑该语言的文化和文体细微差别，这可能导致：

• 文体差异：回复可能与标准匈牙利语用法不完全一致。
• 词汇错误：特定的技术术语可能以不正确或非常规的方式出现。

何时值得用英语提问？

对于特定或技术性主题， 意味着需要高度详细的专家知识的主题——例如化学、物理、医学或技术——用英语提问更有可能产生详细而准确的答案。

• 由于英语来源丰富，模型能够更好地处理和组织信息。
• 许多技术术语起源于英语，这使得它们在原始上下文中更容易理解和解释。

缺乏匈牙利语来源

如果模型的训练缺乏特定主题的匈牙利语来源，则匈牙利语回复有时可能不太准确。用英语提问允许模型直接利用其英语训练数据库中存在的信息。

差异示例

以下示例显示了我们如何用英语获得对同一问题的更详细的答案：

匈牙利语：
„Mi a fotoszintézis?”
回复：
„A fotoszintézis egy olyan folyamat, amelyben a növények napfény segítségével szerves anyagokat állítanak elő。” (光合作用是植物利用阳光产生有机物的过程。)

英语：
„What is photosynthesis?”
回复：
„Photosynthesis is the process by which green plants and some other organisms use sunlight to synthesize foods with the help of chlorophyll, converting carbon dioxide and water into glucose and oxygen.” (光合作用是绿色植物和其他一些生物在叶绿素的帮助下利用阳光合成食物的过程，将二氧化碳和水转化为葡萄糖和氧气。)

英语回复更深入地解释了该过程，包括有关化学反应参与者的详细信息，而匈牙利语答案中可能省略了这些详细信息。

因此，回复的详细程度可能因主题领域而异。在日常生活中，我们可以将何时最好用英语提问归纳如下：

• 一般主题：两种语言的准确性相似。
• 专业领域：英语中的术语通常更精确。
• 技术文档：英语可能更详细。

一个中间解决方案可能是用匈牙利语提问，但表明由于主题的复杂性，可以接受英语答案。这样，人们可以获得几乎与从一开始就用英语提问相同的详细程度。

总结

当需要高精度和更深层次的细节时，使用英语尤其有利。但是，重要的是要注意，由于多语言LLM的进步，匈牙利语回复的持续改进越来越允许以匈牙利语自然而准确地检索信息。很明显，LLM如何运作、跨语言迁移以及技术术语的处理是决定回复质量和可用性的因素。选择合适的语言可能是获得最佳结果的关键。