移动版

“专家称未来GPT-4或开源语言模型之战将有一触即发的迹象!”

2023-05-30 09:17 爆米花 0
编辑有话说:对于这个说法,我认为应该持保留态度。尽管开源语言模型相对较低的规模和训练数据可能无法与GPT-4相媲美,但由于开源性质,它们相对更容易获取和使用,且仍能为许多应用提供有效的解决方案。因此,无法一概而论开源语言模型与GPT-4之间的差距。

开源语言模型的进步是无可争议的。但它们真的能与来自 OpenAI、谷歌和其他公司的训练有素的语言模型竞争吗?

诸如之前所报道的,使用Alpaca Formula训练的开源语言模型几乎不需要怎么训练以及很低的成本就能达到了类似于ChatGPT的水平。

有研究表明,开源语言模型无法与GPT-4相提并论

Alpaca Formula指的是开发人员使用 ChatGPT 生成的训练数据来微调Meta语言模型 LLaMA 。使用这些数据,LLaMA 模型可以在很短的时间内学习生成类似于 ChatGPT 的输出,并且只需要很少的计算量。

但伯克利大学的研究人员在最近的一项研究中得出了不同的结论:他们将Alpaca Formula应用于LLaMA和 GPT-2的一些基础模型,然后让这些结果由人工评估并由GPT-4自动评估。

最初,他们得出了与之前的开发人员相同的结论:使用指令改进的模型(研究人员称之为“模仿模型”)的性能远远超过基础模型,与 ChatGPT 相当。

然而,“更有针对性的自动评估”表明,模仿模型实际上只在他们看到模仿数据的任务中表现良好。在所有其他领域,GPT-4仍然存在明显的性能差距。因为这些基础模型在广泛的预训练过程中获得了大部分功能,而不是在微调过程中获取的。

研究人员表示,这些所谓的评价的工作者经常在没有专业知识的情况下在短时间内评估人工智能内容,很容易被忽悠。

OpenAI 研究员约翰舒尔曼最近也批评使用 ChatGPT数据微调开源基础语言模型,称如果微调数据集包含原始模型中不存在的知识,它们可能会产生更多不正确的内容。

0
免责声明:本文转载互联网,不代表本网站的观点和立场。如果你觉得好欢迎分享此网址给你的朋友。
文章标签

本文统计

  • 发布时间:2023-05-30 09:17
  • 修改次数:1
  • 修改时间:2023-09-19 15:40
  • 浏览热度:30
  • 评论数量:0
  • 点赞次数:0
评论
举报
验证码
发表

暂无评论,期待你的妙语连珠

举报文章问题
验证码
举报文章问题

已收到!

我们将尽快处理。