HawkInsight

  • 联系我们
  • App
  • 中文

OpenAI春季发布会来袭!新模型GPT-4o音频响应速度媲美人类

OpenAI的新模型GPT-4o可以在短短的232毫秒的时间内对输入的音频作出响应,平均为320毫秒,这个响应速度已经接近人类的响应时间!

当地时间周一,OpenAI的春季发布会如期拉开序幕。正如外界所预料,OpenAI又带来新的“王炸”产品。

OpenAI

GPT-4o惊艳亮相

此次发布会的重点就是推出OpenAI的新旗舰模型GPT-4o。

据OpenAI的介绍,GPT-4o里面的“o”代表“omni”,OpenAI将其称为“是迈向更自然的人机交互的一步”。GPT-4o可以接受文本、音频和图像的任意组合作为输入,并生成文本、音频和图像的任意组合输出。

其中,最让人惊艳的是,GPT-4o可以在短短的232毫秒的时间内对输入的音频作出响应,平均为320毫秒,这个响应速度已经接近人类的响应时间!

GPT-4o

此前,用户也可以用语音模式与ChatGPT对话,但由于GPT-3.5和GPT-4支持的 ChatGPT是通过将音频转为文字并输出文字答复,再将文字答复转为答复音频,这样一通操作下来,不仅平均延迟时间较长(GPT-3.5需要2.8秒, GPT-4需要5.4秒),而且也会漏掉一些信息。比如,之前模型就无法直接观察音调、多个说话者或背景噪音,也无法输出笑声、歌唱或表达情感。

而最新推出的GPT-4o就解决了上述问题,所有输入和输出都由同一神经网络处理。

我们也可以从一些指标看到GPT-4o的音频处理能力有多出色。

据传统基准测试中,与Whisper-v3相比,GPT-4o在音频ASR性能方面显著提高了所有语言的语音识别性能,尤其是资源较少的语言。Whisper-v3是去年OpenAI推出的语音识别模型。

GPT-4o

在音频翻译性能测试方面,GPT-4o为语音翻译树立了新的标杆,在MLS基准测试中优于Whisper-v3。

GPT-4o

除了在音频上处理更为出色,GPT-4o在英语文本和代码上的性能与 GPT-4 Turbo 的性能相近,在非英语文本上的性能显着提高。

在文本评价方面,GPT-4o几乎碾压包括Claude 3 Opus、Gemini Pro 1.5、Llama 3 400B在内的一众热门模型。

GPT-4o

在视觉理解评估方面,GPT-4o也取得了领先的性能。

GPT-4o

在介绍GPT-4o的新闻稿中,OpenAI还强调了模型安全性。公司表示,GPT-4o通过过滤训练数据和通过训练后细化模型行为等技术,在跨模式设计中内置了安全性。OpenAI还创建了新的安全系统,为语音输出提供防护。

在接下来的数周里,OpenAI将致力于技术基础设施、培训后的可用性以及发布其他模式所需的安全性。

在介绍完GPT-4o之后,OpenAI还扔出一个重磅消息——GPT-4o的文本和图像功能将在发布会当天开始在ChatGPT中免费推出!这意味着,不管是免费用户还是付费用户,都可以尝鲜。此举也让OpenAI这个公司名变得名副其实了起来。

不过,OpenAI提到,免费用户会有使用限制,当达到限制时,ChatGPT将自动切换到GPT-3.5。Plus用户的消息限制将比免费用户高出5倍,而团队和企业用户的限制会更高。

开发人员现在还可以在API中访问GPT-4o作为文本和视觉模型。与GPT-4 Turbo相比,GPT-4o速度提高2倍,价格降低一半,速率限制提高5倍OpenAI称,计划在未来几周内在API中向一小部分值得信赖的合作伙伴推出对GPT-4o新音频和视频功能的支持。

为ChatGPT免费用户提供更多工具

在此次春季发布会上,OpenAI还宣布将向ChatGPT免费用户推出更多智能且先进的工具。

据介绍,使用GPT-4o时,ChatGPT免费用户现在可以访问以下功能:获得GPT-4级的智能体验;从模型和网络获取响应;分析数据并创建图表;聊天讨论你拍摄的照片;上传文件以协助总结、撰写或分析;发现并使用GPT和GPT Store;使用Memory打造更有帮助的体验。

此外,对于所有用户,OpenAI还推出了适用于macOS的新ChatGPT桌面应用程序,该应用程序旨在无缝集成到计算机上执行的任何操作。通过简单的键盘快捷键(Option + Space),用户可以立即向ChatGPT提问。用户还可以直接在应用程序中截图并进行讨论。

用户也可以直接在计算机上与ChatGPT进行语音对话,只需要点击桌面应用程序右下角的耳机图标就可以开始。

ChatGPT

ChatGPT桌面应用程序将率先向Plus用户开放,并将在未来几周内大规模铺开。而该应用程序的Windows版本,可能要到今年晚些时候才会推出。

·原创文章

免责声明:本文观点来自原作者,不代表Hawk Insight的观点和立场。文章内容仅供参考、交流、学习,不构成投资建议。如涉及版权问题,请联系我们删除。