传亚马逊正训练代号为“Olympus”的大模型 参数是GPT-4的两倍!
11月8日,据媒体报道,亚马逊正斥资数百万美元来训练自己的大型语言模型(LLM),内部代号为“Olympus”,该模型最早可能会在12月底推出。
11月8日,据媒体报道,亚马逊正斥资数百万美元来训练自己的大型语言模型(LLM),以期能与OpenAI和Alphabet的顶级模型一较高下。
消息人士称,亚马逊自研模型的内部代号为“Olympus”。训练Olympus的团队由Rohit Prasad领导,并直接向首席执行官Andy Jassy汇报。Prasad之前是亚马逊人工智能助手Alexa的负责人,也是亚马逊通用人工智能(AGI)首席科学家。
为了更好地训练Olympus,Prasad将此前一直致力于Alexa AI的研究人员和亚马逊科学团队聚集在一起,共同研究训练Olympus,将整个公司的人工智能工作与专用资源结合起来。
知情人士透露,Olympus最早可能会在12月底推出。
AI竞赛
值得一提的是,在去年ChatGPT出现之前,亚马逊网络服务部门(AWS)就有在开发人工智能软件,而且功能与ChatGPT类似。有了解该公司计划的知情人士表示,AWS曾希望在去年11月底的年度客户大会上推出这款软件产品,当时公司内部将其称为“Bedrock”,但由于技术障碍而不得不推迟发布。
在年度客户大会开始几天后,ChatGPT横空出世,随即引发全球的关注。但是很快亚马逊高管就庆幸他们没有发布这款产品,因为Bedrock与ChatGPT根本不在一个水平上。若是与OpenAI前后脚发布,很可能会被人“笑掉大牙”。
在经过不断改进后,Bedrock于今年9月28日正式推出。Bedrock是一项提供对云上生成式AI访问的服务。从技术上讲,Bedrock是一个基础模型库,所有模型都提供类似的内容生成功能。由于Bedrock的模型由AWS托管,因此现有客户可以通过常用渠道访问它们。可访问的模型包括来自AI21 Labs、Anthropic、Cohere、Meta、Stability AI和Amazon的其他模型。
在Olympus之前,亚马逊就尝试过训练较小的模型,如Titan。
Titan计划提供两种人工智能模型:一种是创建文本,另一种是改进搜索和个性化。除了创建博客帖子或电子邮件等新文本外,Titan还可以将项目归类到不同的类别,举行开放式对话,并从文本块中提取特定信息。9月28日,AWS宣布了第一个可用的Titan模型,名为Titan Embedding,它通过根据相关性更强和上下文的响应定制结果来增强搜索。
此外,亚马逊还与Anthropic和AI21 Labs等人工智能模型初创公司建立了合作伙伴关系,为AWS的用户提供这些模型。
尽管做了这么多,但有OpenAI的大模型珠玉在前,亚马逊这些模型难免有些逊色。
为了追赶OpenAI,知情人士透露,亚马逊正在训练的Olympus模型拥有的参数将高达两万亿个,这是目前披露的正在训练的最大模型之一。相比之下,OpenAI的GPT-4模型拥有一万亿个参数,而这已经是现有的最佳模型之一。参数越多,意味着可以更好地调整模型以完成任务,AI机器人的各方面性能有望在上一个台阶。从这一点可以看出,亚马逊这次是想玩把大的。
性能更优,成本也更大
不过,Olympus如此大规模的参数,对算力的要求也十分高,训练Olympus的成本将十分巨大。这对亚马逊来说,是一个不小的挑战。
微软砸进去接近100亿美元,才砸出一个ChatGPT。而Olympus的参数是GPT-4模型的两倍,所需的GPU等硬件的成本势必也会上升。更别提还有人力成本等其他支出。
另外,即使模型问世了,模型的运营也是需要成本。有分析机构预计,OpenAI每天需要花费近70万美元来运行ChatGPT。
此前亚马逊曾预计,2023全年公司的资本投资将超过500亿美元,其中AWS将占据很大一部分。尚不知道这其中会有多少资金流向Olympus这个项目。
在业绩没有出现巨大增长的情况下,为了增加对LLM和生成式人工智能的投资,亚马逊不得不“拆东墙补西墙”。公司今年以来就一直在推进成本削减计划。该计划就包括减少人力成本、降低销售和营销费用和改革运输业务以降低运输成本等。
之所以要大举投资来开发Olympus,是因为亚马逊认为,拥有自主开发的模型可以使其产品更具吸引力,如果有比肩GPT-4之类的模型就能大大提升该公司的竞争力,企业客户也希望在AWS上获得性能最佳的模型。
技术咨询公司Slalom的董事总经理Jeff Pearson表示,科技企业必须在生成式人工智能方面展开竞争,否则他们将失去相关性和市场份额。但是包括服务器和数据中心等设备在内都需要大量的资本支出。这是他们不得不面对的。
·原创文章
免责声明:本文观点来自原作者,不代表Hawk Insight的观点和立场。文章内容仅供参考、交流、学习,不构成投资建议。如涉及版权问题,请联系我们删除。