HawkInsight

  • 联系我们
  • App
  • 中文

扎克伯格“报喜”:正在训练Llama 3,今年将购买35万块英伟达芯片

当地时间1月18日,扎克伯格在其社交平台上发帖称,Meta正在训练下一代大模型Llama 3,同时,公司也正在构建大规模的计算基础设施。

当地时间1月18日,扎克伯格在其社交平台Instagram上发帖分享了Meta的一些AI进展。

扎克伯格提到,Meta的长期愿景是构建通用智能,负责任地将其开源,并广泛提供,以便每个人都能受益。他表示,“我们正在将我们的两大人工智能研究努力(FAIR和GenAI)更紧密地结合在一起,以支持这一点。”

扎克伯格

GenAI指的是去年大热的生成式人工智能。FAIR则是Meta的人工智能实验室,与谷歌的DeepMind、微软投资的OpenAI齐名,均属于硅谷科技企业中的顶级人工智能实验室。

扎克伯格还透露了Meta大模型的进展:“我们目前正在训练我们的下一代大模型Llama 3,我们正在构建大规模的计算基础设施,以支持我们的未来路线图。”

2023年,Meta相继开源了一代和二代大模型,即Llama 1和Llama 2。此举为Meta赢得一片赞誉之声,成为了开源LLM的标杆。

Meta的将大模型开源,让许多开发者和初创企业从中受益。在扎克伯格之后,Meta的首席AI科学家Yann LeCun也于18日在社交媒体上确认了Llama 3即将到来的消息。并表示:“为了加快进展,FAIR现在成为人工智能产品部门GenAI的姐妹组织。”同时,他也很支持Meta将模型开源的决定,他表示,没有开源人工智能,意味着没有人工智能创业生态系统。

Yann LeCun

另外,为了能更好地训练大模型,扎克伯格还透露,到2024年底,Meta将购买超过35万块英伟达H100 GPU,这是目前业界构建生成式人工智能性能最强大的芯片。如果算上英伟达A100和其他人工智能芯片的话,到今年底,Meta手上将掌握算力接近60万个H100的芯片

这样庞大的芯片和算力储备将使Meta跻身全球最强大的AI系统之列。去年第三季度,亚马逊曾表示其正在构建一个包含10万块Trainium2芯片的AI系统,而甲骨文也透露其有一个配备了逾3万块英伟达H100芯片的AI体系。

Meta发言人拒绝透露除英伟达之外该公司还使用从哪些芯片供应商购买芯片,但此前该公司已公开表示过计划使用AMD的芯片。

不过,Meta这样大肆购入英伟达的顶级芯片,预计将消耗掉公司不少资金。据了解,单块H100 GPU的售价在2.5-3万美元之间,即使按照这一价格区间的下限来算,Meta今年最低也要在购置芯片上支出约87亿美元

去年第三季度财报中,Meta预计,2024年全年公司的资本支出将在300-350亿美元之间,主要用于公司加大服务器建设,包括非人工智能和AI硬件以及数据中心的投资。结合上面计算的数据,Meta今年在购买芯片上就花掉了全年预计支出的近三成。

虽然购买芯片花掉不少钱,但是Meta认为这笔支出还是不能省,因为公司现在正需要芯片来支撑AI研究及发展。除了用顶级芯片加快大模型训练来追赶OpenAI、谷歌等科技企业的脚步,扎克伯格还表示:“我对我们在制造新的以人工智能为中心的计算设备方面的进展感到非常兴奋,比如Ray-Ban Meta智能眼镜。”

据悉,Ray-Ban Meta智能眼镜采用人工智能技术,允许用户免提拨打电话、发送消息和拍摄视频。

在扎克伯格兴致勃勃分享Meta内部AI进展时,Meta的股价在周四(1月18日)又创下新高。18日,Meta上涨逾2%,收于376.13美元。

今年开年以来,Meta的股价就保持着上涨的势头,目前其总市值已经达到9,666亿美元,距离加入“万亿俱乐部”仅剩一步之遥

Meta

 

·原创文章

免责声明:本文观点来自原作者,不代表Hawk Insight的观点和立场。文章内容仅供参考、交流、学习,不构成投资建议。如涉及版权问题,请联系我们删除。