semianalysis分析师带来了更多关于谷歌多模态和高效机器学习工具gemini的爆料-凯发app

产业

semianalysis分析师带来了更多关于谷歌多模态和高效机器学习工具gemini的爆料

据透露,初代的gemini应该是在tpuv4上训练的,并且这些pod并没有集成最大的芯片数4096个芯片,而是使用了较少的芯片数量,以保证芯片的可靠性和热插拔。

近日,semianalysis分析师带来了更多关于谷歌多模态和高效机器学习工具gemini的爆料。

据透露,初代的gemini应该是在tpuv4上训练的,并且这些pod并没有集成最大的芯片数4096个芯片,而是使用了较少的芯片数量,以保证芯片的可靠性和热插拔。

如果所有14个pod都在合理的掩模场利用率(mfu)下使用了约100天,那么训练gemini的硬件flops将超过1e26。

gemini已开始在新的tpuv5pod上进行训练,算力高达1e26flops,比训练gpt-4的算力还要大5倍。另外,gemini的训练数据库为youtube上93.6亿分钟的视频字幕,总数据集大小约为gpt-4的两倍。

关键词

24快报
元宇宙的喜与忧
2024年2月23日 10:28
json抓取失败
网站地图