近日,semianalysis分析师带来了更多关于谷歌多模态和高效机器学习工具gemini的爆料。
据透露,初代的gemini应该是在tpuv4上训练的,并且这些pod并没有集成最大的芯片数4096个芯片,而是使用了较少的芯片数量,以保证芯片的可靠性和热插拔。
如果所有14个pod都在合理的掩模场利用率(mfu)下使用了约100天,那么训练gemini的硬件flops将超过1e26。
gemini已开始在新的tpuv5pod上进行训练,算力高达1e26flops,比训练gpt-4的算力还要大5倍。另外,gemini的训练数据库为youtube上93.6亿分钟的视频字幕,总数据集大小约为gpt-4的两倍。