不用GPU!硅谷Groq大模型横空出世,能否挑战英伟达?

艾媒咨询|2023年中国AIGC行业发展研究报告

随着人工智能技术的不断发展,AIGC技术也日益成熟,广泛应用于更多领域,其广阔的应用前景将推动AIGC市场规模快速增长。艾媒咨询预测,预计2023年中国AIGC核心市场规模将达79.3亿元,2028年将达2767.4亿元。

艾媒咨询|2023年中国AIGC行业发展研究报告 精品决策
中国ChatGPT及AIGC消费者行为洞察数据 中国ChatGPT及AIGC消费者行为洞察数据 科技消费 用数据说话

  AI圈卷疯了。

  人们还没从视频生成模型Sora带来的震撼中回过神来,硅谷AI芯片初创公司Groq的大模型又引发了市场热烈讨论,其主打一个“快”,每秒能输出500个token(注:语言模型中用来表示最小文本单元)。相比之下,Chat GPT-3.5每秒生成速度为40个token。

  在大模型产品多如牛毛的当下,Groq为何得以爆火?

  其最大的亮点在于独特的技术路径。不同于广泛使用英伟达GPU的大模型产品,Groq团队为其大模型量身定制了专用芯片(ASIC),这一芯片能在速度上取胜的核心技术是其首创的LPU(Language Processing Unit)技术。

  “天下苦英伟达久矣”,自大模型兴起以来,英伟达的GPU芯片一卡难求,算力短缺成为很多AI企业面临的难题。而如今Groq横空出世,不仅绕开了GPU,还能实现更快的计算速度,无疑让市场倍感兴奋。

  Groq的AI芯片到底和GPU有何不同?能否实现“平替”英伟达?

  主打一个“快”

  据介绍,Groq的芯片采用14nm制程,搭载了230MB大静态随机存储器(SRAM)以保证内存带宽,片上内存带宽达80TB/s。在算力方面,该芯片的整型(8位)运算速度为750TOPs,浮点(16位)运算速度为188TFLOPs。

  如何直观地感受其运算效率?据称,Groq在大语言模型任务上彻底击败了GPU——比英伟达的GPU快10倍,而成本仅为GPU的10%,且只需要GPU十分之一的电力。

  Anyscale的LLMPerf排行也显示,在Groq LPU推理引擎上运行的Llama 2 70B,输出tokens吞吐量快了18倍,优于其他所有云推理供应商。

  为了证明自研芯片的能力,Groq在官网发布了免费的大模型服务,包括三个开源大模型,Mixtral 8×7B-32K、Llama 2-70B-4K和Mistral 7B-8K,目前前两个已开放使用。

  Groq火箭般的生成速度,让市场侧目,也吸引网友纷纷测评。

  据网友测试,面对300多个单词的“巨型”prompt(AI模型提示词),Groq在不到一秒钟的时间里,就为一篇期刊论文创建了初步大纲和写作计划。此外,Groq还完全实现了远程实时的AI对话。

  电子邮件初创企业Otherside AI的首席执行官兼联合创始人马特·舒默(Matt Shumer)在体验Groq后称赞其快如闪电,能够在不到一秒钟的时间内生成数百个单词的事实性、引用性答案。更令人惊讶的是,其超过3/4的时间用于搜索信息,而生成答案的时间却短到只有几分之一秒。

  Groq能实现上述功能的核心技术在于首创的LPU,那么对这一技术该如何理解?

  据社交媒体X上与Groq关系密切的投资人k_zeroS分享,LPU的工作原理与GPU截然不同。它采用了时序指令集计算机(Temporal Instruction Set Computer)架构,这意味着它无需像使用高带宽存储器(HBM)的GPU那样频繁地从内存中加载数据。这一特点不仅有助于避免HBM短缺的问题,还能有效降低成本。不同于英伟达 GPU需要依赖高速数据传输,Groq的LPU在其系统中没有采用HBM,它使用的是SRAM,其速度比GPU所用的存储器快约20倍。

  科技投资专家、首建投合伙人王嘉宁在接受21世纪经济报道记者采访时表示,“LPU架构与GPU使用的SIMD(单指令,多数据)不同,它的推理引擎是一个端到端系统,专为需要大量计算和连续处理的应用(如大语言模型)设计。LPU的设计允许更有效地利用每个时钟周期,确保一致的延迟和吞吐量,并降低复杂调度硬件的需求。”

  “平替”英伟达?

  “快”字当头,Groq的大模型可谓赚足眼球。Groq还喊话各大公司,扬言在三年内超越英伟达。

  作为“AI卖铲人”,英伟达在这一波AI热潮中赚得盆满钵满,其GPU芯片价格一再被炒高,但仍一卡难求,因此在这场战役中,“天下苦英伟达久矣”的呼声一直高亢。如果Groq的LPU架构能“弯道超车”,显然为业内乐见。据悉,该公司的推理芯片在第三方网站上的售价为2万多美元。

  不过,想要“平替”英伟达GPU可并不容易,从各方观点来看,Groq的芯片还无法与之分庭抗礼。

  原Facebook人工智能科学家、原阿里技术副总裁贾扬清算了一笔账,因为Groq小得可怜的内存容量,在运行Llama 2 70B模型时,需要305张Groq卡才足够,而用英伟达的H100则只需要8张卡。从目前的价格来看,这意味着在同等吞吐量下,Groq的硬件成本是H100的40倍,能耗成本是10倍。

  对比LPU和GPU的优劣,天使投资人、资深人工智能专家郭涛对21世纪经济报道记者进一步分析,“性能方面,对于特定任务,比如深度学习中的矩阵运算,LPU可能提供更高的吞吐量和更低的延迟;通用性方面,GPU设计用于处理各种并行计算任务,而LPU可能更专一,这既是优势也是劣势。生态系统和软件支持方面,GPU拥有成熟的生态系统和广泛的软件支持,而新出现的LPU可能需要时间来建立相应的支持。”

  深度科技研究院院长张孝荣认为:“尽管LPU在某些方面可能无法与为广泛图形处理任务设计的英伟达GPU直接竞争,但在特定的AI领域,尤其是语言大模型推理方面,LPU具备不小的应用潜力。”

  虽然市场上对GPU的主导地位有所不满,但受访专家普遍认为,LPU要完全取代GPU并非易事。

  郭涛认为,“英伟达的GPU不仅性能强大,而且拥有庞大的用户基础和生态系统。随着AI和深度学习的不断发展,对专用芯片的需求也在增长。不过,LPU和其他ASIC提供了一种可能性,可以在特定领域内挑战GPU的地位。”。

  当前,随着AI技术的发展和市场需求的变化,各种专用加速器如FPGA、ASIC以及其他初创公司的AI芯片已经不断涌现,它们在各自擅长的领域内展现出了挑战GPU的可能性。“不过,要实现大规模的市场替代还需要解决生态建设、兼容性、成本效益等诸多问题。”王嘉宁说。

艾媒咨询|2023年中国AIGC行业发展研究报告

随着人工智能技术的不断发展,AIGC技术也日益成熟,广泛应用于更多领域,其广阔的应用前景将推动AIGC市场规模快速增长。艾媒咨询预测,预计2023年中国AIGC核心市场规模将达79.3亿元,2028年将达2767.4亿元。

艾媒咨询|2023年中国AIGC行业发展研究报告 精品决策
中国ChatGPT及AIGC消费者行为洞察数据 中国ChatGPT及AIGC消费者行为洞察数据 科技消费 用数据说话