别只关心Sora，来看看Groq的新芯片给AI的提速有多么恐怖

转载

268 天前

9706

芯片客

文章转载来源：芯片客

文章来源：硅星GenAI

作者：椒盐玉兔

图片来源：由无界AI生成

首先得说一下，区别于 Gemini 或者 GPT，Groq 不是一个模型，而是自研的 TSP 微架构。Groq把开源的 Llama 2 70B 和 Mistral 8x7B 塞到了其特调的芯片上，实现了极其离谱的速度，具体有多离谱呢？这里列一些对比。

首先，上场的基准选手，也就是 驰名中外的GPT-4，速度上的显眼包。回答问题时，是这样的：

GPT-4，哎，不多说了...

接下来，让我们看看由 Groq 加速后的 Llama 2 70B：

右上方计数器 278 T/s，折合差不多200个单词/秒

以及，Groq 代理的 Mistral 8x7B：

又快又好！右上方计数器 408 T/s，折合差不多408个单词/秒

上面的测试里 Groq 的速度已经足以让人吃惊了！！

接下里我们从理解能力、生成能力、逻辑推理、翻译能力、情感分析、常识判断等六个维度更直观地看三个模型的效果如何，

测试成员从左到右依次为：

GPT-4、Groq 的 Llama 2 70B、Groq 的 Mistral 8x7B

请三位选手开始表演：

首先是理解能力：二者回答都很流畅，没有出现明显的事实性错误。

提示词：概述光合作用的过程

生成能力：二者在故事生成上表现均不错，若论生成速度，则 Groq 取胜。

提示词：根据以下提示编写一个短故事：“在一个风雨交加的夜晚，一位老船长发现了一张古老的藏宝图。”

逻辑推理：针对这个简单的勾股定理问题，Groq 回答约 158KM 而正确答案是约112KM。但是它对题目的理解和计算过程都是对的，属于典型的过程对了但答案错了。最后开根号没开对。

提示词：一列火车东行50公里，然后向北行驶100公里。从起点到终点的直线距离是多少？

语言翻译：在这项测试中，GPT-4 表现不错，但 Groq 无法完成测试。

提示词：翻译内容选自论文《Attention Is All You Need》

不过除了中文以外，Groq 在其他语言翻译上的表现还是相当不错的。

目前 Groq 可以理解中文提示词，但无法生成高质量的中文回答。

情感分析：在这一部分，Groq上的两款模型跟 GPT-4差距不大。

提示词：分析以下评论的情感倾向：“我简直不敢相信我花了这么多钱在这个产品上，完全不值！”

最后是常识判断：两者都给出了足够可信的回答。

提示词：如果你在夜里听到鸟叫，最可能是什么情况？

测试动图全程无加速，这种速度感第一次体会到是在去年第一次用到 Bard 的时候。在开源模型上这还是第一次。

除此之外还有一个有趣的地方：

在 Groq 的回答完成之后，还可以更改生成的选项，即时生成或者扩展回答内容，选项如图所示：

对于生成类型有不同的设置，选择的类型不同，生成的结果也不大相同。而在 Professional 这个选项下无论是 Llama 2 70B、还是 Mistral 8x7B，不仅生成速度又长又快，还可以选择不同的领域和功能，比如 Table（表格选项）、Professional。具体操作可以在生成之后，根据自己的喜好进行不同的选择。