苹果成为人工智能开发人员运行最大开源LLM（大语言模型）的新宠

转载

377 天前

2520

AI梦工厂

文章转载来源：AI梦工厂

文章来源：AI猿

图片来源：由无界 AI生成

苹果最近为人工智能开发人员提供了 M3 芯片，现在他们可以在 MacBook 上无缝地处理具有数十亿参数的大型模型。苹果在其博客文章中表示：“对高达 128GB 内存的支持可以解锁以前在笔记本电脑上无法实现的工作流程。”

目前，仅 14 英寸 MacBook Pro 支持 M3、M3 Pro 和 M3 Max 芯片，至于 16 英寸 MacBook Pro 仅支持 M3 Pro 和 M3 Max 配置。苹果还声称，其增强的神经引擎有助于加速强大的机器学习（ML）模型，同时保护隐私。

开发者现在可以在 14 英寸笔记本电脑上以较低的质量损失运行最大的开源 LLM（拥有 1800 亿个参数的 Falcon）。

然而，在笔记本电脑上运行开源LLM并不是什么新鲜事。此前，人工智能人士也尝试过 M1。Invideo 的联合创始人兼 CTO Anshul Khandelwal 在他的 MacBook（由 M1 提供支持）上试验了 650 亿参数的开源 LLM。他说现在大约每周一次都会改变一切。“未来每个技术人员都拥有本地的LLM并不遥远”他补充道。

Perplexity.ai 联合创始人兼首席执行官 Aravind Srinivas 开玩笑地表示，一旦 MacBook 在每个 M1 芯片的 FLOPs 方面足够强大，每个人都使用 MacBook 和高速内联网的大型组织就会受到监管，需要向其报告其存在政府。

适用于 AI 工作负载的 M3

苹果声称M3系列芯片目前比M2系列芯片快15%，比M1系列芯片快60%。显然，M2 和 M3 在性能和其他规格方面仅存在明显差异。Apple 的最新芯片具有相同的核心数量，但性能和效率核心的平衡不同（各 6 个核心，8 个 P 和 4 个 E），并支持高达 36GB 的内存，而不是 32GB。

M3 芯片支持高达 128GB 的统一内存，与前身 M1 和 M2 芯片相比，容量增加了一倍。这种扩展的内存容量对于需要大量内存资源来训练和执行大型语言模型和复杂算法的 AI/ML 工作负载尤其重要。

除了增强的神经引擎和扩展的内存支持之外，M3 芯片还采用了重新设计的 GPU 架构。

该架构专为实现卓越的性能和效率而构建，结合了动态缓存、网格着色和光线追踪功能。这些进步是专门为加快 AI/ML 工作负载并优化整体计算效率而设计的。

与传统 GPU 不同，新款 M3 突出采用具有“动态缓存”功能的 GPU，实时使用本地内存，提高 GPU 利用率，并显着提高要求苛刻的专业应用程序和游戏的性能。

对于游戏开发者和 Photoshop 等图形密集型应用程序或与照片相关的 AI 工具的用户来说，GPU 的功能将是有益的。Apple 声称其速度最高可达 M1 系列芯片的 2.5 倍，具有硬件加速的网格着色功能，并以更低的功耗提高了性能。

苹果与世界

苹果并不孤单，AMD、英特尔、高通和英伟达等其他厂商也在大力投资增强边缘功能，使用户能够在笔记本电脑和个人电脑上运行大型人工智能工作负载。

例如，AMD最近推出了AMD Ryzen AI，其中包括第一个用于x86 Windows笔记本电脑的内置AI引擎，也是同类中唯一的集成AI引擎。

另一方面，英特尔则寄希望于第 14 代 Meteor Lake。它是首款采用平铺架构的英特尔处理器，可以混合搭配不同类型的核心，例如高性能核心和低功耗核心，以实现性能和功耗效率的最佳平衡。

近期，高通还推出了Snapdragon X Elite。该公司首席执行官 Cristiano Amon 声称，其性能优于苹果的 M2 Max 芯片，并且峰值性能相当，功耗均降低了 30%。与此同时，NVIDIA 还投资于边缘用例，并利用 Arm 技术默默致力于设计与微软 Windows 操作系统兼容的 CPU。

人工智能开发人员越来越多地在本地运行和试验语言模型，观察这个领域的发展确实令人着迷。鉴于该领域的最新进展，苹果正在缓慢但肯定地成为人工智能开发人员的首选。

关键词：

来源：AI梦工厂

发布人：暖色

声明：该文观点仅代表作者本人，不代表火讯财经立场。火讯财经系信息发布平台，仅提供信息存储空间服务。

如文章涉及侵权，请及时致函告之，本站将第⼀时间删除⽂章。邮箱：840034348@qq.com

上一篇：AI大语言模型LLM，为啥老被翻译成「法学硕士」？！

下一篇：DEXX独家内幕：老板只是94年初中学历？