08月20日,星期天 12:30
火讯财经讯,据快科技8月20日报道,Intel正在大力推动PCAIGC应用的落地,从硬件到软件提供全方位支持。目前在PC平台上,Intel已发布的12/13代酷睿、ArcA系列显卡,以及即将发布的下一代酷睿,都能满足AIGC对于高算力的需求。Intel13代酷睿通过XPU加速、low-bit量化,以及其它软件层面的优化,可以让最高达160亿参数的大语言模型,通过BigDL-LLM框架运行在16GB及以上内存容量的个人电脑上。已经验证过的模型包括但不限于:LLAMA/LLAMA2、ChatGLM/ChatGLM2、MPT、Falcon、MOSS、Baichuan、QWen、Dolly、RedPajama、StarCoder、Whisper等,并通过Transformers、LangChainAPI接口支持Windows、Linux的操作系统。