融资1亿美元的类ChatGPT模型开源啦!可商用,8个模型

转载
419 天前
7995
AIcore

文章转载来源:AIcore

原文来源:AIGC开放社区

图片来源:由无界 AI‌ 生成

上周二,「AIGC开放社区」为大家介绍了融资1亿美元的生成式AI平台Writer。该企业能在短短3年时间获得1.26亿美元总融资成为ChatGPT的主要竞争对手之一,与其精湛的技术密不可分,同时充分证明其模型有成功的应用案例并获得资本、用户的认可。

目前,Writer在huggingface上开源了其使用的大语言模型Palmyra,有8个型号分别是small、base、20b-chat、Instruct-20b、med-20b等,可商用、支持数据微调。

开源地址:https://huggingface.co/Writer

在线免费体验地址:https://app.writer.com/organization/

Palmyra的技术亮点包括:参数小功能强,对于没有算力资源的中小企业、个人开发者很有帮助;接受过商业写作、营销数据训练,主要面向企业用户;企业级数据安全,内置多重安全护栏;

除了生成文本之外,还能提取视频、PDF、音频的内容摘要;支持数据微调,企业可打造独属于自己的“ChatGPT”助手等。

下面「AIGC开放社区」为大家介绍Palmyra的几个特色型号:

InstructPalmyra-20b

这是一款基于Palmyra-20b基础模型构建的指令调优模型,支持高级自然语言处理和量身定制需求。

InstructPalmyra-20b模型在大约70,000条指令-回应记录的广泛数据集上,进行了精细的训练。这些记录由Writer专业的语言建模和微调技术团队生成。

InstructPalmyra-20b拥有出色的处理复杂指令并生成准确、符合上下文的回应能力。这使其成为开发虚拟助手、客户支持、内容生成等广泛应用的理想模型。

此外,模型的全面训练使其能够在不同的条件和上下文下适应并表现良好,进一步扩大了其潜在的场景应用案例。

Palmyra-med-20b

Palmyra-Med是Writer专为满足医疗保健行业需求而构建的模型,并基于医疗数据进行了指令微调。

Palmyra-Med在领先的生物医学问答PubMedQA的测试中获得了最高分,准确率高达 81.1%,优于GPT-4和经过医学训练的人类测试者。

可提供翻译专业医疗术语、提取医疗笔记摘要、分析海量医疗数据、自动生成医疗见解等功能。

Palmyra Large 20B

Palmyra-Large是Writer构建的因果解码器模型,该模型在由Palmyra-Index-Data增强,并在高质量语料库中的8000亿数据上进行了训练。

Palmyra Large在模型预训练过程中使用了因果语言建模(CLM)目标。与 GPT-3 类似,因此,其利用自监督因果语言建模的目标进行了预训练。

该模型运行效率非常快,资源消耗却很少,适用于医疗、营销、市场、IT、设计、人力资源等业务场景,打造量身定制的AI助手。

性能评测

Palmyra在斯坦福HELM上获得了最高分,超过Falcon 40B 、LLaMA-30B等 知名开源模型。HELM是斯坦福大学基础模型研究中心的一项基准测试平台知名度非常高。

Palmyra在多项重要测试中排名第一,在大规模多任务语言理解(MMLU)上得分为 60.9% ,在BoolQ上得分为89.6% ,在NaturalQuestions上得分为79.0%。

Palmyra在另外两项关键测试中排名第二,上下文问答得分为49.7% ,TruthfulQA得分为61.6% ,整体性能非常强悍。

总之,Palmyra非常值得那些希望将大语言模型实现商业化的开发者们,研究其模型架构和功能借鉴其成功经验。