07月13日，星期四 12:45
火讯财经讯，据IT之家7月13日报道，外媒Semianalysis近日对OpenAI今年3月发布的GPT-4大模型进行了揭秘，其中包括GPT-4模型架构、训练和推理的基础设施、参数量、训练数据集、token数、成本、混合专家模型（MixtureofExperts）等具体的参数和信息。外媒表示，GPT-4在120层中总共包含了1.8万亿参数，而GPT-3只有约1750亿个参数。而为了保持合理的成本，OpenAI采用混合专家模型来进行构建。据悉，GPT-4使用了16个混合专家模型（mixtureofexperts），每个有1110亿个参数，每次前向传递路由经过两个专家模型。此外，它有550亿个共享注意力参数，使用了包含13万亿tokens的数据集训练，tokens不是唯一的，根据迭代次数计算为更多的tokens。GPT-4预训练阶段的上下文长度为8k，32k版本是对8k微调的结果，训练成本相当高，外媒表示，8xH100也无法以每秒33.33个Token的速度提供所需的密集参数模型，因此训练该模型需要导致极高的推理成本，以H100物理机每小时1美元计算，那么一次的训练成本就高达6300万美元（约4.51亿元人民币）。对此，OpenAI选择使用云端的A100GPU训练模型，将最终训练成本降至2150万美元（约1.54亿元人民币）左右，用稍微更长的时间，降低了训练成本。
0
火讯财经讯，1月14日消息，据CoinDesk报道，管理着2.3万亿美元的资产的投资管理公司CapitalGroup，已成为Metaplanet最大股东之一，持有其5%的股份。Metaplanet总部位于日本，是一家酒店业投资者，Metaplanet持有1,762枚BTC，是持有比特币的第十五大上市公司。自2024年4月采用比特币资金策略以来，其股价已上涨超过1700%。 CapitalGroup还是比特币开发公司MicroStrategy(MSTR)的第二大股东，持有该公司1840万股股份，占该公司8%以上的股份。
11 分钟前
火讯财经讯，1月13日消息，欧易OKX行情显示，比特币回升短时突破93000美元，现报92520.7美元，日内跌幅收窄至2.68%。
41 分钟前
火讯财经讯，1月13日消息，Usual在X平台宣布，从今天起，USUALx持有者的收入转换功能已被激活。那些在本周内持有USUALx头寸的用户，将有资格获得上周的抵押品收入分配。1:1提前解除质押功能将在明天上线，连同所有相关规则，用户可以选择农场和解除质押策略。 在Usual生态系统中，90%的USUAL代币供应量分配给社区；100%的抵押品收入每周分配给USUAL质押者，并以USD0进行奖励。有关分配机制的详细文件将于本周发布。新的质押机制将很快推出，旨在创建一个更加自主和优雅的再分配系统。每周报告也将发布，让每个人都能验证链上的收入。
41 分钟前
火讯财经讯，1月13日消息，Coinglass数据显示，过去24小时加密货币市场全网合约爆仓7.06亿美元，其中多单爆仓5.96亿美元，空单爆仓1.10亿美元。BTC爆仓总金额1.56亿美元，ETH爆仓总金额1.72亿美元。
41 分钟前
火讯财经讯，1月13日消息，据链上分析师@ai_9684xtpa监测，“过去六个月通过PEPE波段获利492万美元的聪明钱”2小时前从Kraken提出了5490亿枚PEPE，价值886万美元； 然而他昨天才将5618亿枚代币充值进交易所，目前该巨鲸仍持有价值968万美元的PEPE。
41 分钟前
商务合作：840034348@qq.com
媒体合作：840034348@qq.com
投稿合作：840034348@qq.com
微信公众号
iPhone & Android
