可扩展处理器通过了中国电子技术标准化研究院组织的人工智能服务器系统性能测试(AISBench)★ღ◈◈★。英特尔成为首批通过AISBench大语言模型(LLM)推理性能测试的企业★ღ◈◈★。
中国电子技术标准化研究院赛西实验室依据国家标准《人工智能服务器系统性能测试规范》(征求意见稿)相关要求★ღ◈◈★,使用AISBench2.0测试工具★ღ◈◈★,完成了第五代英特尔至强可扩展处理器的AI大模型推理性能和精度测试918博天娱乐官网★ღ◈◈★,★ღ◈◈★。测试中★ღ◈◈★,第五代英特尔至强在ChatGLM V2-6B(60亿参数)以及Llama2-13B(130亿参数)两个模型上均展现出卓越推理性能★ღ◈◈★,能够满足轻量级大语言模型的实时推理要求★ღ◈◈★。
测试结果★ღ◈◈★:此次单机性能测试中★ღ◈◈★,在满足人类正常阅读速度要求(生成延迟小于100毫秒)的情况下★ღ◈◈★,在封闭测试场景中构造数据集★ღ◈◈★,基于第五代英特尔至强的服务器可实现★ღ◈◈★:
作为通用处理器★ღ◈◈★,第五代英特尔至强在人工智能★ღ◈◈★、网络★ღ◈◈★、存储★ღ◈◈★、数据库等关键工作负载均能提供出色性能★ღ◈◈★。AISBench2.0的测试结果验证了英特尔至强在运行轻量级大语言模型时展现出的优异推理性能绿巨人3.2永久破解版★ღ◈◈★,使得客户可以使用基于至强的服务器★ღ◈◈★,构建一个通用AI系统进行数据预处理绿巨人3.2永久破解版★ღ◈◈★、模型推理和部署918博天堂★ღ◈◈★。★ღ◈◈★,从而获得兼具AI性能★ღ◈◈★、效率★ღ◈◈★、准确性和可扩展性的组合★ღ◈◈★。这也彰显了英特尔至强可以为企业提供“开箱即用”的功能★ღ◈◈★,即可以在通用系统上部署一部分AI工作负载★ღ◈◈★,从而为客户带来更佳的总体拥有成本(TCO)优势★ღ◈◈★。
英特尔至强的内置AI加速器使其成为在通用处理器上运行部分AI工作负载的理想解决方案918博天堂★ღ◈◈★,不仅如此绿巨人3.2永久破解版★ღ◈◈★,英特尔还配备了经过优化的★ღ◈◈★、易于编程的开放软件918博天堂★ღ◈◈★,可降低客户和生态伙伴在数据中心部署从云到智能边缘各种基于AI的解决方案的门槛★ღ◈◈★。
第五代英特尔至强可扩展处理器充分发挥了系统级优势(包括缓存★ღ◈◈★、内存等)918博天堂★ღ◈◈★,因此推理速度实现了大幅提升★ღ◈◈★。
其内置的AI加速器英特尔®高级矩阵扩展(AMX)绿巨人3.2永久破解版★ღ◈◈★,通过提供专用的矩阵运算加速模块(TMUL)★ღ◈◈★,以及支持INT8和BF16这类低精度数据类型918博天堂★ღ◈◈★,可实现对计算资源的充分利用★ღ◈◈★,从而大幅提升运算效率★ღ◈◈★。
xFasterTransformer(简称xFT)是英特尔提供的在CPU平台上部署大语言模型的深度优化开放解决方案★ღ◈◈★,通过C++和Python两种API接口★ღ◈◈★,更易于用户使用和将其集成到自有业务框架中918博天堂★ღ◈◈★。
AISBench基准是一套应用于人工智能计算产品的性能测试基准★ღ◈◈★,由中国电子技术标准化研究院牵头研制★ღ◈◈★。与MLPerf等国际先进计算基准类似918博天娱乐官网★ღ◈◈★,www.918.com★ღ◈◈★!★ღ◈◈★,该基准用于测试多种人工智能计算产品形态★ღ◈◈★,并支持丰富的测试场景★ღ◈◈★、模式★ღ◈◈★、类型和指标★ღ◈◈★。
性能因使用情况★ღ◈◈★、配置和其他因素而异★ღ◈◈★。欲了解更多信息绿巨人3.2永久破解版★ღ◈◈★,请访问性能指数网站★ღ◈◈★。性能结果基于截至所示日期的测试★ღ◈◈★,可能无法反映所有公开可用的更新★ღ◈◈★。请参阅备份以了解配置详情★ღ◈◈★。没有任何产品或组件是绝对安全的★ღ◈◈★。您的成本和结果可能会有所不同★ღ◈◈★。英特尔技术可能需要启用硬件918搏天堂官方注册页面★ღ◈◈★,★ღ◈◈★、软件或激活服务★ღ◈◈★。