当前位置:首页 > 硬件 > 资讯 > 第 一时间适配!英特尔锐炫GPU在运行Llama 3时展现卓越性能

第 一时间适配!英特尔锐炫GPU在运行Llama 3时展现卓越性能

时间:2024-09-17作者:就爱游戏网整理来源:IT168网站我要评论

在Meta发布Llama 3大语言模型的第 一时间,英特尔即优化并验证了80亿和700亿参数的Llama 3模型能够在英特尔AI产品组合上运行。在客户端领域,英特尔锐炫™显卡的强大性能让开发者能够轻松在本地运行Llama 3模型,为生成式AI工作负载提供加速。

在Llama 3模型的初步测试中,英特尔®酷睿™Ultra H系列处理器展现出了高于普通人阅读速度的输出生成性能,而这一结果主要得益于其内置的英特尔锐炫GPU,该GPU具有8个Xe核心,以及DP4a AI加速器和高达120 GB/s的系统内存带宽。

英特尔酷睿Ultra处理器和英特尔锐炫显卡在Llama 3模型发布的第 一时间便提供了良好适配,这彰显了英特尔和Meta携手为本地AI开发和数百万设备的部署所做出的努力。英特尔客户端硬件性能的大幅提升得益于用于本地研发的PyTorch和英特尔® PyTorch扩展包等丰富的软件框架与工具,以及用于模型部署和推理的OpenVINO™工具包。

在内置英特尔锐炫显卡的英特尔酷睿 Ultra 7上运行Meta-Lama3-8B-Instruct

在英特尔锐炫A770上运行Llama 3的下一个Token延迟

上图展示了在搭配PyTorch框架和针对英特尔GPU的优化后,英特尔锐炫A770显卡在运行Llama 3模型时表现出卓越的性能。除此之外,英特尔锐炫显卡亦支持开发者在本地运行包括Mistral-7B-Instruct LLM、Phi2、Llama2等在内的大语言模型。

基于相同的基础安装,开发者可以在本地运行多种模型的主要原因,可以归功于IPEX-LLM,即一个针对PyTorch的大语言模型库。它主要基于英特尔® PyTorch扩展包打造,涵盖时下最 新的大语言模型优化和低比特数据压缩(INT4/FP4/INT8/FP8),以及针对英特尔硬件的大多数最 新性能优化。得益于如锐炫A系列显卡等英特尔独立显卡上的Xe核心XMX AI加速功能,IPEX-LLM能够显著提高性能,其支持在Windows子系统Linux版本2、原生Windows环境和原生Linux上的英特尔锐炫A系列显卡。

由于所有的操作和模型均基于原生PyTorch框架,开发者可以非常方便地更换或使用不同的PyTorch模型以及输入数据。而上述模型和数据不仅能够在英特尔锐炫显卡上运行,开发者亦享受到英特尔锐炫显卡加速带来的性能提升。有意义的性能对比,更能说明实验的完整性。基于基准测试,这里展示了两款定位在相似价格区间的独立显卡。

举例来看,在使用IPEX-LLM库运行70亿参数的Mistral模型时,锐炫A770 16GB显卡每秒可以处理70个token(TPS),比使用CUDA的GeForce RTX 4060 8GB的TPS高出70%。该测试中的一个规则是,1个token大约等同于0.75个单词,根据这个换算比例,如果普通人平均每秒阅读4个单词,那么换算过来就是每秒5.3个token。由此可见,英特尔锐炫A770 16GB显卡在处理和生成文本方面的速度有显著优势,它能够以比普通人阅读更快的速度生成文本。

英特尔内部测试表明,锐炫A770 16GB显卡在运行大模型时能够提供卓越的性能。相比RTX 4060,锐炫A770 16GB显卡在运行大多数模型时具备极有竞争力或领先的性能,这也使其成为在本地运行大语言模型的更优选择。

最新资讯
评论(条评论)
[!--temp.www_moban5_cn_cy--]