当前位置: 首页 > 社会 > 正文

在轻薄本上体验生成式 AI 和大语言模型 英特尔给出的答案是肯定的

2023-08-19 08:47:44 来源:中关村在线


【资料图】

现阶段 AI 应用有两个离不开,一个是离不开网络,不少 AI 应用的计算过程是在云端进行的,无法脱离网络;另一个是离不开强大的算力,比如生成式 AI,往往依赖规格很强的显卡。这两个离不开也意味着,大家很难在移动设备上体验到 AI 所带来的便利。不过英特尔却表示,这些都可以在搭载了英特尔酷睿处理器和锐炫显卡的 PC 上得到支持,包括便携性极强的轻薄本。

那么,英特尔是如何做到的?我们从开篇提到的两个离不开说起。

依赖云的代表就是大语言模型了,如何把大语言模型从云端搬到本地,英特尔先优化了模型,降低了模型对于硬件的要求。然后通过第 13 代酷睿的 XPU 加速、low-bit 量化和其他层面的优化,实现了 160 亿参数的大语言模型。然后通过 BigDL-LLM 框架,让其可以在内存容量为 16GB 及以上的笔记本上运行。

从实际的演示效果来看,即使是轻薄本,运行大语言模型的效率还是非常不错的,速度完全不会影响到阅读,满足使用是没有问题的。如此出色的表现,在 PC 个人助理等方面有着非常不错的应用前景。

依赖强算力的代表就是 Stable Diffusion 了,英特尔的做法是,除了依靠本身不错的硬件外,还与 AI 社区构建软件生态。英特尔积极拥抱 AI 社区,在 OpenVINO PyTorch 后端方案的基础上,通过 Pytorch API 让开源模型可以在英特尔的处理器、显卡(集成和独立)和专用 AI 引擎上运行。

目前已经通过这种方式,实现了 Stable Diffusion 的 Automatic1111 WebUI 的运行。它可以在搭载英特尔处理器和独显的 PC 上运行 FP16 精度模型。从现场演示的效果来看,生成一张 512x512 的图片,2-3 秒钟就可以完成,效率还是比较可观的。

在文字生成图片、图片生成图片和图片修复等方面,这项功能的实用性非常强。

通过构建生态和模型优化,再加上本身英特尔酷睿处理器和锐炬显卡的强大性能,英特尔实现了在个人 PC 上运行大语言模式和生成式 AI,并且实际效果超出预期,可用性非常不错。这也意味着,未来越来越多 AI 场景都可以在个人 PC 上落地,不仅仅是在台式机上,包括更加便携的轻薄本等设备上。在 AI 的辅助下,个人 PC 的使用体验将会迎来革命性的进步。

标签:

下一篇:最后一页
上一篇:唠科团丨“社恐”特效药研究公布积极结果 药物能改善社交焦虑?
历史
游戏