AI规模化落地，英特尔至强的七重助力

下面我们从7个方面，展开阐述英特尔如何从性能、数据预处理、可扩展性、内存、模型部署、大数据分析、跨平台部署应用等多方面实现优化和升级，全面支持企业AI的 规模化应用落地。

很多人可能都认为AI这种新出现的技术，或者说应用负载，也应该用新的架构来支撑，其实不然。实际上随着 CPU 性能的数量级提升，以及在软硬件层面针对AI应用的不断优化，CPU平台也能很好地承载 AI 应用。现在CPU 能兼容几乎所有的 AI 主流技术，深度学习的应用任务，特别是推理，完全可以用 CPU来搞定。而且CPU还有一个特定的优势，就是当用户混合使用机器学习和深度学习方法时，CPU更适合承载这样的任务。

不断更新换代的英特尔CPU平台，已经在AI应用特别是推理上提供了强大的算力。以第二代英特尔®至强®可扩展处理器为例，它集成了加速人工智能深度学习推理的英特尔®深度学习加速（英特尔®DL Boost）技术，将人工智能性能提升到一个全新的水平，可加速数据中心、企业和智能边缘计算环境中的人工智能推理工作负载。以常见的 Caffe Resnet-50 模型为例来看性能变化，第二代英特尔®至强®铂金8280处理器借助英特尔DL Boost技术，图像识别的速度可比上一代英特尔至强可扩展处理器提升14倍。

另外，英特尔CPU平台还与各类主流深度学习框架 （包括 TensorFlow、PyTorch、caffe 、MXNet、PaddlePaddle、BigDL 等）合作，针对CPU的AI训练和AI推理功能进行全面优化，Xeon处理器训练性能因此得到不断提升，客户也可以选择使用适合自身需求的深度学习框架做模型训练，而无需购买或者设置不同的硬件基础设施。

随着软件工具的不断更新及面向主流框架的深度优化，CPU 平台不论是支持基于单一 AI 技术的应用，还是在运行融合了多种 AI 技术的应用时，其性能表现都更为突出。对于全新硬件架构的每一个数量级的性能提升潜力，软件能带来超过两个数量级的性能提升。以第二代英特尔至强可扩展处理器上的VNNI深度学习加速指令为例，过去卷积神经需要三条指令，而现在的话一条指令就可以了，通过在底层的软硬件协同优化，可根据不同深度学习框架将推理性能加速2-3倍甚至更多。

尽管当前市场对于AI技术抱有很大兴趣，但实施水平仍然相当低下。我们需要根据应用需求构建起完整的数据分析/AI流水线，从高质量数据源整理、数据预处理与清洗、适当特征数据的选择与构建等前期工作开始，这就要求数据工程师、算法工程师等协同工作。

算法工程师往往要花很多时间，来处理用于深度学习模型训练和测试的庞大数据，数据预处理会涉及很多很零碎的事情，比如校对数据的标注是否符合某种逻辑。在进行数据预处理时，所写的代码不一定是执行起来效率最高的，因为有可能这些零碎的校验数据功能只用一次，而不是反复使用。在这种情况下，可以使用方便快速实现功能的 Python 语言调用 CPU 来实现，而且基于 CPU 有很多现成的包和工具，具有更快数据预处理的优势。CPU还可以通过使用更多内存、减少I/O 操作来提升AI运行效率。

如今的深度学习和AI领域，优秀的算法和框架数不胜数，但英特尔开源的BigDL和采用了这一技术的Analytics Zoo平台选择了一个颇具独特性的切入点，那就是专为已有大数据集群的场景设计。目前，来自零售业、金融服务行业、医疗保健业、制造业及电信业等领域的企业客户都已经开始在英特尔至强服务器上利用Analytics Zoo、或基于BigDL构建更为平滑无缝的数据分析-AI应用流水线。

在深度学习和机器学习领域，不管是模型训练还是推理，为了分配和部署计算能力，常常需要基于现有的 IT 基础设施或者云平台进行硬件扩展。目前一些专有的AI架构平台只能以卡或芯片为单位来管理和扩展，而英特尔至强平台不仅更容易在更多节点上扩展，还能按核实现弹性的扩展和调配，能真正做到精细化的资源管理和调配。这使得AI平台可以尽可能通过云化来提高灵活性，提升自动化管理水平，并充分利用到每个计算核心的价值等。换句话说，现在的基础设施就是为可扩展性而搭建。

比如有开发者指出，在新一代Skylake-SP微构架芯片设计上，英特尔首次开始采用了全新网格互连构架（Mesh Interconnect Architecture）设计方式，从传统的利用环形连接，到了新设计则全面改采用网格互连的方式，来进行资料存取与控制指令的传送。因为最小单位可以是以每行、每列来连接，所以每颗 Skylake-SP 核心、缓存、内存控制器及 I/O 控制器之间的路径选择变得更多元，还可以跨不同的节点互连，以寻找最短的数据传递捷径，即使是加大核心数量，也能够维持很快存取数据，并支持更高内存频宽，以及更高速的 I/O 传输。

不论是AI训练还是推理，靠近计算单元的内存或者说较高速的数据缓存都非常重要。在 AI 分析中，它们对训练中的神经网络构建，并通过该网络进行推理比较都有着重要的影响。因此我们希望在靠近计算单元的地方尽可能缓存更多数据。其容量的增加，会很大程度上提高 AI 的整体性能、准确性、响应速度。

训练深度学习模型时，占用CPU 内存比较大，一般来说单台刀片可以轻松做到 256GB 以上的内存，做分布式训练时还可以把数据分配到不同机器上进行计算，而且可以尽量把数据预存到 CPU。此外，CPU 大内存的优势不仅体现在训练上，更主要的是推理，比如对尺寸很大的医疗影像模型进行推理处理。

即使没有英特尔®傲腾™ 数据中心级持久内存 的出现，英特尔至强处理器平台也很容易扩展内存的容量。但有了这种全新类型的产品后，内存的存储密度/价格比可能会更理想，其性能也接近 DRAM，让更大量的数据可以更接近 CPU 进行移动和处理，极大地降低从系统存储获取数据的延迟。相比之下，专有架构平台要扩展缓存，还是很不方便的。

在深度学习实践中，是否应该去搭建一套新的专用平台？持否定意见的开发者认为，目前主要用于 AI 模型推理的平台都是基于 CPU 架构的，应该利用现有的数据中心基础设施，利用现有的、熟悉的处理器平台，以最低的成本部署人工智能，这相比另起炉灶、寻找其他计算平台的方法，用时更短 、风险更低、性价比更高。

有开发者据此总结了三条理由：首先，现如今标准 CPU 平台完全能够胜任 AI 所有应用；其次，现在AI属于“试错阶段“，同时技术也在快速演变和迭代，利用现有的 CPU 平台，可以最小成本做最大的事，无需大量额外投资，但如果另起炉灶可能得不偿失；最后，用多年熟悉且信任的 CPU 平台，构建“激进”的 AI 项目，本身就是一个绝好的平衡，让技术风险变得可控。

在现有英特尔架构支持的数据应用基础上构建 AI 应用，生产环境非常成熟，易于部署，运维人员学习难度低。英特尔从云到端都有硬件平台就绪，不论是通用计算还是专用芯片（如Movidius），而且还有相关的软件支持，如众多优化库、框架和工具。另外，英特尔为 AI 应用的开发者们提供了 OpenVINO 等工具包，可以方便实现模型部署，优势显著。

Hadoop 和 Spark 是目前非常流行的大数据管理和处理框架，想利用它们承载的数据进行深度学习训练，通常需要把这些数据导出，然后进行处理，这个过程不仅耗时而且投资较大，所以在这些大数据平台上进行深度学习训练显得尤为重要。

有开发者认为，可以针对各种不同来源的数据，首先根据目标算法需要的数据格式，进行数据整合。得到目标数据之后，再根据业务需要，按照对应的比例，将最原始的数据分成训练数据和测试数据，通过算法对数据不断进行训练，后期进行相应的测试。

其实更好的方式是打通数据流水线。英特尔的 Analytics Zoo （内含BigDL）打通端到端数据流水线，在 Hadoop 和 Spark 等主流的大数据框架上，把数据的收集、存储、传输、预处理、后期处理等环节，与 AI 的训练和预测等部分有机结合起来，就可以让企业的数据分析流水线变得高效而统一。例如，英特尔协助美的公司基于Analytics Zoo构建了一套端到端的产品缺陷检测方案，准确率优于人工检查方法，并避免了检查工作给生产线带来侵入性影响。Analytics Zoo将Spark、TensorFlow以及BigDL程序整合至同一流水线当中，整个流水线能够在Spark集群之上以透明方式实现扩展，从而进行分布式训练与推理。最终使美的的图像预处理时长由200毫秒降低至50毫秒，并将延迟影响由2,000毫秒缩短至124毫秒。

深度学习应用的开发周期很长，而且往往会涉及多个工具和平台，如何将新技术、新创新应用到非常大规模、大数据的生产系统中，目前在软硬件架构上有非常大的断层。这提升了技术开发门槛，开发者十分期待从云端到终端能跨平台部署深度学习应用。

2018年，英特尔开源了Analytics Zoo，构建了端到端的大数据分析+AI平台，无论是用TensorFlow还是Keras，都能将这些不同模块的程序无缝运行在端到端流水线上，大大提升了开发效率。

并且，Analytics Zoo 也兼容 OpenVINO™在 AI 应用上的加速特性。基于英特尔硬件平台、专注于加速深度学习的OpenVINO™工具套件，是一个快速开发高性能计算机视觉和深度学习视觉应用的工具包。 

英特尔®OpenVINO工具套件不仅适用于开发可模拟人类视觉的应用和解决方案，它还可以通过英特尔®FPGA深度学习加速套件支持FPGA，旨在通过优化广泛使用的Caffe和TensorFlow框架来简化采用英特尔®FPGA的推理工作负载，并用于包括图像分类、机器视觉、自动驾驶、军事以及医疗诊断等应用。

OpenVINO™工具包基于卷积神经网络（CNN），可扩展英特尔硬件（包括加速器）的工作负载，并最大限度地提高性能。

具体来说，OpenVINO具有面向OpenCV和OpenVx的优化计算机视觉库，并支持跨计算机视觉加速器的异构执行，可通过基于英特尔架构的处理器（CPU）及核显（Integrated GPU）和深度学习加速器（FPGA、Movidius™ VPU）的深度学习加速芯片，增强视觉系统功能和性能。它支持 在边缘端进行深度学习推理，并加速高性能计算机视觉应用， 帮助开发人员和数据科学家提高计算机视觉应用性能，简化深度学习部署过程。

上面分析了AI应用落地时，开发者需要重点关注的七大维度——性能、数据预处理、可扩展性、内存、模型部署、大数据分析、跨平台部署应用，我们会发现，每一个维度都支持CPU架构和平台的优势。一方面，CPU的计算能力通过软硬件协同优化不断提升，可以更好地适应AI场景需求，企业渐渐意识到用CPU做AI已经“足够好”；另一方面，通过收购和探索不同芯片架构，英特尔的AI软硬件产品组合正在不断完善，这使得英特尔能够建立一个完整的AI基础架构，非常丰富的产品组合是英特尔与其他公司实现差异化的最大亮点。