英特尔与并行科技打造HPC集群整体优化解决方案

合作背景

北京并行科技有限公司（以下简称并行科技）是一家专注于高性能计算机（以下简称HPC）领域的高新技术企业，业务集中在HPC机群安装实施和运行维护服务；HPC机群系统性能调优和应用系统优化服务；超算中心机时租用代理服务等。作为HPC领域的领军者之一，在应用系统层面，并行科技优化专家能够提供串行程序的并行化服务、用户应用程序的系统级优化服务。 

在高性能计算系统大规模应用需求不断提升的情况下，HPC用户对大规模软件的可扩展性、性能优化以及运行效率提出了更迫切的需求，他们开始要求如何能对现有应用程序进行更大程度的并行化，也更渴望知道发生在HPC集群中每个部分的运行情况。这不仅对并行科技的现有业务提出了新的挑战，也对并行科技能够提供的业务模式提出了新的思路，并行科技需要对以下问题进行思考：

用户需要更清晰把握HPC集群每个模块的运行状态；
I/O密集型、计算密集行、内存密集型等多类型应用增多，如何针对不同应用所需资源进行优化；
一些HPC应用效率偏低，原有优化方式无法改进；
如何充分利用现有软件工具，在多核处理器飞速发展的今天使软件更适应大规模集群。

这些问题一旦得到解决，必然会给并行科技的业务带来质变，并带来新的业务模式。

英特尔与并行科技共同打造超大规模HPC集群监控方案

为了解决用户所面临的这些挑战，英特尔与并行科技通力合作，对HPC集群系统硬件层与应用层进行全面细致分析。在此基础上，英特尔协助并行科技推出了基于应用的全新HPC机群监控软件按Para系列产品及HPC集群系统整体优化解决方案，该产品将HPC底层硬件与应用层紧密连接，有效地提供了集群系统多个层面的监控及管理。

在整个开发过程中，英特尔软件技术团队利用其长期在HPC系统领域接触多类型用户以及对英特尔软件工具的熟练应用，提供了全面的技术指导。该解决方案目前已经应用于石油、气象、军事科研、CAD/CAE、材料科学、生命科学等行业和领域，典型用户包括大庆油田、中石油东方地球物理勘探公司、中科院大气物理所、海洋所、电力科学院、上海品源、澳门大学、清华大学等。

英特尔与并行科技工程师紧密合作，为并行科技的用户提供了一系列HPC集群系统优化服务，并提高应用并行化水平，将众多的资源进行集中管理，将系统各模块运行状况、需并行化软件、处理器利用率等详细等整合进统一管理，为用户了提供了清晰、高效的HPC系统管理：

实现系统硬件层与应用层的有效衔接
该方案填补了HPC系统硬件层与应用层之间的空白，实现了更高效的集中监控。通过此方案，可以将硬件实时状态与软件运行状态进行集中分析。
超大规模HPC集群系统的实时监控
实现了超大规模、多个集群、几千个节点的统一监控，其杰出的扩展性能使得用户可以不用安装不同软件对应每一个集群，实现了高效的资源统一管理。在同类产品中，该方案扩展性令人咂舌。
更清晰直观的资源管理
通过该解决方案，用户只需对架构有基本了解，可以帮助用户直接显示I/O、内存、存储、处理器等资源的利用情况，甚至可以细化到每个应用所使用的节点状况，并直接显示导致应用效率低下的所在和原因，对于程序出现的位置、是否需要并行化等直接分析出结果。
更高的应用效率
通过显示并解决应用所出现的问题，此方案帮助大庆油田典型应用实现50%的效率提升，将此前该应用的作业时间从12小时减少到8小时。










为了使得方案应用更为出色，英特尔软件技术团队提供了全方位的技术支持和经验供给：

通过英特尔函数库、调优工具、编译器等工具的透彻理解，帮助HPC应用能利用充分，使之尽可能利用到英特尔至强处理器的强大性能。
英特尔ISV软件工程师团队帮助ISV在软件并行化上给出全方位支持和建议，并帮助并行科技掌握多达十几种大型HPC系统调优方法。

商务价值

通过英特尔多方面的支持及双方密切的合作，并行科技研发出的Para大型HPC集群监控软件帮助其实现了区别于以往仅仅帮助用户实现系统调优的商业模式。并行科技利用Para系列软件实现了业务模式的突破，并提高了原有业务的服务质量，并帮助IA用户更绿色的使用HPC集群。