用于流体流动预测的组合可微分偏微分方程求解器和图形神经网络的系统和方法

技术领域

本公开涉及利用计算流体动力学（CFD）和CFD求解器的系统。

背景技术

求解大型复杂的偏微分方程（PDE）、诸如计算流体动力学（CFD）中出现的偏微分方程是计算昂贵的过程。这促进了对深度学习方案的使用来近似PDE解，而从这些方案预测的模拟结果通常没有良好地推广到新的场景。

发明内容

根据一个实施例，一种系统，其包括处理器，所述处理器被编程为接收包括第一节点集合的粗网格输入，其中粗网格被输入到具有物理参数的计算流体动力学求解器以获得粗网格解，接收第二节点集合的细网格输入，其中第二节点集合包括比第一节点集合更多的节点，将细网格输入与物理参数级联（concatenate），并通过图形卷积层运行所述级联以获得细网格隐藏层，对粗网格解进行上采样以获得包括与第二节点集合相同数量的节点的粗网格上采样，将细网格隐藏层与粗网格上采样级联，并响应于细网格隐藏层和粗网格上采样的级联而输出预测。

根据第二实施例，一种计算机实现的方法包括接收包括第一节点集合的粗网格输入，其中粗网格被输入到具有物理参数的计算流体动力学求解器以获得粗网格解，接收具有第二节点集合的细网格输入，其中第二节点集合包括比第一节点集合更多的节点，将细网格输入与物理参数级联，并通过图形卷积层运行所述级联以获得细网格隐藏层，对粗网格解进行上采样以获得包括与第二节点集合相同数量的节点的粗网格上采样，并至少响应于粗网格上采样而输出预测。

根据第三实施例，一种系统包括：处理器，被编程为接收包括第一节点集合的粗网格输入，其中粗网格被输入到具有物理参数的计算流体动力学求解器以获得粗网格解，接收第二节点集合的细网格输入，其中第二节点集合包括比第一节点集合更多的节点，对粗网格解进行上采样以获得包括与第二节点集合相同数量的节点的粗网格上采样，并响应于细网格输入和粗网格上采样而输出预测。

附图说明

图1公开了用于训练神经网络的系统100。

图2公开了用于训练神经网络的计算机实现的方法200。

图3公开了网格的示例。

图4示出了优化节点的结果的示例图形。

具体实施方式

本文中描述了本公开的实施例。然而，将理解，公开的实施例仅仅是示例，并且其他实施例可以采取各种形式和替代形式。各图不一定是按比例的；一些特征可以被放大或最小化以示出特定组件的细节。因此，本文中公开的具体结构和功能细节不应被解释为限制性的，而仅仅是作为用于教导本领域技术人员以各种方式采用实施例的代表性基础。如本领域普通技术人员将理解的，参考任一图所图示和描述的各种特征可以与一个或多个其他图中图示的特征相组合，以产生未被明确图示或描述的实施例。图示的特征的组合提供了典型应用的代表性实施例。然而，对于特定的应用或实现，可能期望与本公开的教导一致的特征的各种组合和修改。

本公开讨论了一种混合（图形）神经网络，其将传统的图形卷积网络与网络本身内部的嵌入式可微分流体动力学模拟器相组合。通过将实际的CFD模拟器（运行在问题的更粗分辨率表示上）与图形网络相组合，我们示出了，我们可以既良好地推广到新的情形又受益于神经网络CFD预测的显著加速，同时还显著优于单独的粗CFD模拟。

下面公开了一种混合方案，其将用于快速预测的（图形）神经网络的益处与工业级CFD模拟器的物理真实性相组合。该系统可以包括图形卷积网络（GCN），其直接对典型的CFD模拟任务中使用的非均匀网格进行操作。GCN的使用可能是重要的，因为所有真实的CFD求解器都在这些非结构化网格上操作，而不是直接在规则栅格上操作，所述规则栅格通常可以用在卷积网络上来近似CFD模拟。第二，所述系统可以嵌入（可微分的）CFD求解器，在粗得多的分辨率上操作，直接进入GCN本身。尽管通常被视为黑盒，但现代CFD模拟器本身可以被用作深度网络中的（高成本）“层”。使用研究充分的伴随方法，现代求解器可以计算模拟输出量相对于输入网格的梯度。这允许系统将快速CFD模拟（由于在小得多的网格上操作而变得快速）集成到网络本身中，并允许我们全部以端到端的方式将GCN和网格输入联合训练成模拟引擎。组合方案可能比单独的粗CFD模拟表现得显著更好（例如，网络可能能够提供与简单地运行更快的模拟来开始相比更高的保真度结果），并且比纯基于图形网络的方案好得多地推广到新颖情形。所述方案可以比在原始大小网格本身上运行CFD模拟显著更快。与在没有深度学习的情况下而使用的CFD求解器相比，下面示出的各种实施例的公开内容更准确并且更快地执行模拟，这是因为CFD求解器正在更粗的网格上操作。相对于没有并入CFD求解器的深度学习方案，该方法也更能够推广到新的情形。

图1示出了用于训练神经网络的系统100。系统100可以包括用于访问神经网络的训练数据192的输入接口。例如，如图1中所图示，输入接口可以由数据存储接口180构成，数据存储接口180可以从数据存储装置190访问训练数据192。例如，数据存储接口180可以是存储器接口或永久存储接口30，例如硬盘或SSD接口，但也可以是个域网、局域网或广域网接口，诸如蓝牙、Zigbee或Wi-Fi接口或以太网或光纤接口。数据存储装置190可以是系统100的内部数据存储装置，诸如硬盘驱动器或SSD，但也可以是外部数据存储装置，例如网络可访问的数据存储装置。

在一些实施例中，数据存储装置190可以进一步包括神经网络的未训练版本的数据表示194，该数据表示194可以由系统100从数据存储装置190访问。然而，将领会，未训练神经网络的训练数据192和数据表示194也可以各自例如经由数据存储装置5接口180的不同子系统从不同的数据存储装置访问。每个子系统可以具有如上针对数据存储接口180所述的类型。在其他实施例中，未训练神经网络的数据表示194可以由系统100在神经网络的设计参数的基础上在内部生成，并且因此可以不明确地存储在数据存储装置190上。系统100可以进一步包括处理器子系统160，处理器子系统160可以被配置为在系统100的操作期间，提供迭代函数作为待训练的神经网络的层堆叠的代替物。这里，被代替的层堆叠的相应层可以具有相互共享的权重，并且可以接收前一层的输出作为输入，或者对于层堆叠的第一层，接收初始激活和层堆叠的输入的一部分。处理器子系统160可以进一步被配置为使用训练数据192迭代地训练神经网络。这里，处理器子系统160的训练迭代可以包括前向传播部分和后向传播部分。处理器子系统160可以被配置为除了其他操作之外还通过如下操作来执行前向传播部分：定义可以执行的前向传播部分；确定迭代函数的平衡点，迭代函数在该平衡点处收敛到固定点，其中确定平衡点包括使用数值寻根算法来找到迭代函数减去其输入的根解；以及通过提供平衡点作为神经网络中的层堆叠的输出的代替物。系统100可以进一步包括用于输出经训练神经网络的数据表示196的输出接口，该数据也可以被称为经训练模型数据196。例如，也如图1中所图示，输出接口可以由数据存储接口180构成，其中在这些实施例中所述接口是输入/输出（“IO”）接口，经由所述输入/输出（“IO”）接口，经训练模型数据196可以被存储在数据存储装置190中。例如，定义“未训练”神经网络的数据表示194可以在训练期间或之后至少部分地被经训练神经网络的数据表示196替换，因为诸如神经网络的权重、超参数和其他类型的参数之类的神经网络的参数可以适于反映训练数据192上的训练。这也通过指代数据存储装置190上的相同数据记录的参考标号194、196图示在图1中。在其他实施例中，数据表示196可以与定义“未训练”神经网络的数据表示194分离存储。在一些实施例中，输出接口可以与数据存储接口180分离，但是一般可以具有如上针对数据存储接口180所述的类型。

图2是CFD_GCN模型的示意图示例。该网络在两个不同的图形——在其上计算CFD模拟的“细”网格211以及充当到CFD求解器203的输入的“粗”网格201（最初是细网格的简单粗化版本，但最终由模型调谐）——上操作。作为输入，网络采用管控模拟的少量参数。对于下面描述的实施例中的实验的情况，其中系统可以预测翼型周围的流场，这些参数202可以包括迎角（the angle of attack，AoA）和马赫数。这些参数202可以被提供给CFD模拟，并且也可以被附加到初始GCN节点213特征。尽管其可能看起来是相对低维的任务，但这两个组件可以极大地变化模拟的输出，并且当在用于“训练”网络的精确值范围之外进行推广时，对于传统模型而言难以学习。附加地，CFD-GCN模型可以用在利用温度和迎角或其他设计参数来确定通过管道的流体流动和湍流的应用中，或利用几何或形状优化参数来确定由风扇叶片或对象的其他移动部件生成的噪声或湍流的应用中。这可以包括但不限于在散热器应用、风扇叶片循环、螺旋桨、循环等中利用的应用。

该网络可以通过首先在粗网格输入201上运行CFD模拟而同时用一个或多个GCN213处理由细网格211定义的图形来操作。然后，在步骤209，该系统可以对模拟结果进行上采样207，并将这些结果与来自GCN的中间输出215级联。在又一替代实施例中，该系统可以组合未上采样的粗网格解

最后，该系统可以将附加的GCN层217、213应用于这些关节特征，最终预测期望的输出值225（在该实施例中，它可以是细网格211中每个节点处的速度和压力场）。例如，细网格211可以包括6600个节点，而粗网格201可以包括550个节点用于相同的翼型或相同的参数集。细网格211可以包括粗网格201的1.5倍、2倍、3倍、4倍、5倍、10倍等之多的节点。在各种实施例中，这两个网格可以是混合的三角形或四边形网格。

可以用于CFD-GCN的图形结构可以直接从传统CFD软件用于模拟物理系统的网格结构导出。该系统可以考虑二维三角形网格

可以是

可以是

除了用于计算CFD模拟的细网格211之外，该系统还可以考虑标示为

除了图形本身之外，模型还接收两个物理参数202作为输入，这两个物理参数202定义了翼型周围的流动行为：迎角（AoA）和马赫数。这两个参数都被馈送到模拟中，并作为GCN中每个节点的初始节点特征被附加。这两个参数或用于其他应用的任何其他参数可以是在模拟间变化的量，并且因此GCN的主要任务是要学习如何根据定义模拟的这两个参数来预测所得流场。

CFD-CGN模型的中心组件可以是集成的可微分流体模拟器203。作为输入，流体模拟器203可以采用粗网格201

直观地，CFD求解器203（例如，SU2求解器）应当被认为是我们网络中的附加层，它将迎角和马赫数取作输入，并在求解器输出205处产生输出速度和压力场。传统层的“参数”的等同物是粗网格本身：针对粗网格的不同配置将不同地适用于CFD-GCN剩余部分内的集成。因此，我们模型的SU2部分的主要学习任务之一是要以最终使所得的完整CFD-GCN模型的准确度最大化的方式调整粗网格。SU2中的伴随方法使用反向模式微分，因此梯度可以相对于标量值损失（诸如CFD-GCN的总体预测误差）进行高效计算。

最后，尽管不是严格的研究贡献，但是作为该项目的一部分，我们已经开发了SU2求解器203和PyTorch库之间的接口层。该接口允许像PyTorch模块内的任何其他层一样处理完整的SU2模拟，并且我们希望它将在深度学习和（工业级）CFD模拟的交叉点处找到附加应用。

上述粗模拟的输出是具有每个节点处每个场的预测值的网格。为了将其用于生成最终预测，该系统可能需要将其上采样到细网格的大小。该系统可以通过执行平方距离加权的

让我们称第一元素

其中

如图2中所描绘的，粗模拟的输出由卷积层序列处理。为了在CFD模拟的网格输出上直接操作，该系统可以利用图形卷积网络（GCN）架构。该架构可以为图形定义卷积层。

由

在所有组件一起起作用的情况下，该系统可以用粗网格201和物理参数202运行SU2模拟。该粗模拟的输出205被上采样

同时，细网格211具有附加到其每个节点特征的物理参数和带符号距离函数（SDF）。这里，节点处的SDF可以被定义为其到翼型边界处最近节点的欧几里得距离。所得图形然后穿过一系列图形卷积213，如图形卷积213、219、221、223所示。在某个指定的卷积层

在这样的示例中，

给定如上面公式化的整个CFD-GCN可以被视为单个可区分的深度网络（包括SU2“层”或CFD求解器“层”），训练过程本身可能是直接的。通过使预测

其中在这种情况下，通过运行完整的SU2求解器以在原始细网格上收敛来获得基础真值

该系统也可以运行反向传递序列，以随着时间改进该系统。总之，该系统可以通过比较预测

a. 对于

b. 损失相对于求解器输出的梯度

c. 使用

因此，该系统可以使用梯度和某种深度学习优化算法（随机梯度下降，ADAM等）来更新参数

网络可以使用通过求解器函数进行区分的能力来学习粗网格

在替代实施例中，图形卷积可以用在图形上操作的任何类型的神经网络层（例如，图形自关注层、图形变换器）来替换，或者如果网格在栅格中，则图形卷积可以用卷积层替换。该系统可以改变损失函数、优化器或激活函数。网络架构可以与标准深度学习训练技术或修改（丢弃、批量标准化、层标准化等）兼容。在又一替代实施例中，该系统可以组合未上采样的粗网格解

图3图示了网格的示例。当优化输入粗网格时可能出现问题。逐渐地，随着节点位置通过梯度下降更新而移动，在给定的三角形元素中，节点之一（例如，节点301）可以越过如交叉节点303所示的边是可能的。这可能生成非物理体积，其可能损害模拟的稳定性，从而频繁地阻碍收敛。换言之，在每个梯度更新步骤处，优化器可以通过执行更新来更新网格节点301

具有与

为了避免非物理体积，该系统可以生成规划更新

这意味着节点越过边，因为它引起节点的排序改变。这可以在图3中描绘，其中边

对于已经翻转的每个元素

图4示出了优化节点的结果的示例图形。在具有和不具有梯度更新校正的情况下均优化网格的节点以改进预测损失。而在不具有校正的情况下优化的网格快速退化并且损失发散，具有投影梯度更新的网格甚至对于更高的学习速率

本文公开的过程、方法或算法可以被可递送到处理设备、控制器或计算机/由处理设备、控制器或计算机实现，处理设备、控制器或计算机可以包括任何现有的可编程电子控制单元或专用电子控制单元。类似地，过程、方法或算法可以以多种形式存储为可由控制器或计算机执行的数据和指令，包括但不限于永久存储在诸如ROM设备的不可写存储介质上的信息和可变更地存储在诸如软盘、磁带、CD、RAM设备以及其他磁性和光学介质之类的可写存储介质上的信息。过程、方法或算法也可以在软件可执行对象中实现。替代地，可以使用诸如专用集成电路（ASIC）、现场可编程门阵列（FPGA）、状态机、控制器之类的合适的硬件组件，或其他硬件组件或设备，或者硬件、软件和固件组件的组合，来整体或部分地体现过程、方法或算法。

虽然上面描述了示例性实施例，但是不旨在这些实施例描述权利要求所包含的所有可能的形式。说明书中使用的词语是描述的词语，而不是限制的词语，并且理解，可以在不脱离本公开的精神和范围的情况下做出各种改变。如先前描述的，各种实施例的特征可以被组合以形成可能未被明确描述或图示的本发明的另外的实施例。虽然各种实施例可能已经被描述为在一个或多个期望的特性方面提供了优于其他实施例或现有技术实现的优点或者比其他实施例或现有技术实现优选，但是本领域的普通技术人员认识到，一个或多个特征或特性可以取决于具体的应用和实现被折衷以实现期望的总体系统属性。这些属性可以包括但不限于成本、强度、耐用性、生命周期成本、适销性、外观、包装、大小、适用性、重量、可制造性、组装容易性等。照此，在任何实施例都被描述为在一个或多个特征方面与其他实施例或现有技术实现相比不太合期望的程度上，这些实施例不在本公开的范围之外，并且对于特定应用可以是合期望的。