分散模子跟最优传输之间究竟存在怎么的接洽？对良多人来说仍是一个未解之谜。但有一点很明白的是：在类似的数据集上练习的差别分散模子偏向于规复出类似的映射关联。这就提出一个成绩：假如这些映射关联不是最优传输（OT，Optimal Transport ）映射，那么它们究竟在什么意思上是最优呢？  2022 年，博科尼年夜学助理教学 Hugo Lavenant 与里昂第一年夜学教学 Filippo Santambrogio 配合，在论文《 THE FLOW MAP OF THE FOKKER-PLANCK EQUATION DOES NOT PROVIDE OPTIMAL TRANSPORT 》中探究了流模子在最优传输框架中的利用，并供给了一个反例，标明在某些情形下，流模子并不克不及实现最优传输。 论文地点：https://cvgmt.sns.it/media/doc/paper/5469/counterexample_flow_v3.pdf在这篇文章的择要局部，作者表现，Khrulkov 跟 Oseledets 在先前研讨中（论文：Understanding DDPM Latent Codes Through Optimal Transport）提出了一个料想，该料想以为经由过程积分 Fokker-Planck 方程的 Wasserstein 速率失掉的 ODE 流，能够取得一个最优传输映射。但是，在 Kim 跟 Milman 的论文中《A generalization of Caffarelli’s contraction theorem via (reverse) heat flow》，这一成果被以为是过错的，但不供给证实。Hugo Lavenant、Filippo Santambrogio 的这篇论文恰好展现了 Khrulkov 跟 Oseledets 所宣称的成果不克不及建立。但这篇文章过于艰涩难明，全篇论文看上去多少乎都是推导公式且篇幅又长。为此，法国数学家 Gabriel Peyré 在论文《 Diffusion models and Optimal Transport 》中给出了一个很好的归纳综合，文章重述了 Hugo Lavenant 跟 Filippo Santambrogio 对于简练证实的重要内容，即个别情形下，分散模子不克不及界说最优传输映射。地点：https://github.com/mathematical-tours/mathematical-tours.github.io/blob/971ddb3aab5803c7a4abef122f878292f6a6c25d/book-sources/diffusion-models/note-diffusion-ot.pdf接上去，咱们看看这篇文章讲了什么内容。天生模子旨在在参考散布 α（平日是各向同性高斯散布）跟数据散布 β 之间构建传输映射 T。用 T♯α  表现 α 被 T 向前推动（假如 α 是由 Dirac 品质在 x_i 处形成的，那么 T♯α 是由 Dirac 品质在 T（x_i）处形成的）。因而，目的是找到 T，使得 T♯α = β 。很显明，对任何 β，如许的映射老是存在的，但找到 T 的明白结构方式却出奇地艰苦。这里有两种尺度方式，分辨是最优传输跟集成分散进程的逆向积分随同的平流场。最优传输最优传输经由过程求解 Monge 成绩求出 T：1991 年，Brenier 有名定理标明这个映射是存在的，且是独一的，而且能够写成一个凸函数 T =∇φ 的梯度。依据品质守恒定律，即 T♯α = β ，等价于说 φ 处理了 Monge-Ampère 方程：逆向 Flow Map分散模子须要斟酌 β_0 = β 跟 β_∞= α =N (0,Id) 之间的差值 β_t ，求解进程界说如下：请留神，应用 y 来表现空间变量，由于演变是逆向停止的，即从数据 β 到后一个变量 α，它收敛于 β_∞= α。将方程写成团圆情势：这标明，假如曾经盘算出了 β_t，那么这种演变能够依据向量场 v 演变粒子来取得。映射 S_t 就是 flow map ：逆向 Flow Map 不是最优传输人们很天然地想晓得逆向 Flow Map ]article_adlist-->能否是 (1) 的解。在一维情形下，S_t 界说微分同胚（ diffeomorphism），因而是枯燥的，也是枯燥的。因而，它是凸函数的梯度，依据 Brenier 定理使其最优。假如 β 是高斯散布，直到空间扭转以使协方差对角化，则分散映射由沿每个轴的枯燥映射界说，而且也是最优传输。Lavenant 跟 Santambrogio 经由过程抵触证实，个别来说，逆向 flow map 并不是最优传输。他们结构了一个濒临各向同性高斯 α 的 β，但他们不证实 β 的料想是过错的，而是证实存在一些 t ≥ 0，使得从 α 到 β_t 的逆向 Flow Map T_t 不是最优传输。他们现实上标明，对某些 t_0 > 0，T_t 并不是全部 t ∈ (0, t_0] 的最优传输。用 S_t 表现从 β_0 = β 到 β_t 的 Flow Map。假如料想建立，则从 α 到 β_t 的逆向 Flow Map T_t 是全部 t 的最优传输。依据 Flow Map 的形成规矩，该 Map 为：而且目的是证实：假如 β 抉择切当（详细来说，十分濒临 α，且特定的二阶跟四阶对数密度导数为 0），那么 T_t 是全部 t 的最优传输会招致抵触。依据 Brenier 定理，T_t 是最优传输象征着它是凸函数的梯度，这相称于：联合：对 (7) 对 t 求微分对流 ODE (4) 对 x 求微分而后在 t = 0 时评价所取得的方程，Hugo 跟 Filippo 经由过程显式盘算标明，这会招致：应用基础性子：A、B 对称且 AB 对称则 (8) 象征着：为了到达抵触，假设 G (y) 跟 H (y) 对全部 y 都是可交流的。因为]article_adlist-->表现为 ψ 凸。Monge-Amp`ere 方程 (2) 象征着：而且 T 跟 S 是逆最优传输映射，因而将为了使 β 濒临 α，请斟酌：对较小的 ε，在泰勒级数中开展，经由一些盘算：着眼于 y = 0，目的是经由过程计划 h 来到达抵触，使得不克不及交流。在 0 邻近，h 必需至少是 4 次多项式。二维情形下的一个示例是：跟发生：2024亚马逊云科技 re:lnvent 《拉斯维加斯有约》直击现场——Matt Garman & Peter Desantis 主题报告中文解读第一时光深度解读亚马逊云科技2024年re:Invent 年度嘉会！懂得亚马逊云科技自成一家的翻新实际与文明跟全系列前沿处理计划、怎样开辟翻新并引领寰球云盘算的全方位开展、怎样重构基本架构并打造全新休会，摸索怎样依靠强盛的数据基本为客户打造翻新的、差别化的处理计划。凝听客户谈话人分享实在案例，懂得怎样应用数据支撑包含天生式 AI 在内的种种利用场景，进而打造唯一无二的客户休会。分享亚马逊云科技及其配合搭档为客户带来的踊跃变更，赋能其重塑贸易形式、获得不凡成绩。这不只是一场深刻懂得前沿技巧、数据利用跟翻新实际的嘉会，更是一个不容错过的交换平台。等待你的参加！]article_adlist-->© THE END 转载请接洽本大众号取得受权投稿或追求报道：[email protected]]article_adlist--> 　　申明：新浪网独家稿件，未经受权制止转载。 -->