如何快速實現(xiàn)REST API集成以優(yōu)化業(yè)務(wù)流程
?DDPM的擴散過程如圖1-2和1-3所示，具體分為前向過程和反向過程兩部分。擴散模型是一種潛變量模型，它使用固定的馬爾可夫鏈映射到潛在空間。該鏈逐步向數(shù)據(jù)中添加噪聲，以獲得近似后驗值，其中為與x0具有相同維數(shù)的潛變量。在下面的圖中，我們可以看到這樣一個馬爾可夫鏈。
最后，圖像逐漸變?yōu)榧兏咚乖肼?。?xùn)練擴散模型的目標(biāo)是學(xué)習(xí)逆向過程，即訓(xùn)練。通過沿著這條鏈向后遍歷，我們可以生成新的數(shù)據(jù)。
? ? ? ?前向過程是給數(shù)據(jù)添加噪聲的過程。假設(shè)給定一批訓(xùn)練數(shù)據(jù)，數(shù)據(jù)分布為，其中，0表示初始，即還沒有開始擴散。如前所述，將前向加噪過程分為離散的多個時間步 T ，在每一個時間步 t ，給上一個時間步t-1的數(shù)據(jù)；添加高斯噪聲，從而生成帶有噪聲（簡稱”帶噪”）的數(shù)據(jù)，同時數(shù)據(jù)?，也會被送入下個時間步 t +1以繼續(xù)添加噪聲。其中，噪聲的方差是由一個位于區(qū)間（0,1）的固定值，確定的，均值則由固定值，和當(dāng)前時刻”帶噪”的數(shù)據(jù)分布確定。在反復(fù)迭代和加噪（即添加噪聲） T 次之后，只要 T 足夠大，根據(jù)馬爾可夫鏈的性質(zhì)，最終就可以得到純隨機噪聲分布的數(shù)據(jù)，即類似穩(wěn)定墨水系統(tǒng)的狀態(tài)。
? ? ? 接下來，我們用簡單的公式描述一下上述過程。從時間步 t -1到時間步 t 的單步擴散加噪過程的數(shù)學(xué)表達式如下：
? ?最終的噪聲分布數(shù)學(xué)表達式如下：
前向過程是將數(shù)據(jù)噪聲化的過程，反向過程則是”去噪”的過程，即從隨機噪聲中迭代恢復(fù)出清晰數(shù)據(jù)的過程。
? ? ? ?要從采樣自高斯噪聲的一個隨機噪聲中恢復(fù)出原始數(shù)據(jù)，就需要道反向過程中每一步的圖像分布狀態(tài)轉(zhuǎn)移。類似地， DDPM 也將反向過程定義為一個馬爾可夫鏈，只不過這個馬爾可夫鏈?zhǔn)怯梢幌盗杏蒙窠?jīng)網(wǎng)絡(luò)參數(shù)化的高斯分布組成的，也就是需要訓(xùn)練的擴散模型。
? ? ? ?從時間步！到時間步 t -1的單步反向”去噪”過程的數(shù)學(xué)表達式如下：
由于反向過程的每一步都是參數(shù)化的高斯分布，因此可以分別求高斯分布的均值和方貝葉斯公式推導(dǎo)的過程，最終得到時間步 t -1的高斯分布
，的均值和方差的數(shù)學(xué)公式如下：
可以看出，方差是一個定量(擴散過程參數(shù)固定)，而均值是一個依賴于?和的函數(shù)，因此需要使用擴散模型來優(yōu)化參數(shù)。
擴散模型預(yù)測的是噪聲殘差，即要求后向過程中預(yù)測的噪聲分布與前向過程中噪聲分布的“距離”最小。
下面我們從另一個角度來看看擴散模型。如果把中間產(chǎn)生的變量看成隱變量的話，那么擴散模型其實是一種包含 T 個隱變量的模型，因此可以看成更深層次的 VAE ，而 VAE 的損失函數(shù)可以使用變分推斷來得到變分下界（ variational lower bound )。
? ? ? ?擴散模型的最終優(yōu)化目標(biāo)的數(shù)學(xué)表達式如下：
?? ?可以看出，在訓(xùn)練 DDPM 時，只要用一個簡單的 MSE ( Mean Squared Error ，均方誤差）損失來最小化時向過程施加的噪聲分布和后向過程預(yù)測的噪聲分布，就能實現(xiàn)最終的優(yōu)化目標(biāo)。
文章轉(zhuǎn)自微信公眾號@ArronAI
鍵.png)
