肉色欧美久久久久久久蜜桃,欧洲成人在线免费,日韩电影免费在线观看中文字幕

Query、Key和Value矩陣：
- Query矩陣（Q）：表示當(dāng)前的關(guān)注點(diǎn)或信息需求，用于與Key矩陣進(jìn)行匹配。
- Key矩陣（K）：包含輸入序列中各個(gè)位置的標(biāo)識(shí)信息，用于被Query矩陣查詢(xún)匹配。
- Value矩陣（V）：存儲(chǔ)了與Key矩陣相對(duì)應(yīng)的實(shí)際值或信息內(nèi)容，當(dāng)Query與某個(gè)Key匹配時(shí)，相應(yīng)的Value將被用來(lái)計(jì)算輸出。
點(diǎn)積計(jì)算：
- 通過(guò)計(jì)算Query矩陣和Key矩陣之間的點(diǎn)積（即對(duì)應(yīng)元素相乘后求和），來(lái)衡量Query與每個(gè)Key之間的相似度或匹配程度。
縮放因子：
- 由于點(diǎn)積操作的結(jié)果可能非常大，尤其是在輸入維度較高的情況下，這可能導(dǎo)致softmax函數(shù)在計(jì)算注意力權(quán)重時(shí)進(jìn)入飽和區(qū)。為了避免這個(gè)問(wèn)題，縮放點(diǎn)積注意力引入了一個(gè)縮放因子，通常是輸入維度的平方根。點(diǎn)積結(jié)果除以這個(gè)縮放因子，可以使得softmax函數(shù)的輸入保持在一個(gè)合理的范圍內(nèi)。
Softmax函數(shù)：
- 將縮放后的點(diǎn)積結(jié)果輸入到softmax函數(shù)中，計(jì)算每個(gè)Key相對(duì)于Query的注意力權(quán)重。Softmax函數(shù)將原始得分轉(zhuǎn)換為概率分布，使得所有Key的注意力權(quán)重之和為1。

工作原理：?jiǎn)晤^Attention通過(guò)計(jì)算每個(gè)token的查詢(xún)向量與所有token的鍵向量的點(diǎn)積，并經(jīng)過(guò)softmax歸一化得到注意力權(quán)重，再將這些權(quán)重應(yīng)用于值向量進(jìn)行加權(quán)求和，從而生成每個(gè)token的自注意力輸出表示。

每個(gè)token對(duì)應(yīng)的Query向量與每個(gè)token對(duì)應(yīng)的Key向量做點(diǎn)積對(duì)于輸入序列中的每個(gè)token，我們都有一個(gè)對(duì)應(yīng)的查詢(xún)向量（Query Vector, Q）和鍵向量（Key Vector, K）。我們計(jì)算每個(gè)查詢(xún)向量與所有鍵向量的點(diǎn)積。這個(gè)步驟是在所有token之間建立關(guān)系，表示每個(gè)token對(duì)其他token的“關(guān)注”程度。

將上述點(diǎn)積取softmax（得到0~1之間的值，即為Attention權(quán)重）點(diǎn)積的結(jié)果需要經(jīng)過(guò)一個(gè)softmax函數(shù)，確保所有token的注意力權(quán)重之和為1。softmax函數(shù)將點(diǎn)積結(jié)果轉(zhuǎn)換為0到1之間的值，這些值表示了每個(gè)token相對(duì)于其他所有token的注意力權(quán)重。

計(jì)算每個(gè)token相對(duì)于所有其它token的Attention權(quán)重（最終構(gòu)成一個(gè)Attention矩陣）經(jīng)過(guò)softmax處理后的注意力權(quán)重構(gòu)成了一個(gè)Attention矩陣。這個(gè)矩陣的每一行對(duì)應(yīng)一個(gè)token，每一列也對(duì)應(yīng)一個(gè)token，矩陣中的每個(gè)元素表示了對(duì)應(yīng)行token對(duì)列token的注意力權(quán)重。

每個(gè)token對(duì)應(yīng)的value向量乘以Attention權(quán)重，并相加，得到當(dāng)前token的Self-Attention value向量使用這個(gè)Attention矩陣來(lái)加權(quán)輸入序列中的值向量（Value Vector, V）。具體來(lái)說(shuō)，對(duì)于每個(gè)token，我們將其對(duì)應(yīng)的值向量與Attention矩陣中該token所在行的所有權(quán)重相乘，并將結(jié)果相加。這個(gè)加權(quán)求和的結(jié)果就是該token經(jīng)過(guò)自注意力機(jī)制處理后的輸出表示。

將上述操作應(yīng)用于每個(gè)token上述操作會(huì)應(yīng)用于輸入序列中的每個(gè)token，從而得到每個(gè)token經(jīng)過(guò)自注意力機(jī)制處理后的輸出表示。這些輸出表示通常會(huì)被送入模型的下一個(gè)層進(jìn)行進(jìn)一步的處理。

二、多頭Attention工作原理

多頭Attention（Multi-Head Attention）：多頭注意力機(jī)制通過(guò)并行運(yùn)行多個(gè)Self-Attention層并綜合其結(jié)果，能夠同時(shí)捕捉輸入序列在不同子空間中的信息，從而增強(qiáng)模型的表達(dá)能力。

Multi-Head Attention實(shí)際上是多個(gè)并行的Self-Attention層，每個(gè)“頭”都獨(dú)立地學(xué)習(xí)不同的注意力權(quán)重。
這些“頭”的輸出隨后被合并（通常是拼接后再通過(guò)一個(gè)線性層），以產(chǎn)生最終的輸出表示。
通過(guò)這種方式，Multi-Head Attention能夠同時(shí)關(guān)注來(lái)自輸入序列的不同子空間的信息。

工作原理：多頭Attention將每個(gè)頭得到向量拼接在一起，最后乘一個(gè)線性矩陣，得到 Multi-Head Attention 的輸出。

輸入線性變換：對(duì)于輸入的Query（查詢(xún)）、Key（鍵）和Value（值）向量，首先通過(guò)線性變換將它們映射到不同的子空間。這些線性變換的參數(shù)是模型需要學(xué)習(xí)的。
分割多頭：經(jīng)過(guò)線性變換后，Query、Key和Value向量被分割成多個(gè)頭。每個(gè)頭都會(huì)獨(dú)立地進(jìn)行注意力計(jì)算。
縮放點(diǎn)積注意力：在每個(gè)頭內(nèi)部，使用縮放點(diǎn)積注意力來(lái)計(jì)算Query和Key之間的注意力分?jǐn)?shù)。這個(gè)分?jǐn)?shù)決定了在生成輸出時(shí)，模型應(yīng)該關(guān)注Value向量的部分。
注意力權(quán)重應(yīng)用：將計(jì)算出的注意力權(quán)重應(yīng)用于Value向量，得到加權(quán)的中間輸出。這個(gè)過(guò)程可以理解為根據(jù)注意力權(quán)重對(duì)輸入信息進(jìn)行篩選和聚焦。
拼接和線性變換：將所有頭的加權(quán)輸出拼接在一起，然后通過(guò)一個(gè)線性變換得到最終的Multi-Head Attention輸出。

三、全連接網(wǎng)絡(luò)工作原理

前饋網(wǎng)絡(luò)（Feed-Forward Network）：Transformer模型中，前饋網(wǎng)絡(luò)用于將輸入的詞向量映射到輸出的詞向量，以提取更豐富的語(yǔ)義信息。前饋網(wǎng)絡(luò)通常包括幾個(gè)線性變換和非線性激活函數(shù)，以及一個(gè)殘差連接和一個(gè)層歸一化操作。

Encoder編碼器：
Transformer中的編碼器部分一共N個(gè)相同的編碼器層組成。每個(gè)編碼器層都有兩個(gè)子層，即多頭自注意力層(Multi-Head Attention)層和前饋神經(jīng)網(wǎng)絡(luò)(Feed-Forward Network)。
在每個(gè)子層后面都有殘差連接（圖中的虛線）和層歸一化（LayerNorm）操作，二者合起來(lái)稱(chēng)為Add&Norm操作。

Decoder解碼器：
Transformer中的解碼器部分同樣一共N個(gè)相同的解碼器層組成。每個(gè)解碼器層都有三個(gè)子層，掩蔽自注意力層(Masked Self-Attention)、Encoder-Decoder注意力層、前饋神經(jīng)網(wǎng)絡(luò)(Feed-Forward Network)。
同樣，在每個(gè)子層后面都有殘差連接（圖中的虛線）和層歸一化（LayerNorm）操作，二者合起來(lái)稱(chēng)為Add&Norm操作。