鍵.png)
使用NestJS和Prisma構(gòu)建REST API：身份驗證
上圖是端對端的深度學習訓練和推理過程。對比傳統(tǒng)聲紋識別模型，我們的模型在實際使用中優(yōu)勢明顯，在用戶遠程身份驗證場景，通過注冊用戶說一段話，即可輕松快速的確認注冊用戶身份，識別準確率達到95%以上，秒級響應，實時聲紋核身。下面簡要介紹我們模型的特點。
實驗發(fā)現(xiàn)，在聲紋識別中采用softmax進行網(wǎng)絡訓練 ，用余弦相似度的測試性能往往不如傳統(tǒng)聲紋識別模型，尤其是在魯棒性上。分析發(fā)現(xiàn)[6]基于softmax的分類訓練，為了得到更小的loss，優(yōu)化器會增大一些easy samples的L2 length，減小hard examples 的L2 length，導致這些樣本并沒有充分學習，特征呈現(xiàn)放射狀，以MNIST識別任務為例，基于softmax學到的特征分布如圖3(a)所示. 同類別特征分布并不聚攏，在L2 長度上拉長，呈放射狀，且每個類別的間距并不大，在verification的任務中，會導致相鄰的兩個類別得分很高。
為了達到類內(nèi)聚攏，類間分散的效果，我們研究了在圖像領域中應用較為成功的幾種softmax變種，包括AM-softmax[4]，arcsoftmax[5]等，從圖3(b)可以看到，基于margin的softmax，相比純softmax，類間的分散程度更大，且類內(nèi)特征更聚攏，對聲紋1:1比對和1:N搜索的任務友好。
在特征提取時，對于簡單加性噪音，我們提出了基于功率譜減法，實現(xiàn)噪音抑制；對于其他復雜噪音，我們提出了基于降噪自動編碼器的噪音補償模型，將帶噪語音特征映射到干凈語音特征，實現(xiàn)噪音消除。
在模型訓練時，我們采用數(shù)據(jù)增強的訓練機制，將噪音數(shù)據(jù)通過隨機高斯的形式加入到聲紋模型的訓練中，使得訓練后的模型對噪音數(shù)據(jù)具有更好的魯棒性。
為了提高短音頻魯棒性，我們提出了基于短時幀級別的模型訓練機制，使模型能夠在極短的語音時長（約0.5秒）下即可完成聲紋識別. 在此基礎上，我們在模型訓練中引入了更多高階的音頻統(tǒng)計信息和正則化方法，進一步提升了模型在短語音條件下（2~3秒）的識別精度。
03如何使用AnalyticDB搭建聲紋對比系統(tǒng)
使用一下SQL來分別創(chuàng)建AnalyticDB的非結(jié)構(gòu)化分析插件OpenAnalytic和向量檢索插件fastann。
CREATE EXTENSION IF NOT EXISTS open_analytic;
CREATE EXTENSION IF NOT EXISTS fastann;注：*左右滑動閱覽
我們可以建立一個表來保存所有說話人的聲音和聲音的特征，后續(xù)我們可以從這個表中搜索說話人。
CREATE TABLE speaker_table (
speaker_id TEXT NOT NULL, # 說話人id
audio BYTEA NOT NULL, # 聲音文件
feature REAL[] NOT NULL, # 聲音特征向量
PRIMARY KEY (question)
);注：*左右滑動閱覽
我們可以為特征向量列創(chuàng)建向量檢索索引。
CREATE INDEX speaker_table_index
ON speaker_table USING ann (feature) WITH (dim = 512);注：*左右滑動閱覽
通過以下sql，我們可以在數(shù)據(jù)庫中創(chuàng)建聲紋特征提取的算法模型。
SELECT open_analytic.pipeline_create('speaker_feature_extractor');注：*左右滑動閱覽
通過以下sql可以使用3.3創(chuàng)建的pipeline。這個UDF的輸入是pipeline名稱和目標文本。輸出是一個說話人聲音的特征向量。
# 通過聲音文件識別
SELECT open_analytic.pipeline_run_dist_random('speaker_feature_extractor',
<聲音文件>);注：*左右滑動閱覽
獲取聲音特征后, 我們可以使用一下sql來講數(shù)據(jù)插入3.1創(chuàng)建的表中。
INSERT INTO speaker_table VALUES (<說話人id>, <聲音文件>, <聲音特征向量>);注：*左右滑動閱覽
通過以下sql，我們可以在聲音特征庫中搜索最相似的說話人。然后我們可以根據(jù)特征間距離是否滿足預設的閾值來判斷是否是同一個人。
SELECT speaker_id, l2_distance(feature, <聲音特征向量>)
ORDER BY feature <-> <聲音特征向量>
LIMIT 10;注：*左右滑動閱覽
我們還可以提取出兩個人的聲音特征然后直接計算二者的距離來判斷這兩個聲音是否來自同一個說話人。SQL如下
SELECT l2_distance(feature1, feature2);注：*左右滑動閱覽
分析型數(shù)據(jù)庫(AnalyticDB)是阿里云上的一種高并發(fā)低延時的PB級實時數(shù)據(jù)倉庫，可以毫秒級針對萬億級數(shù)據(jù)進行即時的多維分析透視和業(yè)務探索。AnalyticDB for MySQL 全面兼容MySQL協(xié)議以及SQL:2003 語法標準, AnalyticDB forPostgreSQL 支持標準 SQL:2003，高度兼容 Oracle 語法生態(tài)。
向量檢索和非結(jié)構(gòu)化數(shù)據(jù)分析是AnalyticDB的進階功能。目前兩款產(chǎn)品都包含向量檢索功能, 可以支持人臉, 人體, 車輛等的相似查詢和推薦系統(tǒng)。AnalyticDB在真實應用場景中可以支持10億級別的向量數(shù)據(jù)的查詢, 毫秒級別的響應時間。AnalyticDB已經(jīng)在多個城市的重大項目中大規(guī)模部署。
在一般的包含向量檢索的的應用系統(tǒng)中, 通常開發(fā)者會使用向量檢索引擎(例如Faiss)來存儲向量數(shù)據(jù), 然后使用關(guān)系型數(shù)據(jù)庫存儲結(jié)構(gòu)化數(shù)據(jù)。在查詢時也需要交替查詢兩個系統(tǒng), 這種方案會有額外的開發(fā)工作并且性能也不是最優(yōu)。AnalyticDB支持結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)(向量)的檢索，僅僅使用SQL接口就可以快速的搭建起以圖搜圖或者圖片+結(jié)構(gòu)化數(shù)據(jù)混合檢索等功能。AnalyticDB的優(yōu)化器在混合檢索場景中會根據(jù)數(shù)據(jù)的分布和查詢的條件選擇最優(yōu)的執(zhí)行計劃，在保證召回的同時，得到最優(yōu)的性能。AnalyticDB向量版采用了多項創(chuàng)新性技術(shù), 這些技術(shù)在我們的論文?AnalyticDB-V: A Hybrid Analytical Engine Towards Query Fusion for Structured and Unstructured Data?中有詳細介紹介紹。目前論文已經(jīng)被數(shù)據(jù)庫三大頂會之一的VLDB接受, 具有技術(shù)領先性。
結(jié)構(gòu)化信息+非結(jié)構(gòu)化信息（圖片）混合檢索在實際應用中被廣泛使用的。例如人臉門禁系統(tǒng)被部署在多個小區(qū)時, 我們使用一張表存儲了所有小區(qū)的人臉特征, 在人臉檢索時我們只需要檢索當前小區(qū)的人臉特征。在這種情況下, 使用AnalyticDB我們只需要在SQL中增加where 小區(qū)名 =’xxx’ 就可以輕易實現(xiàn)。AnalyticDB同時提供了先進的圖像文本分析算法, 能夠提取非結(jié)構(gòu)化數(shù)據(jù)的特征和標簽, 用戶僅僅需要使用SQL就可以完成圖像文本內(nèi)容的分析。
本文章轉(zhuǎn)載微信公眾號@阿里云瑤池數(shù)據(jù)庫
