"Meta AI"是Meta公司的人工智能研究部門，致力于推動人工智能領(lǐng)域的創(chuàng)新和突破。該部門專注于開發(fā)先進(jìn)的人工智能技術(shù)和算法，包括自然語言處理、計算機(jī)視覺、增強(qiáng)現(xiàn)實/虛擬現(xiàn)實（AR/VR）、機(jī)器人技術(shù)等多個領(lǐng)域。Meta AI 旨在通過其研究來推動技術(shù)邊界，并將這些技術(shù)應(yīng)用于Meta的產(chǎn)品和服務(wù)中，同時也開放一些研究成果供學(xué)術(shù)界和工業(yè)界使用。

1. SAM 使用多種輸入提示
指定在圖像中分割的內(nèi)容的提示允許執(zhí)行廣泛的分割任務(wù)，而無需額外的訓(xùn)練。用交互點和框來提示它。自動分割圖像中的所有內(nèi)容。為模糊提示生成多個有效的掩碼。2. SAM 的提示式設(shè)計可實現(xiàn)與其他系統(tǒng)的靈活集成
SAM 可以從其他系統(tǒng)獲取輸入提示，例如將來可以從 AR/VR 耳機(jī)獲取用戶的注視來選擇對象。此視頻使用了我們開源的 Aria 試點數(shù)據(jù)集。
來自對象檢測器的邊界框提示可以實現(xiàn)文本到對象的分割。3. 可擴(kuò)展輸出
輸出蒙版可用作其他 AI 系統(tǒng)的輸入。例如，對象蒙版可在視頻中跟蹤、啟用圖像編輯應(yīng)用程序、提升為 3D或用于拼貼等創(chuàng)意任務(wù)。4. 零樣本泛化
SAM 已經(jīng)學(xué)會了關(guān)于物體的一般概念——這種理解使得零樣本泛化到不熟悉的物體和圖像而無需額外的訓(xùn)練。

1. SAM 的數(shù)據(jù)引擎
SAM 的先進(jìn)功能源自其對數(shù)百萬張圖像和掩碼的訓(xùn)練，這些圖像和掩碼是通過使用模型在環(huán)“數(shù)據(jù)引擎”收集的。研究人員使用 SAM 及其數(shù)據(jù)以交互方式注釋圖像并更新模型。這個循環(huán)重復(fù)多次，以改進(jìn)模型和數(shù)據(jù)集。2. 1100 萬張圖像，10 億多張掩膜
在 SAM 的幫助下注釋了足夠多的蒙版后，我們能夠利用 SAM 復(fù)雜的模糊感知設(shè)計完全自動注釋新圖像。為此，我們向 SAM 展示圖像上的點網(wǎng)格，并要求 SAM 在每個點處分割所有內(nèi)容。我們的最終數(shù)據(jù)集包括從約 1100 萬張獲得許可和隱私保護(hù)的圖像中收集的超過 11 億個分割蒙版。3. 高效靈活的模型設(shè)計
SAM 的設(shè)計足夠高效，能夠為其數(shù)據(jù)引擎提供動力。我們將模型分解為 1) 一次性圖像編碼器和 2) 輕量級掩碼解碼器，每次提示只需幾毫秒即可在網(wǎng)絡(luò)瀏覽器中運(yùn)行。

1. 圖像和視頻編輯：
   • 在圖像和視頻編輯軟件中，用戶可以使用SAM來快速分割出圖像中的特定對象，用于替換背景、裁剪、縮放或其他編輯操作。
   • 在視頻處理中，SAM可以用于跟蹤視頻中的對象，并應(yīng)用于特效添加、視頻合成等場景。
2. 增強(qiáng)現(xiàn)實/虛擬現(xiàn)實（AR/VR）：
   • 在AR/VR應(yīng)用中，SAM可以與用戶的交互（如注視點、手勢等）結(jié)合，實現(xiàn)更自然的對象選擇和分割，提升用戶體驗。
   • 在虛擬現(xiàn)實環(huán)境中，SAM可以用于場景重建、物體放置和交互等。
3. 圖像識別和分析：
   • 在醫(yī)療領(lǐng)域，SAM可以用于醫(yī)學(xué)影像分析，如自動分割出病灶區(qū)域，輔助醫(yī)生進(jìn)行診斷。
   • 在安防領(lǐng)域，SAM可以用于監(jiān)控視頻中的目標(biāo)檢測和跟蹤，提高監(jiān)控效率。
4. 自動駕駛和機(jī)器人技術(shù)：
   • 在自動駕駛領(lǐng)域，SAM可以用于道路和交通標(biāo)志的分割，幫助車輛更好地理解周圍環(huán)境。
   • 在機(jī)器人領(lǐng)域，SAM可以用于機(jī)器人視覺系統(tǒng)中，實現(xiàn)對物體的精準(zhǔn)識別和抓取。
5. 創(chuàng)意設(shè)計和廣告：
   • 在廣告設(shè)計中，SAM可以用于快速分割圖像中的元素，以創(chuàng)建更具吸引力的廣告素材。
   • 在創(chuàng)意設(shè)計中，SAM可以用于圖像合成、拼貼等任務(wù)，為設(shè)計師提供便捷的工具。