這張圖很好地展示了近年來(lái)大規(guī)模語(yǔ)言模型的發(fā)展，并突出了其中的一些最知名的模型。同一分支上的模型具有更緊密的關(guān)系。在過(guò)去的十年里，人工智能（AI）領(lǐng)域經(jīng)歷了翻天覆地的變化，特別是大規(guī)模語(yǔ)言模型的飛速發(fā)展，使得公眾幾乎將AI與這些龐大的模型劃上了等號(hào)。為了深入理解這些技術(shù)之間的聯(lián)系和差異，我們需要從AI的發(fā)展歷史著手，探索不同技術(shù)的演進(jìn)路徑，以便對(duì)當(dāng)前的熱門(mén)技術(shù)如巨型語(yǔ)言模型、智能識(shí)別、計(jì)算機(jī)視覺(jué)、AI創(chuàng)作、AI代理、RAG等有一個(gè)基本的認(rèn)識(shí)。
回顧AI的發(fā)展歷程，我們可以將其大致劃分為六個(gè)主要階段。盡管對(duì)于這一歷史分期存在一些爭(zhēng)議，但這并不影響我們對(duì)AI發(fā)展脈絡(luò)的把握。這種分期方法主要是基于神經(jīng)網(wǎng)絡(luò)模型的演化來(lái)進(jìn)行的。實(shí)際上，模型的發(fā)展與技術(shù)創(chuàng)新密切相關(guān)，并且與計(jì)算機(jī)的計(jì)算能力有著直接的聯(lián)系。例如，在神經(jīng)網(wǎng)絡(luò)最初被提出時(shí)，許多學(xué)者對(duì)此表現(xiàn)出極大的興趣，但由于當(dāng)時(shí)計(jì)算能力的限制，AI的發(fā)展經(jīng)歷了一段漫長(zhǎng)的停滯期。
.explinks.com/wp-content/uploads/2024/06/image-690.png)1、人工智能起步發(fā)展期：1943年—20世紀(jì)60年代
2、人工智能反思發(fā)展期：20世紀(jì)70年代
3、人工智能應(yīng)用發(fā)展期：20世紀(jì)80年代
4、人工智能平穩(wěn)發(fā)展期：20世紀(jì)90年代—2010年
5、人工智能蓬勃發(fā)展期：2011年-2018年
6、LLM繁榮發(fā)展期：2018年-2023年
自從人工智能（AI）這個(gè)概念被提出，它就逐漸分化為兩大主要學(xué)派：符號(hào)主義和聯(lián)結(jié)主義（神經(jīng)網(wǎng)絡(luò)），并取得了一系列重要的科學(xué)成果，例如機(jī)器證明定理、下棋程序和人機(jī)對(duì)話等，這些都推動(dòng)了人工智能歷史上的第一個(gè)發(fā)展高潮。
1943年，美國(guó)神經(jīng)科學(xué)家沃倫·斯特·麥卡洛克和邏輯學(xué)家沃爾特·皮茨提出了神經(jīng)元的數(shù)學(xué)模型，為現(xiàn)代人工智能學(xué)科的建立奠定了基礎(chǔ)。
1950年，艾倫·圖靈提出了著名的“圖靈測(cè)試”，使得機(jī)器智能的概念開(kāi)始被廣泛認(rèn)知。同年，克勞德·香農(nóng)提出了計(jì)算機(jī)下棋的構(gòu)想。
1956年，在達(dá)特茅斯學(xué)院的夏季研討會(huì)上，“人工智能”這一術(shù)語(yǔ)被正式提出，標(biāo)志著人工智能作為一個(gè)獨(dú)立學(xué)科的誕生。
1957年，弗蘭克·羅森布拉特在IBM-704計(jì)算機(jī)上實(shí)現(xiàn)了他發(fā)明的“感知機(jī)”模型，這是早期神經(jīng)網(wǎng)絡(luò)研究的一個(gè)重要里程碑。
1958年，大衛(wèi)·考克斯提出了邏輯回歸模型，這是一種線性分類(lèi)模型，結(jié)構(gòu)與感知機(jī)相似，但使用了Sigmoid激活函數(shù)，目的是最大化分類(lèi)的準(zhǔn)確性。
1959年，亞瑟·塞繆爾首次定義了機(jī)器學(xué)習(xí)：一個(gè)旨在讓計(jì)算機(jī)能夠自主學(xué)習(xí)而無(wú)需顯式編程的研究領(lǐng)域。
1961年，倫納德·烏爾和查爾斯·沃斯勒發(fā)表了一篇關(guān)于模式識(shí)別的論文，描述了他們嘗試?yán)脵C(jī)器學(xué)習(xí)或自組織過(guò)程來(lái)設(shè)計(jì)模式識(shí)別程序。
1965年，I.J. 古德提出了“AI威脅論”，警告說(shuō)機(jī)器的超級(jí)智能可能會(huì)超出人類(lèi)的控制，這一觀點(diǎn)后來(lái)被多位科學(xué)家進(jìn)一步探討。
1966年，麻省理工學(xué)院的約瑟夫·魏岑鮑姆開(kāi)發(fā)了ELIZA程序，使得人與計(jì)算機(jī)之間的自然語(yǔ)言對(duì)話成為可能，ELIZA通過(guò)關(guān)鍵詞匹配規(guī)則來(lái)生成回復(fù)。
1967年，托馬斯等人提出了K最近鄰（KNN）算法，這是一種基于實(shí)例最近鄰數(shù)據(jù)的分類(lèi)方法。
1968年，愛(ài)德華·費(fèi)根鮑姆提出了首個(gè)專(zhuān)家系統(tǒng)DENDRAL，并定義了“知識(shí)庫(kù)”這一概念。該系統(tǒng)在化學(xué)領(lǐng)域擁有豐富的知識(shí)，能夠通過(guò)質(zhì)譜數(shù)據(jù)推斷分子結(jié)構(gòu)，這標(biāo)志著人工智能史上第二次浪潮的開(kāi)始。
1969年，馬文·明斯基在其著作《感知器》中提出了XOR問(wèn)題，指出單層感知器無(wú)法解決XOR這類(lèi)線性不可分問(wèn)題，這一發(fā)現(xiàn)導(dǎo)致神經(jīng)網(wǎng)絡(luò)研究進(jìn)入了一個(gè)長(zhǎng)達(dá)十年的低谷期。
在人工智能的早期發(fā)展階段，盡管取得了一些突破性的成果，但在嘗試解決更復(fù)雜問(wèn)題時(shí)，受限于當(dāng)時(shí)的計(jì)算能力限制和理論發(fā)展的不足，許多預(yù)期的目標(biāo)未能實(shí)現(xiàn)，導(dǎo)致人工智能領(lǐng)域經(jīng)歷了一個(gè)相對(duì)平靜的時(shí)期。
1974年，哈佛大學(xué)的保羅·沃博斯在其博士論文中首次提出了利用誤差反向傳播（BP算法）來(lái)訓(xùn)練人工神經(jīng)網(wǎng)絡(luò)的理論。盡管這一時(shí)期的研究并未受到廣泛關(guān)注，但BP算法的核心思想是利用誤差的導(dǎo)數(shù)（梯度）來(lái)調(diào)整權(quán)重，以期逐步減少誤差，最終使網(wǎng)絡(luò)具備“萬(wàn)能近似”的能力。
1975年，馬文·明斯基在論文《框架理論》中提出了知識(shí)表示的學(xué)習(xí)框架，這成為了人工智能研究的一個(gè)關(guān)鍵轉(zhuǎn)折點(diǎn)。
1976年，蘭德?tīng)枴ご骶S斯致力于開(kāi)發(fā)和維護(hù)龐大的知識(shí)庫(kù)，并提出通過(guò)集成面向?qū)ο蟮哪Ｐ涂梢栽鰪?qiáng)知識(shí)庫(kù)的開(kāi)發(fā)、維護(hù)和應(yīng)用的一致性。同年，斯坦福大學(xué)的愛(ài)德華·肖特利夫等開(kāi)發(fā)了首個(gè)用于診斷和治療血液感染的醫(yī)療專(zhuān)家系統(tǒng)MYCIN。
同年，斯坦福大學(xué)的勒納特發(fā)表了論文《啟發(fā)式搜索在數(shù)學(xué)中的應(yīng)用》，介紹了一個(gè)名為“AM”的程序，該程序利用大量啟發(fā)式規(guī)則來(lái)探索新的數(shù)學(xué)概念，并重新發(fā)現(xiàn)了數(shù)百個(gè)數(shù)學(xué)中的標(biāo)準(zhǔn)概念和定理。
1977年，海斯·羅思等人開(kāi)發(fā)的基于邏輯的機(jī)器學(xué)習(xí)系統(tǒng)取得了初步進(jìn)展，盡管當(dāng)時(shí)它只能學(xué)習(xí)單一概念，還未能在實(shí)際應(yīng)用場(chǎng)景中廣泛使用。
1979年，漢斯·貝利納開(kāi)發(fā)的計(jì)算機(jī)程序在雙陸棋比賽中戰(zhàn)勝了世界冠軍，這一成就標(biāo)志著人工智能發(fā)展的一個(gè)重要里程碑。隨后，在羅德尼·布魯克斯和其他人的努力下，基于行為的機(jī)器人學(xué)迅速崛起，成為人工智能的一個(gè)重要分支。同時(shí)，格瑞·特索羅開(kāi)發(fā)的自學(xué)雙陸棋程序也為后來(lái)的強(qiáng)化學(xué)習(xí)研究奠定了基礎(chǔ)。
人工智能的發(fā)展進(jìn)入了一個(gè)新的高峰期，這標(biāo)志著其歷史上又一個(gè)快速增長(zhǎng)階段。專(zhuān)家系統(tǒng)通過(guò)模仿人類(lèi)專(zhuān)家的知識(shí)和經(jīng)驗(yàn)來(lái)解決特定領(lǐng)域的問(wèn)題，實(shí)現(xiàn)了人工智能從理論探索到實(shí)際應(yīng)用、從一般推理策略的討論到專(zhuān)門(mén)知識(shí)應(yīng)用的重大轉(zhuǎn)變。同時(shí)，機(jī)器學(xué)習(xí)（尤其是神經(jīng)網(wǎng)絡(luò)）探索了不同的學(xué)習(xí)策略和各種學(xué)習(xí)方法，并在眾多實(shí)際應(yīng)用中逐步恢復(fù)活力。
1980年，卡內(nèi)基梅隆大學(xué)（CMU）舉辦了首屆機(jī)器學(xué)習(xí)國(guó)際研討會(huì)，這標(biāo)志著機(jī)器學(xué)習(xí)研究在全球范圍內(nèi)的興起。
同年，德魯·麥迪蒙和喬恩·多伊爾提出了非單調(diào)邏輯，以及隨后的機(jī)器人系統(tǒng)。
1980年，卡耐基梅隆大學(xué)為DEC公司開(kāi)發(fā)了XCON專(zhuān)家系統(tǒng)，該系統(tǒng)每年為公司節(jié)省了四千萬(wàn)美元，取得了巨大成功。
1981年，R.P. Paul出版了第一本機(jī)器人學(xué)教科書(shū)《機(jī)器人操縱器：數(shù)學(xué)、編程和控制》，這標(biāo)志著機(jī)器人學(xué)科的成熟。
1982年，大衛(wèi)·馬爾發(fā)表了他的代表作《視覺(jué)計(jì)算理論》，提出了計(jì)算機(jī)視覺(jué)的概念，并構(gòu)建了系統(tǒng)的視覺(jué)理論，對(duì)認(rèn)知科學(xué)產(chǎn)生了深遠(yuǎn)影響。
同年，約翰·霍普菲爾德發(fā)明了霍普菲爾德網(wǎng)絡(luò)，這是最早的遞歸神經(jīng)網(wǎng)絡(luò)（RNN）的原型。霍普菲爾德神經(jīng)網(wǎng)絡(luò)模型是一種單層反饋神經(jīng)網(wǎng)絡(luò)，具有從輸出到輸入的反饋連接，它的出現(xiàn)極大地激發(fā)了神經(jīng)網(wǎng)絡(luò)領(lǐng)域的興趣。
1983年，特倫斯·謝諾夫斯基和杰弗里·欣頓等人發(fā)明了玻爾茲曼機(jī)，也稱(chēng)為隨機(jī)霍普菲爾德網(wǎng)絡(luò)，這是一種無(wú)監(jiān)督模型，用于對(duì)輸入數(shù)據(jù)進(jìn)行重構(gòu)以提取數(shù)據(jù)特征進(jìn)行預(yù)測(cè)分析。
1985年，朱迪亞·珀?duì)柼岢隽素惾~斯網(wǎng)絡(luò)，他以倡導(dǎo)人工智能的概率方法和發(fā)展貝葉斯網(wǎng)絡(luò)而聞名，還因發(fā)展了一種基于結(jié)構(gòu)模型的因果和反事實(shí)推理理論而受到贊譽(yù)。貝葉斯網(wǎng)絡(luò)是一種模擬人類(lèi)推理過(guò)程中因果關(guān)系的不確定性處理模型，如常見(jiàn)的樸素貝葉斯分類(lèi)算法就是貝葉斯網(wǎng)絡(luò)最基本的應(yīng)用。
1986年，羅德尼·布魯克斯發(fā)表了論文《移動(dòng)機(jī)器人魯棒分層控制系統(tǒng)》，這標(biāo)志著基于行為的機(jī)器人學(xué)科的創(chuàng)立，機(jī)器人學(xué)界開(kāi)始關(guān)注實(shí)際工程主題。
同年，杰弗里·欣頓等人提出了多層感知器（MLP）與反向傳播（BP）訓(xùn)練相結(jié)合的理念，解決了單層感知器無(wú)法進(jìn)行非線性分類(lèi)的問(wèn)題，開(kāi)啟了神經(jīng)網(wǎng)絡(luò)的新高潮。
同年，羅斯·昆蘭提出了ID3決策樹(shù)算法。決策樹(shù)模型可視為多個(gè)規(guī)則的組合，與神經(jīng)網(wǎng)絡(luò)的黑盒模型不同，它具有良好的模型解釋性。ID3算法的核心思想是通過(guò)自頂向下的貪心策略構(gòu)建決策樹(shù)，根據(jù)信息增益來(lái)選擇特征進(jìn)行劃分。
1989年，喬治·西本科證明了“萬(wàn)能近似定理”，簡(jiǎn)單來(lái)說(shuō)，多層前饋網(wǎng)絡(luò)可以近似任意函數(shù)，其表達(dá)力與圖靈機(jī)等價(jià)，從根本上消除了對(duì)神經(jīng)網(wǎng)絡(luò)表達(dá)力的質(zhì)疑。
同年，揚(yáng)·勒丘恩結(jié)合反向傳播算法與權(quán)值共享的卷積神經(jīng)層發(fā)明了卷積神經(jīng)網(wǎng)絡(luò)（CNN），并首次將CNN成功應(yīng)用于美國(guó)郵局的手寫(xiě)字符識(shí)別系統(tǒng)中。CNN通常由輸入層、卷積層、池化層和全連接層組成，卷積層負(fù)責(zé)提取圖像中的局部特征，池化層用于降低參數(shù)量級(jí)，全連接層則輸出結(jié)果。
互聯(lián)網(wǎng)技術(shù)的迅猛發(fā)展極大地推動(dòng)了人工智能領(lǐng)域的創(chuàng)新研究，使得AI技術(shù)變得更加實(shí)用，人工智能的各個(gè)分支都取得了顯著的進(jìn)步。在2000年代初，由于專(zhuān)家系統(tǒng)需要編碼大量明確的規(guī)則，這不僅降低了效率還增加了成本，因此人工智能研究的重點(diǎn)從基于知識(shí)系統(tǒng)轉(zhuǎn)向了機(jī)器學(xué)習(xí)，這是AI發(fā)展史上的一個(gè)重大轉(zhuǎn)變。
1995年，Cortes和Vapnik提出了支持向量機(jī)（SVM），它在處理小樣本、非線性及高維模式識(shí)別問(wèn)題時(shí)展現(xiàn)了顯著的優(yōu)勢(shì)，并能擴(kuò)展到函數(shù)擬合等其他機(jī)器學(xué)習(xí)問(wèn)題。SVM是在感知機(jī)基礎(chǔ)上的改進(jìn)，基于統(tǒng)計(jì)學(xué)習(xí)理論的VC維理論和結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則，與感知機(jī)的主要區(qū)別在于SVM尋找的是最大化樣本間隔的超平面，具有更強(qiáng)的泛化能力，并通過(guò)核函數(shù)處理線性不可分問(wèn)題。
同年，F(xiàn)reund和Schapire提出了AdaBoost算法，這是一種Boosting集成學(xué)習(xí)方法，通過(guò)串行組合弱學(xué)習(xí)器來(lái)提升泛化性能。與Bagging方法不同，Boosting主要優(yōu)化偏差。
1997年，IBM的深藍(lán)超級(jí)計(jì)算機(jī)戰(zhàn)勝了國(guó)際象棋世界冠軍加里·卡斯帕羅夫，深藍(lán)通過(guò)窮舉所有可能的走法并執(zhí)行深度搜索來(lái)實(shí)現(xiàn)智能。
同年，Sepp Hochreiter和Jürgen Schmidhuber提出了長(zhǎng)短期記憶網(wǎng)絡(luò)（LSTM），這是一種復(fù)雜的循環(huán)神經(jīng)網(wǎng)絡(luò)，通過(guò)引入遺忘門(mén)、輸入門(mén)和輸出門(mén)來(lái)解決長(zhǎng)序列訓(xùn)練中的梯度消失問(wèn)題。
1998年，蒂姆·伯納斯-李提出了語(yǔ)義網(wǎng)的概念，目的是通過(guò)添加計(jì)算機(jī)可理解的語(yǔ)義元數(shù)據(jù)，使互聯(lián)網(wǎng)成為一個(gè)基于語(yǔ)義鏈接的通用信息交換媒介。
2001年，John Lafferty提出了條件隨機(jī)場(chǎng)模型（CRF），這是一種基于貝葉斯理論的判別式概率圖模型，在自然語(yǔ)言處理任務(wù)中表現(xiàn)出色。
同年，布雷曼博士提出了隨機(jī)森林算法，這是一種通過(guò)Bagging并行組合多個(gè)有差異的弱學(xué)習(xí)器來(lái)優(yōu)化泛化性能的集成學(xué)習(xí)方法。
2003年，David Blei, Andrew Ng和Michael I. Jordan提出了LDA，這是一種無(wú)監(jiān)督學(xué)習(xí)方法，用于推測(cè)文檔的主題分布。
同年，Google發(fā)表了三篇大數(shù)據(jù)領(lǐng)域的奠基性論文，為大數(shù)據(jù)存儲(chǔ)和分布式處理提供了理論基礎(chǔ)。
2005年，波士頓動(dòng)力公司推出了一款具有動(dòng)力平衡的四足機(jī)器狗，能夠適應(yīng)復(fù)雜地形。
2006年，杰弗里·辛頓和他的學(xué)生魯斯蘭·薩拉赫丁諾夫正式提出了深度學(xué)習(xí)的概念，開(kāi)啟了深度學(xué)習(xí)在學(xué)術(shù)界和工業(yè)界的浪潮，辛頓也因此被譽(yù)為深度學(xué)習(xí)之父。深度學(xué)習(xí)使用多層隱藏層網(wǎng)絡(luò)結(jié)構(gòu)，通過(guò)大量的向量計(jì)算來(lái)學(xué)習(xí)數(shù)據(jù)的高階表示。
2010年，Sinno Jialin Pan和Qiang Yang發(fā)表了關(guān)于遷移學(xué)習(xí)的調(diào)查文章。遷移學(xué)習(xí)是利用已有知識(shí)（如訓(xùn)練好的網(wǎng)絡(luò)權(quán)重）來(lái)學(xué)習(xí)新知識(shí)以適應(yīng)特定目標(biāo)任務(wù)的方法，核心在于找到已有知識(shí)和新知識(shí)之間的相似性。
隨著大數(shù)據(jù)、云計(jì)算、互聯(lián)網(wǎng)、物聯(lián)網(wǎng)等信息技術(shù)的發(fā)展，泛在感知數(shù)據(jù)和圖形處理器等計(jì)算平臺(tái)推動(dòng)以深度神經(jīng)網(wǎng)絡(luò)為代表的人工智能技術(shù)飛速發(fā)展，大幅跨越了科學(xué)與應(yīng)用之間的技術(shù)鴻溝，諸如圖像分類(lèi)、語(yǔ)音識(shí)別、知識(shí)問(wèn)答、人機(jī)對(duì)弈、無(wú)人駕駛等人工智能技術(shù)實(shí)現(xiàn)了重大的技術(shù)突破，迎來(lái)人工智能發(fā)展史上首次爆發(fā)式增長(zhǎng)的新高潮，大批智能識(shí)別企業(yè)及應(yīng)用由此誕生。
2011年，IBM Watson問(wèn)答機(jī)器人參與Jeopardy回答測(cè)驗(yàn)比賽最終贏得了冠軍。Waston是一個(gè)集自然語(yǔ)言處理、知識(shí)表示、自動(dòng)推理及機(jī)器學(xué)習(xí)等技術(shù)實(shí)現(xiàn)的電腦問(wèn)答（Q&A）系統(tǒng)。
2012年，Hinton和他的學(xué)生Alex Krizhevsky設(shè)計(jì)的AlexNet神經(jīng)網(wǎng)絡(luò)模型在ImageNet競(jìng)賽大獲全勝，這是史上第一次有模型在 ImageNet 數(shù)據(jù)集表現(xiàn)如此出色，并引爆了神經(jīng)網(wǎng)絡(luò)的研究熱情。
AlexNet是一個(gè)經(jīng)典的CNN模型，在數(shù)據(jù)、算法及算力層面均有較大改進(jìn)，創(chuàng)新地應(yīng)用了Data Augmentation、ReLU、Dropout和LRN等方法，并使用GPU加速網(wǎng)絡(luò)訓(xùn)練。
2012年，谷歌正式發(fā)布谷歌知識(shí)圖譜Google Knowledge Graph），它是Google的一個(gè)從多種信息來(lái)源匯集的知識(shí)庫(kù)，通過(guò)Knowledge Graph來(lái)在普通的字串搜索上疊一層相互之間的關(guān)系，協(xié)助使用者更快找到所需的資料的同時(shí)，也可以知識(shí)為基礎(chǔ)的搜索更近一步，以提高Google搜索的質(zhì)量。知識(shí)圖譜是結(jié)構(gòu)化的語(yǔ)義知識(shí)庫(kù)，是符號(hào)主義思想的代表方法，用于以符號(hào)形式描述物理世界中的概念及其相互關(guān)系。其通用的組成單位是RDF三元組(實(shí)體-關(guān)系-實(shí)體)，實(shí)體間通過(guò)關(guān)系相互聯(lián)結(jié)，構(gòu)成網(wǎng)狀的知識(shí)結(jié)構(gòu)。
2013年，Durk Kingma和Max Welling在ICLR上以文章《Auto-Encoding Variational Bayes》提出變分自編碼器（Variational Auto-Encoder，VAE）。
VAE基本思路是將真實(shí)樣本通過(guò)編碼器網(wǎng)絡(luò)變換成一個(gè)理想的數(shù)據(jù)分布，然后把數(shù)據(jù)分布再傳遞給解碼器網(wǎng)絡(luò)，構(gòu)造出生成樣本，模型訓(xùn)練學(xué)習(xí)的過(guò)程是使生成樣本與真實(shí)樣本足夠接近。
2013年，Google的Tomas Mikolov 在《Efficient Estimation of Word Representation in Vector Space》提出經(jīng)典的 Word2Vec模型用來(lái)學(xué)習(xí)單詞分布式表示，因其簡(jiǎn)單高效引起了工業(yè)界和學(xué)術(shù)界極大的關(guān)注。
Word2Vec基本的思想是學(xué)習(xí)每個(gè)單詞與鄰近詞的關(guān)系，從而將單詞表示成低維稠密向量。通過(guò)這樣的分布式表示可以學(xué)習(xí)到單詞的語(yǔ)義信息，直觀來(lái)看，語(yǔ)義相似的單詞的距離相近。
Word2Vec網(wǎng)絡(luò)結(jié)構(gòu)是一個(gè)淺層神經(jīng)網(wǎng)絡(luò)（輸入層-線性全連接隱藏層->輸出層），按訓(xùn)練學(xué)習(xí)方式可分為CBOW模型(以一個(gè)詞語(yǔ)作為輸入，來(lái)預(yù)測(cè)它的鄰近詞)或Skip-gram模型 (以一個(gè)詞語(yǔ)的鄰近詞作為輸入，來(lái)預(yù)測(cè)這個(gè)詞語(yǔ))。
2014年，聊天程序“尤金·古斯特曼”（Eugene Goostman）在英國(guó)皇家學(xué)會(huì)舉行的“2014圖靈測(cè)試”大會(huì)上，首次“通過(guò)”了圖靈測(cè)試。
2014年，Goodfellow及Bengio等人提出生成對(duì)抗網(wǎng)絡(luò)（Generative Adversarial Network，GAN），被譽(yù)為近年來(lái)最酷炫的神經(jīng)網(wǎng)絡(luò)。
GAN是基于強(qiáng)化學(xué)習(xí)(RL)思路設(shè)計(jì)的，由生成網(wǎng)絡(luò)(Generator, G)和判別網(wǎng)絡(luò)(Discriminator, D)兩部分組成， 生成網(wǎng)絡(luò)構(gòu)成一個(gè)映射函數(shù)G: Z→X（輸入噪聲z, 輸出生成的偽造數(shù)據(jù)x）, 判別網(wǎng)絡(luò)判別輸入是來(lái)自真實(shí)數(shù)據(jù)還是生成網(wǎng)絡(luò)生成的數(shù)據(jù)。在這樣訓(xùn)練的博弈過(guò)程中，提高兩個(gè)模型的生成能力和判別能力。
2015年，為紀(jì)念人工智能概念提出60周年，深度學(xué)習(xí)三巨頭LeCun、Bengio和Hinton(他們于2018年共同獲得了圖靈獎(jiǎng))推出了深度學(xué)習(xí)的聯(lián)合綜述《Deep learning》。
《Deep learning》文中指出深度學(xué)習(xí)就是一種特征學(xué)習(xí)方法，把原始數(shù)據(jù)通過(guò)一些簡(jiǎn)單的但是非線性的模型轉(zhuǎn)變成為更高層次及抽象的表達(dá)，能夠強(qiáng)化輸入數(shù)據(jù)的區(qū)分能力。通過(guò)足夠多的轉(zhuǎn)換的組合，非常復(fù)雜的函數(shù)也可以被學(xué)習(xí)。
2015年，Microsoft Research的Kaiming He等人提出的殘差網(wǎng)絡(luò)（ResNet）在ImageNet大規(guī)模視覺(jué)識(shí)別競(jìng)賽中獲得了圖像分類(lèi)和物體識(shí)別的優(yōu)勝。
殘差網(wǎng)絡(luò)的主要貢獻(xiàn)是發(fā)現(xiàn)了網(wǎng)絡(luò)不恒等變換導(dǎo)致的“退化現(xiàn)象（Degradation）”，并針對(duì)退化現(xiàn)象引入了 “快捷連接（Shortcut connection）”，緩解了在深度神經(jīng)網(wǎng)絡(luò)中增加深度帶來(lái)的梯度消失問(wèn)題。
2015年，谷歌開(kāi)源TensorFlow框架。它是一個(gè)基于數(shù)據(jù)流編程（dataflow programming）的符號(hào)數(shù)學(xué)系統(tǒng)，被廣泛應(yīng)用于各類(lèi)機(jī)器學(xué)習(xí)（machine learning）算法的編程實(shí)現(xiàn)，其前身是谷歌的神經(jīng)網(wǎng)絡(luò)算法庫(kù)DistBelief。
2015年，馬斯克等人共同創(chuàng)建OpenAI。它是一個(gè)非營(yíng)利的研究組織，使命是確保通用人工智能 (即一種高度自主且在大多數(shù)具有經(jīng)濟(jì)價(jià)值的工作上超越人類(lèi)的系統(tǒng)）將為全人類(lèi)帶來(lái)福祉。其發(fā)布熱門(mén)產(chǎn)品的如：OpenAI Gym，GPT等。
2016年，谷歌提出聯(lián)邦學(xué)習(xí)方法，它在多個(gè)持有本地?cái)?shù)據(jù)樣本的分散式邊緣設(shè)備或服務(wù)器上訓(xùn)練算法，而不交換其數(shù)據(jù)樣本。
聯(lián)邦學(xué)習(xí)保護(hù)隱私方面最重要的三大技術(shù)分別是： 差分隱私 ( Differential Privacy )、同態(tài)加密 ( Homomorphic Encryption )和 隱私保護(hù)集合交集 ( Private Set Intersection )，能夠使多個(gè)參與者在不共享數(shù)據(jù)的情況下建立一個(gè)共同的、強(qiáng)大的機(jī)器學(xué)習(xí)模型，從而解決數(shù)據(jù)隱私、數(shù)據(jù)安全、數(shù)據(jù)訪問(wèn)權(quán)限和異構(gòu)數(shù)據(jù)的訪問(wèn)等關(guān)鍵問(wèn)題。
2016年，AlphaGo與圍棋世界冠軍、職業(yè)九段棋手李世石進(jìn)行圍棋人機(jī)大戰(zhàn)，以4比1的總比分獲勝。
AlphaGo是一款圍棋人工智能程序，其主要工作原理是“深度學(xué)習(xí)”，由以下四個(gè)主要部分組成：策略網(wǎng)絡(luò)（Policy Network）給定當(dāng)前局面，預(yù)測(cè)并采樣下一步的走棋；快速走子（Fast rollout）目標(biāo)和策略網(wǎng)絡(luò)一樣，但在適當(dāng)犧牲走棋質(zhì)量的條件下，速度要比策略網(wǎng)絡(luò)快1000倍；價(jià)值網(wǎng)絡(luò)（Value Network）估算當(dāng)前局面的勝率；蒙特卡洛樹(shù)搜索（Monte Carlo Tree Search）樹(shù)搜索估算每一種走法的勝率。
在2017年更新的AlphaGo Zero，在此前的版本的基礎(chǔ)上，結(jié)合了強(qiáng)化學(xué)習(xí)進(jìn)行了自我訓(xùn)練。它在下棋和游戲前完全不知道游戲規(guī)則，完全是通過(guò)自己的試驗(yàn)和摸索，洞悉棋局和游戲的規(guī)則，形成自己的決策。隨著自我博弈的增加，神經(jīng)網(wǎng)絡(luò)逐漸調(diào)整，提升下法勝率。更為厲害的是，隨著訓(xùn)練的深入，AlphaGo Zero還獨(dú)立發(fā)現(xiàn)了游戲規(guī)則，并走出了新策略，為圍棋這項(xiàng)古老游戲帶來(lái)了新的見(jiàn)解。
2017年，中國(guó)香港的漢森機(jī)器人技術(shù)公司（Hanson Robotics）開(kāi)發(fā)的類(lèi)人機(jī)器人索菲亞，是歷史上首個(gè)獲得公民身份的一臺(tái)機(jī)器人。索菲亞看起來(lái)就像人類(lèi)女性，擁有橡膠皮膚，能夠表現(xiàn)出超過(guò)62種自然的面部表情。其“大腦”中的算法能夠理解語(yǔ)言、識(shí)別面部，并與人進(jìn)行互動(dòng)。
這張圖很好地展示了近年來(lái)大規(guī)模語(yǔ)言模型的發(fā)展，并突出了其中的一些最知名的模型。同一分支上的模型具有更緊密的關(guān)系。
模型在時(shí)間軸上的垂直位置表示它們的發(fā)布日期。開(kāi)源模型表示為實(shí)心方形，而閉源模型則用空心方形表示。
這些模型在其訓(xùn)練策略、模型架構(gòu)和應(yīng)用領(lǐng)域上存在差異。為了更清楚地了解LLM的格局，我們將它們分為兩類(lèi)：僅編碼器或編碼器-解碼器語(yǔ)言模型以及僅解碼器語(yǔ)言模型。在圖1中，我們展示了語(yǔ)言模型的詳細(xì)演化過(guò)程。從這個(gè)進(jìn)化樹(shù)中，我們得到一些有趣的觀察結(jié)果：
a）僅解碼器模型逐漸主導(dǎo)了LLM的發(fā)展。在LLM發(fā)展的早期階段，僅解碼器模型不如僅編碼器和編碼器-解碼器模型受歡迎。然而，在2021年之后，隨著具有改變游戲規(guī)則的LLM（例如GPT-3）的引入，僅解碼器模型經(jīng)歷了顯著的發(fā)展。與此同時(shí)，在BERT帶來(lái)的最初爆炸性增長(zhǎng)之后，僅編碼器模型逐漸開(kāi)始衰落。
b）OpenAI始終在LLM領(lǐng)域保持著領(lǐng)導(dǎo)地位，無(wú)論是當(dāng)前還是未來(lái)。其他公司和機(jī)構(gòu)在開(kāi)發(fā)與GPT-3和當(dāng)前的GPT-4相媲美的模型方面努力迎頭趕上OpenAI。這種領(lǐng)導(dǎo)地位可以歸因于OpenAI對(duì)技術(shù)道路的堅(jiān)定承諾，即使最初并不被廣泛認(rèn)可。
c）Meta在開(kāi)源LLM方面作出了重要貢獻(xiàn)，并促進(jìn)了LLM的研究。在考慮到對(duì)開(kāi)源社區(qū)的貢獻(xiàn)，特別是與LLM相關(guān)的貢獻(xiàn)時(shí)，Meta凸顯出作為最慷慨的商業(yè)公司之一，因?yàn)镸eta開(kāi)發(fā)的所有LLM都是開(kāi)源的。
d）LLM呈現(xiàn)出趨向于封閉源的趨勢(shì)。在LLM發(fā)展的早期階段（2020年之前），大多數(shù)模型都是開(kāi)源的。然而，隨著GPT-3的引入，公司越來(lái)越傾向于封閉其模型，例如PaLM、LaMDA和GPT-4。因此，學(xué)術(shù)研究人員在LLM訓(xùn)練上進(jìn)行實(shí)驗(yàn)變得更加困難。因此，基于API的研究可能會(huì)成為學(xué)術(shù)界主要的方法。
e）編碼器-解碼器模型仍然具有前景，因?yàn)檫@種架構(gòu)仍在積極探索，而且其中大多數(shù)都是開(kāi)源的。谷歌對(duì)開(kāi)源編碼器-解碼器架構(gòu)做出了重大貢獻(xiàn)。然而，解碼器模型的靈活性和多功能性似乎使得谷歌對(duì)此方向的堅(jiān)持不太具有前景。
波士頓動(dòng)力公司（英語(yǔ)：Boston Dynamics）創(chuàng)辦與是一家美國(guó)的工程與機(jī)器人設(shè)計(jì)公司，此公司的著名產(chǎn)品包含在國(guó)防高等研究計(jì)劃署（DARPA）出資下替美國(guó)軍方開(kāi)發(fā)的四足機(jī)器人：波士頓機(jī)械狗，以及DI-Guy，一套用于寫(xiě)實(shí)人類(lèi)模擬的現(xiàn)成軟件（COTS）。此公司早期曾和美國(guó)系統(tǒng)公司一同接受來(lái)自美國(guó)海軍航空作戰(zhàn)中心訓(xùn)練處（NAWCTSD）的一份合約，該合約的內(nèi)容是要以DI-Guy人物的互動(dòng)式3D電腦模擬，取代海軍飛機(jī)彈射任務(wù)訓(xùn)練影片。
該公司由Marc Raibert和其合伙人一起創(chuàng)辦。Marc Raibert是著名的機(jī)器人學(xué)家。其28歲畢業(yè)于MIT，隨后在CMU擔(dān)任過(guò)副教授，并且在那里建立了CMUleg實(shí)驗(yàn)室研究與機(jī)器人有關(guān)的控制和視覺(jué)處理相關(guān)的技術(shù)。在37歲時(shí)回到MIT的繼續(xù)從事機(jī)器人相關(guān)的科研和教學(xué)工作。在1992年，其與合伙人一起創(chuàng)辦了Boston Dynamics這家公司，開(kāi)啟了機(jī)器人研究的新紀(jì)元。
波士頓動(dòng)力公司于 2005 年推出一款四足機(jī)器人——big Dog ，它被人們親切地稱(chēng)為 “大狗”，也正是這款四足機(jī)器人讓波士頓動(dòng)力公司名聲大噪。大狗拋開(kāi)傳統(tǒng)的輪式或履帶式機(jī)器人，轉(zhuǎn)而研究四足機(jī)器人，是因?yàn)樗淖銠C(jī)器人能夠適應(yīng)更多地形地貌，通過(guò)性能更強(qiáng)。同時(shí)，在波士頓動(dòng)力公司發(fā)布的宣傳視頻中，Big Dog 在裝載著重物的情況下，仍能對(duì)人類(lèi)從其側(cè)面的踢踹做出靈敏的反應(yīng)，始終保持站立的姿態(tài)。
在2013年12月13日，波士頓動(dòng)力公司被Google收購(gòu)。2017年6月9日軟銀以不公開(kāi)的條款收購(gòu)谷歌母公司Alphabet旗下的波士頓動(dòng)力公司。
Watson是一種能夠回答自然語(yǔ)言提出的問(wèn)題的問(wèn)答計(jì)算機(jī)系統(tǒng)，由主要研究員David Ferrucci領(lǐng)導(dǎo)的研究小組在IBM的DeepQA項(xiàng)目中開(kāi)發(fā)。Watson以IBM的創(chuàng)始人兼第一任首席執(zhí)行官工業(yè)家Thomas J. Watson的名字命名。
最初開(kāi)發(fā)Watson計(jì)算機(jī)系統(tǒng)是為了回答測(cè)驗(yàn)節(jié)目 Jeopardy！中的問(wèn)題，并且在2011年參與Jeopardy比賽與與冠軍布拉德·魯特（Brad Rutter）和肯·詹寧斯（Ken Jennings）競(jìng)爭(zhēng)。最終贏得了勝利贏得一百萬(wàn)美元的冠軍獎(jiǎng)金。
Google的自動(dòng)駕駛技術(shù)開(kāi)發(fā)始于2009年1月17日，一直在在該公司秘密的X實(shí)驗(yàn)室中進(jìn)行，在2010年10月9日《紐約時(shí)報(bào)》透露其存在之后，當(dāng)天晚些時(shí)候，谷歌通過(guò)正式宣布了自動(dòng)駕駛汽車(chē)計(jì)劃。該項(xiàng)目由斯坦福大學(xué)人工智能實(shí)驗(yàn)室（SAIL）的前負(fù)責(zé)人塞巴斯蒂安·特倫（Sebastian Thrun ）和510系統(tǒng)公司和安東尼機(jī)器人公司的創(chuàng)始人安東尼·萊萬(wàn)多夫斯基（Anthony Levandowski）發(fā)起。
在Google工作之前，Thrun和包括Dmitri Dolgov，Anthony Levandowski和Mike Montemerlo在內(nèi)的15位工程師共同為SAIL開(kāi)展了名為VueTool的數(shù)字地圖技術(shù)項(xiàng)目。許多團(tuán)隊(duì)成員在2005 DARPA大挑戰(zhàn)賽上見(jiàn)面，Thrun和Levandowski都有團(tuán)隊(duì)競(jìng)爭(zhēng)自動(dòng)無(wú)人駕駛汽車(chē)挑戰(zhàn)。在2007年，Google收購(gòu)了整個(gè)VueTool團(tuán)隊(duì)，以幫助推進(jìn)Google的街景技術(shù)。
作為街景服務(wù)開(kāi)發(fā)的一部分，購(gòu)買(mǎi)了100輛豐田普銳斯，并配備了萊康多夫斯基公司510 Systems開(kāi)發(fā)的Topcon盒，數(shù)字地圖硬件。2008年，街景小組啟動(dòng)了“地面真相”項(xiàng)目，目的是通過(guò)從衛(wèi)星和街景中提取數(shù)據(jù)來(lái)創(chuàng)建準(zhǔn)確的路線圖。這為Google的自動(dòng)駕駛汽車(chē)計(jì)劃奠定了基礎(chǔ)。
2014年5月下旬，Google展示了其無(wú)人駕駛汽車(chē)的新原型，該汽車(chē)無(wú)方向盤(pán)，油門(mén)踏板或制動(dòng)踏板，并且100％自治。12月，他們展示了一個(gè)功能完備的原型，計(jì)劃從2015年初開(kāi)始在舊金山灣區(qū)道路上進(jìn)行測(cè)試。這款車(chē)名Firefly，旨在用作實(shí)驗(yàn)平臺(tái)和學(xué)習(xí)，而不是大量生產(chǎn)。
2015年，聯(lián)合創(chuàng)始人Anthony Levandowski和CTO Chris Urmson離開(kāi)了該項(xiàng)目。2015年8月，Google聘用了現(xiàn)代汽車(chē)前高管約翰·克拉夫奇克（John Krafcik）作為首席執(zhí)行官。 2015年秋天，Google向總工程師納撒尼爾·費(fèi)爾菲爾德（Nathaniel Fairfield）的合法盲人朋友提供了“世界上第一個(gè)完全無(wú)人駕駛的公共道路上的騎行服務(wù)” 。這次乘車(chē)之旅由得克薩斯州奧斯汀市圣塔克拉拉谷盲中心的前首席執(zhí)行官史蒂夫·馬漢（Steve Mahan）乘車(chē)。這是公共道路上的第一個(gè)完全無(wú)人駕駛的汽車(chē)。它沒(méi)有測(cè)試駕駛員或警察護(hù)送，也沒(méi)有方向盤(pán)或地板踏板。截至2015年底，這輛汽車(chē)已實(shí)現(xiàn)超過(guò)100萬(wàn)英里的自駕里程。
OpenAI，由諸多硅谷大亨聯(lián)合建立的人工智能非營(yíng)利組織。2015年馬斯克與其他硅谷科技大亨進(jìn)行連續(xù)對(duì)話后，決定共同創(chuàng)建OpenAI，希望能夠預(yù)防人工智能的災(zāi)難性影響，推動(dòng)人工智能發(fā)揮積極作用。特斯拉電動(dòng)汽車(chē)公司與美國(guó)太空技術(shù)探索公司SpaceX創(chuàng)始人馬斯克、Y Combinator總裁阿爾特曼、天使投資人彼得·泰爾（Peter Thiel）以及其他硅谷巨頭2014年12月份承諾向OpenAI注資10億美元。
OpenAI的使命是確保通用人工智能 (Artificial General Intelligence, AGI)，即一種高度自主且在大多數(shù)具有經(jīng)濟(jì)價(jià)值的工作上超越人類(lèi)的系統(tǒng)，將為全人類(lèi)帶來(lái)福祉。不僅希望直接建造出安全的、符合共同利益的通用人工智能，而且愿意幫助其它研究機(jī)構(gòu)共同建造出這樣的通用人工智能以達(dá)成他們的使命。
發(fā)展初期：
1943年，美國(guó)神經(jīng)科學(xué)家麥卡洛克（Warren McCulloch）和邏輯學(xué)家皮茨（Water Pitts）提出神經(jīng)元的數(shù)學(xué)模型，這是現(xiàn)代人工智能學(xué)科的奠基石之一。
1950年，艾倫·麥席森·圖靈（Alan Mathison Turing）提出“圖靈測(cè)試”（測(cè)試機(jī)器是否能表現(xiàn)出與人無(wú)法區(qū)分的智能），讓機(jī)器產(chǎn)生智能這一想法開(kāi)始進(jìn)入人們的視野。
1957年,弗蘭克·羅森布拉特（Frank Rosenblatt）在一臺(tái)IBM-704計(jì)算機(jī)上模擬實(shí)現(xiàn)了一種他發(fā)明的叫做“感知機(jī)”（Perceptron）的神經(jīng)網(wǎng)絡(luò)模型。
1969年，“符號(hào)主義”代表人物馬文·明斯基（Marvin Minsky）的著作《感知器》提出對(duì)XOR線性不可分的問(wèn)題
高潮期：
2012年，Hinton和他的學(xué)生Alex Krizhevsky設(shè)計(jì)的AlexNet深度卷積神經(jīng)網(wǎng)絡(luò)模型在ImageNet競(jìng)賽大獲全勝，標(biāo)志著深度學(xué)習(xí)時(shí)代的來(lái)臨。
2013年，Google的Tomas Mikolov 在《Efficient Estimation of Word Representation in Vector Space》提出經(jīng)典的 Word2Vec模型用來(lái)學(xué)習(xí)單詞分布式表示。
2014年，Goodfellow及Bengio等人提出生成對(duì)抗網(wǎng)絡(luò)（Generative Adversarial Network，GAN），被譽(yù)為近年來(lái)最酷炫的神經(jīng)網(wǎng)絡(luò)。
2018年，谷歌提出了Transformer模型。Transformer憑借其自注意力機(jī)制和encoder-decoder架構(gòu)，在機(jī)器翻譯、NLP等任務(wù)中取得了顯著成效。隨后的BERT、GPT系列模型更是將Transformer推向了巔峰，引領(lǐng)了自然語(yǔ)言處理領(lǐng)域的變革。
GPU的定位是并行計(jì)算芯片，主要是將其中非常復(fù)雜的數(shù)學(xué)和幾何計(jì)算抽出，變成一個(gè)超高密度、能夠并行計(jì)算的方式。最初專(zhuān)用于圖形處理，后漸漸用于高密度通用計(jì)算，包括AI計(jì)算。
GPU 的發(fā)展源于80年代，IBM是GPU理念的創(chuàng)始者，但它并未堅(jiān)持。所以真正意義上的第一款GPU是英偉達(dá)在1999年發(fā)布的Geforce 256，并正式提出一個(gè)響亮的名字“Graphics Processing Unit”，這就是GPU的來(lái)源。
微信截圖_17283739705807.png)
GPU早期是為了用于圖形渲染
GPU早期一般為了3D渲染而設(shè)計(jì)。從計(jì)算機(jī)圖形學(xué)的角度，GPU將三維事件的點(diǎn)陣通過(guò)矩陣變化投影到二維平面上，這個(gè)過(guò)程叫做光柵化，最終在顯示器上結(jié)果。GPU的能力基本上是頂點(diǎn)處理、光柵化、像素處理等，這個(gè)過(guò)程包含大量的矩陣計(jì)算，剛好利用了GPU的并行性。
微信截圖_17283739929091.png)
GPU走向了通用計(jì)算
2003年，GPGPU（General Purpose computing on GPU）的概念被首次提出來(lái)。GPU不再以圖形的3D加速為唯一目的，而是能夠用于任意并行的通用計(jì)算，例如科學(xué)計(jì)算、數(shù)據(jù)分析、基因、云游戲、AIGC等。
微信截圖_17283740052010.png)
隨著2007年英偉達(dá)推出 CUDA 1.0版本，使其旗下所有 GPU 芯片都適應(yīng) CUDA 架構(gòu)，CUDA生態(tài)和價(jià)格也是英偉達(dá)的最核心競(jìng)爭(zhēng)力，也是英偉達(dá)萬(wàn)億市值的關(guān)鍵因素之一。英偉達(dá)投入了一萬(wàn)以上的工程師在發(fā)展這個(gè)體系，基本上把人工智能里的大部分場(chǎng)景都做了深度優(yōu)化。英偉達(dá)長(zhǎng)期投入CUDA生態(tài)建設(shè)，為開(kāi)發(fā)者服務(wù)，建立好了一系列的開(kāi)源生態(tài)。
AbriefhistoryofAI
AI營(yíng)銷(xiāo)類(lèi)API提升品牌形象和聲譽(yù)
為什么說(shuō)AI Agent的機(jī)會(huì)在To B？
轉(zhuǎn)載自：四張圖片道清AI大模型的發(fā)展史(1943-2023)
AI發(fā)展歷史
一文讀懂GPU的過(guò)去、現(xiàn)在和未來(lái)
AI芯片戰(zhàn)爭(zhēng)：英偉達(dá)是科技之巔？