論文地址:https://arxiv.org/pdf/2005.14165

零樣本思維鏈(Zero-shot-CoT)

在問(wèn)題的結(jié)尾附加“Let’s think step by step”這幾個(gè)詞,大語(yǔ)言模型能夠生成一個(gè)回答問(wèn)題的思維鏈。

Zero-shot-CoT 是一個(gè) pipeline。也就是說(shuō)“Let’s think step by step”這句話,只是通過(guò)這個(gè) prompt 讓LLM 盡可能生成一些思考過(guò)程,然后再將生成的 rationale(理由) 和 question 拼在一起,重新配合一個(gè)answer 指向的 prompt 如“The answer is ”來(lái)激勵(lì)模型生成答案。

自動(dòng)思維鏈(Auto-CoT)

Auto-CoT 主要由兩個(gè)階段組成:

CBR模式(Case-Base Reasoning)提升任務(wù)成功率

核心思想:他山之石,可以攻玉。利用以往解決類(lèi)似問(wèn)題的經(jīng)驗(yàn)來(lái)解決新問(wèn)題。

基本結(jié)構(gòu)

[任務(wù)]
{}
[解決方案]
{}
現(xiàn)在請(qǐng)根據(jù)上述文本洞察解決以下任務(wù)。
[任務(wù)]
{}
role:你是一個(gè)客戶端高級(jí)測(cè)試工程師,能夠?qū)蛻舳薝I界面的各種問(wèn)題進(jìn)行判斷,這里是一些發(fā)生過(guò)問(wèn)題頁(yè)面的例子,能夠幫你完成頁(yè)面顯示問(wèn)題的分析任務(wù):

[任務(wù)]
你是一個(gè)客戶端高級(jí)測(cè)試工程師,下面是之前發(fā)生過(guò)UI問(wèn)題的例子描述,請(qǐng)按圖片順序進(jìn)行分析。
內(nèi)容要求:
1.分析傳入的圖片,識(shí)別出頁(yè)面中所有的控件和文本,忽略頂部系統(tǒng)通知欄和底部菜單欄。
2.對(duì)每一個(gè)控件元素和文本元素都進(jìn)行判斷(頂部的通知欄和底部的菜單欄不需要參與分析),分析元素本身的問(wèn)題,一般存在的問(wèn)題是缺失、不完整、展示不全、顏色過(guò)淺、沒(méi)有單位、小數(shù)點(diǎn)錯(cuò)亂等,
3.基于整個(gè)UI界面的布局進(jìn)行分析,一般存在的問(wèn)題是按鈕未對(duì)齊高度不一致、元素位置錯(cuò)亂、元素之間遮擋、整體布局錯(cuò)亂等
4.按順序分析每張圖片,后一張圖片的分析需要借助之前的圖片分析結(jié)果,很有可能出現(xiàn)類(lèi)似的問(wèn)題,保證你的判斷結(jié)果準(zhǔn)確,并且給出對(duì)應(yīng)的判斷理由,當(dāng)判斷為符合時(shí),需要說(shuō)明符合的校驗(yàn)條件是什么,當(dāng)判斷為不符合時(shí),需要說(shuō)明不符合的校驗(yàn)條件是什么。如果無(wú)法從給定的圖片中判斷出結(jié)果,判斷結(jié)果為不符合
5.你需要在判斷結(jié)果中,輸出以下信息:
a.判斷結(jié)果:
b.判斷理由:

格式要求:
請(qǐng)按照如下json格式輸出,reason使用中文,不要輸出其他無(wú)關(guān)內(nèi)容:
{
"result":"pass/fail/error",
"reason":"...."
}

如果沒(méi)有問(wèn)題,result=pass,有問(wèn)題result=fail,如果無(wú)法進(jìn)行準(zhǔn)確判斷或者依據(jù)不足,則result=error
6.請(qǐng)分步驟思考這個(gè)問(wèn)題
7.你要對(duì)輸出結(jié)果認(rèn)真檢查,對(duì)你的答案負(fù)責(zé),其中大概率不會(huì)發(fā)生UI問(wèn)題,所以一定要仔細(xì)判斷,給出足夠可信賴的判斷依據(jù),如果如法判斷,就將結(jié)果置為error,只需要輸出一條結(jié)果

[解決方案]
第一張圖片分析后組合成JSON結(jié)果輸出
{
"result":"fail",
"reason":"識(shí)別到右下角兩個(gè)藍(lán)色按鈕,都存在問(wèn)題,第一個(gè)按鈕的紅色標(biāo)簽沒(méi)有顯示完全,第二個(gè)按鈕的文本存在缺失問(wèn)題,沒(méi)有下發(fā)券后價(jià)"
}

現(xiàn)在請(qǐng)根據(jù)上述文本洞察解決以下UI問(wèn)題分析任務(wù)。
[任務(wù)]你需要分析的圖片是輸入圖片的最后一張,需要借助之前的圖片分析結(jié)果,很有可能出現(xiàn)類(lèi)似的問(wèn)題,保證你的判斷結(jié)果準(zhǔn)確,并且給出對(duì)應(yīng)的判斷理由,只需要給出最后一張圖片的分析結(jié)果,
格式要求:
請(qǐng)按照如下json格式輸出,reason使用中文,不要輸出其他無(wú)關(guān)內(nèi)容:
{
"result":"pass/fail/error",
"reason":"...."
}

如果沒(méi)有問(wèn)題,result=pass,有問(wèn)題result=fail,如果無(wú)法進(jìn)行準(zhǔn)確判斷或者依據(jù)不足,則result=error

特點(diǎn)

CBR模式基本還是一個(gè)方法和策略,需要配合其他prompt工程一起使用。

參考

原文轉(zhuǎn)自 微信公眾號(hào)@MagicMirror魔鏡

上一篇:

AI創(chuàng)業(yè)公司唯一重要的事情——PMF

下一篇:

詳解Meta的AI戰(zhàn)略藍(lán)圖,AI商業(yè)模式與AI技術(shù)戰(zhàn)略啟示錄
#你可能也喜歡這些API文章!

我們有何不同?

API服務(wù)商零注冊(cè)

多API并行試用

數(shù)據(jù)驅(qū)動(dòng)選型,提升決策效率

查看全部API→
??

熱門(mén)場(chǎng)景實(shí)測(cè),選對(duì)API

#AI文本生成大模型API

對(duì)比大模型API的內(nèi)容創(chuàng)意新穎性、情感共鳴力、商業(yè)轉(zhuǎn)化潛力

25個(gè)渠道
一鍵對(duì)比試用API 限時(shí)免費(fèi)

#AI深度推理大模型API

對(duì)比大模型API的邏輯推理準(zhǔn)確性、分析深度、可視化建議合理性

10個(gè)渠道
一鍵對(duì)比試用API 限時(shí)免費(fèi)