要點:
微軟與弗吉尼亞理工大學合作，提出“思維算法”新訓練方法，目的是使大語言模型如ChatGPT在推理上更高效、更具人類思維邏輯。
“思維算法”通過組織模型有序地探索不同解決方案，融合了人類直觀認知與算法邏輯思維的優勢。
研究人員認爲，這種方法可以指導模型高效解決複雜實際問題，還可減少模型的碳足迹。
站長之家（ChinaZ.com）9月1日 消息:微軟公司推出了一种名为“思维算法”（AoT）的全新AI训练方法，旨在提高大型语言模型(如ChatGPT)在推理能力方面的效率和人类相似度。
對于已經在人工智能領域進行大量投資的公司來說，這是自然的發展步驟，尤其是對OpenAI——DALL-E、ChatGPT和功能強大的GPT語言模型的創造者。
根据发表的研究论文，微軟表示，AoT技术是一种潜在的游戏规则改变者，因为它“引导语言模型通过更简化的问题解决路径”。这种新颖的方法利用了“上下文学习”，使模型能够系统地以有组织的方式探索不同的解决方案。
“我們的方法優于先前的單查詢方法，並與最近采用廣泛樹搜索的多查詢方法相當。有趣的是，我們的結果表明，使用算法指導模型可以導致性能超過算法本身。”
研究人員聲稱，當這種技術優化其搜索過程時，模型獲得了改進的“直覺”。
人機混合算法?AoT方法解決了當前上下文學習技術（如“思維鏈”）的限制。有時，CoT提供錯誤的中間步驟，而AoT則使用算法示例來指導模型，以獲得更可靠的結果。
AoT從人和機器中汲取靈感，以提高生成型AI模型的性能。雖然人類在直觀認知方面表現出色，但算法以其有組織的、詳盡的探索而聞名。研究論文稱，“思維算法”尋求將這兩種方面融合起來，增強大型語言模型的推理能力。
微軟表示，这种混合技术使模型能够克服人类工作记忆的限制，从而能够更全面地分析想法。
與CoT的線性推理或“思維樹”（ToT）技術不同，AoT允許對子問題的不同選項進行靈活的思考，只需最少的提示就能保持有效性。它還與外部樹搜索工具相媲美，有效地平衡成本和計算。
總的來說，AoT代表了從監督學習到整合搜索過程的轉變。通過改進提示工程，研究人員相信這種方法可以使模型高效地解決複雜的現實世界問題，同時也減少它們的碳足迹。
鉴于其在人工智能领域的大量投资，微軟似乎有能力将AoT纳入像GPT-4这样的先进系统。尽管具有挑战性，但教导语言模型以更人性化的方式进行“思考”可能会带来革命性的变革。
（舉報）