界面新聞記者 | 宋佳楠

當?shù)貢r間6月3日，被譽為“AI教父”的圖靈獎得主約書亞·本吉奧（Yoshua Bengio）宣布成立非營利組織LawZero，計劃開發(fā)一種名為“科學家AI”（Scientist AI）的新型人工智能系統(tǒng)，旨在應(yīng)對當前AI發(fā)展帶來的安全與倫理挑戰(zhàn)。

LawZero獲得了約3000萬美元的初始資金支持，資助方包括未來生命研究所（Future of Life Institute）、Skype聯(lián)合創(chuàng)始人賈恩·塔林（Jaan Tallinn）以及谷歌前CEO施密特創(chuàng)立的科學研究所（Schmidt Sciences）等。該組織的核心使命是開發(fā)“誠實”的AI系統(tǒng)，以應(yīng)對當前AI模型可能出現(xiàn)的欺騙、自我保護和不服從關(guān)機指令等行為。

相比于OpenAI的有限營利模式，LawZero更強調(diào)獨立性，拒絕商業(yè)資本干預(yù)，確保研究不受產(chǎn)品路線圖影響，能夠?qū)Ｗ⒂贏I安全的純粹研究和技術(shù)開發(fā)。

“科學家AI”系統(tǒng)的設(shè)計理念與當前主流的生成式AI模型不同。它并不追求模仿人類行為或最大化獎勵，而是通過“貝葉斯推理”（用新信息修正原來的想法）提供對世界的解釋和預(yù)測，強調(diào)對不確定性的認識和透明的推理過程。

本吉奧指出，這種系統(tǒng)將像一位心理學家一樣，能夠識別和預(yù)測自主AI系統(tǒng)可能導(dǎo)致的有害行為，并在必要時阻止這些行為的發(fā)生。

作為AI領(lǐng)域的先驅(qū)，本吉奧因在深度神經(jīng)網(wǎng)絡(luò)、生成模型、無監(jiān)督學習及反向傳播算法等方面有開創(chuàng)性貢獻而聞名。長期以來，他一直對AI的發(fā)展方向表示擔憂，尤其是關(guān)于AI系統(tǒng)可能出現(xiàn)的欺騙行為和自我保護傾向。

在他看來，當前AI行業(yè)過于注重能力的提升，而忽視了安全研究的重要性，警告這種趨勢可能導(dǎo)致災(zāi)難性的后果，包括人類對AI系統(tǒng)失去控制。

在技術(shù)層面，本吉奧強調(diào)需要開發(fā)能夠在通用人工智能（AGI）或超級人工智能（ASI）階段仍然有效的安全技術(shù)，包括對危險能力的評估、檢測和緩解，以及設(shè)計可控且保證安全的AI系統(tǒng)。

本吉奧還指出，當前AI系統(tǒng)的訓(xùn)練方法可能存在問題，尤其是強化學習等方法可能導(dǎo)致目標設(shè)定錯誤和泛化能力不足。他提倡開發(fā)不具備自主行動能力的AI系統(tǒng)，專注于提供可靠的世界解釋和預(yù)測，以減少潛在的風險。

對未來AI世界風險表示憂慮的不只本吉奧。此前特斯拉CEO埃隆·馬斯克也曾預(yù)測，到2029年，人工智能將超越人類智慧總和，并且有20%的概率導(dǎo)致文明滅絕。同為圖靈獎得主的杰弗里·辛頓（Geoffrey Hinton）也曾將AI導(dǎo)致人類滅絕的風險預(yù)測從此前的10%上升到 “10%-20%” 之間。

也因此，本吉奧希望通過上述項目引發(fā)全球范圍內(nèi)對AI安全問題的關(guān)注，以確保AI技術(shù)的發(fā)展不會對人類構(gòu)成威脅。