LLM 會把編程淘汰嗎？近日，哥本哈根大學(xué)的計(jì)算機(jī)教授，通過分析計(jì)算理論中的定理所施加的基本限制，得出結(jié)論：距離編程的終結(jié)還遠(yuǎn)得很。
LLM 的發(fā)展會把編程淘汰嗎？
哥本哈根大學(xué)計(jì)算機(jī)教授 Hans Hüttel 表示：永遠(yuǎn)不會。
文章地址：https://cacm.acm.org/ opinion / on-program-synthesis-and-large-language-models/
盡管今天的人工智能已經(jīng)發(fā)展到了一個新的高度，尤其是大語言模型在文本生成等方面的能力，令人印象深刻。
但計(jì)算社區(qū)中的一些人似乎走得有點(diǎn)遠(yuǎn)了，他們聲稱「編程將成為過去」。
2023 年 1 月的 Communications 專欄中，Matt Welsh 提出了這樣的觀點(diǎn)：「編程將過時，—— 編寫程序的傳統(tǒng)想法正在走向滅絕，事實(shí)上，除了非常專業(yè)的應(yīng)用程序之外，大多數(shù)軟件將被經(jīng)過訓(xùn)練的 AI 系統(tǒng)所取代」。
「在需要簡單程序的情況下（畢竟不是所有程序都需要在 GPU 集群上運(yùn)行幾千億個參數(shù)的模型），這些程序本身將由 AI 生成，而不是手動編碼」。
在 Hans Hüttel 看來，這太過分了。
Welsh 的觀點(diǎn)包含兩個說法。首先，未來大多數(shù)不「簡單」的軟件將采用 AI 系統(tǒng)的形式。其次，任何不屬于此形式的軟件都將自動生成。
這似乎是個相當(dāng)籠統(tǒng)的主張，結(jié)果就是：既然不需要編程，就不需要研究編程或程序的屬性。計(jì)算機(jī)科學(xué)終于可以消失了！
客觀來講，Welsh 提出的第一個主張不太好反駁。畢竟這個「簡單」的定義究竟是什么？（按照引文觀點(diǎn)，任何不采用 AI 系統(tǒng)形式的軟件都很簡單）
當(dāng)前的操作系統(tǒng)、游戲引擎和 SaaS 平臺等系統(tǒng)軟件算是「簡單軟件」嗎？這些能不能被 AI 取代仍是存疑的。
Welsh 提出的第二個主張涉及程序代碼的生成。在早期的一篇評論文章中，Daniel Yellin 從軟件開發(fā)實(shí)踐的角度討論了使用 LLM 的情況。
而在本文中，Hans Hüttel 教授重點(diǎn)關(guān)注計(jì)算理論中的定理所施加的基本限制，以及這個規(guī)范如何影響代碼的生成。最終結(jié)論是：距離編程的終結(jié)還遠(yuǎn)得很。
最熱門的編程語言
還記得大神 Andrej Karpathy 在推特上的名言：「最熱門的新編程語言是英語」。
這個想法并不是誕生自當(dāng)下 LLM 幾乎全能的現(xiàn)狀，「以自然語言編程」的想法至少可以追溯到 2020 年 7 月。當(dāng) GPT-3 出現(xiàn)時，Osama Qarem 寫道：「Using GPT-3 will still be programming」，「它將使用以英語作為語法的語言進(jìn)行編碼」。
考慮實(shí)際情況這也十分符合：人類口語不太簡潔、不太清晰，更容易產(chǎn)生誤解。人們在與 GPT-3 交談時需要練習(xí)正確的名詞、形容詞、動詞等，以獲得他們想要的結(jié)果。這代表你需要學(xué)會根據(jù) GPT-3 的理解來「調(diào)試」你的英語句子。
消滅編程這件事如果再往前追溯，在 1954 年的 FORTRAN 報(bào)告中，作者聲稱「FORTRAN 應(yīng)該幾乎消除編碼和調(diào)試」，—— 正如我們所知，這并沒有發(fā)生。
之后，F(xiàn)ORTRAN 的主要作者 John Backus 繼續(xù)設(shè)計(jì)了一系列有影響力的編程語言，并贏得了 1977 年的圖靈獎。
在 FORTRAN 報(bào)告的十年后（1966 年），Jean Sammet 在 Communications 上寫道，英語應(yīng)該是未來的編程語言，—— 這事也沒有發(fā)生，并且另一位圖靈獎得主 Edsger W. Dijkstra 認(rèn)為這個想法是「愚蠢」的。
這件事情今天會發(fā)生嗎？看過了太多的 ChatGPT 等大模型帶來的驚艷示范，幾句話就能快速構(gòu)建項(xiàng)目，生成看起來非常不錯的代碼。
人們可能會想，在這個時代，我們終于見證了編程的終結(jié)和英語（或者說一般的自然語言）作為創(chuàng)建程序的主要語言。
但是，從規(guī)范生成程序代碼并不是這么簡單的事情。如果我們關(guān)心生成代碼的正確性，考慮計(jì)算復(fù)雜性理論上非常精確的意義，那么即便是「簡單」的程序也會相當(dāng)棘手。
生成正確的代碼很困難
從規(guī)范生成正確的程序代碼，在計(jì)算機(jī)科學(xué)中是一個核心問題。這是程序綜合的問題，Gulwani 曾表示：
「程序綜合是從底層編程語言中，自動查找滿足以某種形式約束表達(dá)的用戶意圖的程序。與使用語法導(dǎo)向的翻譯將高級代碼轉(zhuǎn)換為低級機(jī)器表示的典型編譯器不同，程序合成器通常在程序空間上執(zhí)行某種形式的搜索，以生成與各種約束（例如，輸入輸出示例、自然語言、部分程序和斷言）一致的程序」。
關(guān)于各種形式的綜合問題已經(jīng)有很多研究，我們知道這件事很難，這個「困難」是指計(jì)算復(fù)雜性理論意義上的計(jì)算困難。
1979 年，Richard Statman 證明了，在簡單類型的 λ 演算中是否存在具有給定類型 τ 項(xiàng)的問題是 PSPACE 完備（PSPACE-complete）的。
對于此類問題的決策算法，其確切資源需求是計(jì)算復(fù)雜性理論中的一個開放問題。
但是，普遍的共識是，PSPACE 完備問題的決策算法在運(yùn)行時間上將隨輸入大小呈指數(shù)級增長。
也就是說，對于大小為 n 的規(guī)范 S，算法將需要 2 的 n 次冪個步驟來生成滿足 S 的程序。
因此，即使對于中等大小的輸入，PSPACE-complete 問題的算法也可能非常慢。
可以使用一種稱為完全量化布爾公式（fully quantified Boolean formulae，QBF）的一階邏輯形式作為規(guī)范語言，并詢問給定的公式是否能夠建模。
如果對象是生成程序，那么就是對程序進(jìn)行建模。然而，這個問題也是 PSPACE 完備的。所以結(jié)論是，對于具有一定復(fù)雜度的程序，其合成算法很可能需要不合理的資源。
「編程末日」尚未來臨
于是，計(jì)算機(jī)科學(xué)并沒有放棄程序合成的研究也就不足為奇了。Gulwani 曾對現(xiàn)有的程序綜合方法進(jìn)行了全面調(diào)查，而所有這些方法都有局限性。
一些程序綜合方法是近似的，無法構(gòu)建滿足完整規(guī)范的程序，比如靜態(tài)程序分析工具，而且這些工具一般只考慮特定的程序?qū)傩浴?/p>
另一些方法則需要大量內(nèi)存或大量時間才能構(gòu)建程序，比如使用 SMT 求解器的方法和基于類型的開發(fā)形式（例如基于 Hindley-Milner 類型系統(tǒng)的方法）。
還有一些方法只能在合理的資源限制或狹窄的問題域中進(jìn)行綜合，比如用于生成編譯器和解釋器的工具（正則表達(dá)式和屬性語法的使用允許、開發(fā)人員指定解釋器或編譯器的預(yù)期行為）。
所有這些方法從未被譽(yù)為「編程終結(jié)」的標(biāo)志，更不用說計(jì)算機(jī)科學(xué)的終結(jié)了！
所以，期望 ChatGPT 等類似的力量超越這些限制是不合理的。
事實(shí)上，任何在編程環(huán)境中使用過此類 AI 軟件的人都會看到，有時 AI 可以生成看起來正確合理的代碼，而有時則會產(chǎn)出無意義的程序。
這種行為并非巧合，因?yàn)?LLM 是在現(xiàn)有代碼上訓(xùn)練的。這意味著，無論生成什么代碼，都將反映聊天機(jī)器人在訓(xùn)練階段所接觸的編碼風(fēng)格。
所以，自然語言在軟件開發(fā)中的真正使用，在于軟件開發(fā)人員和軟件的最終用戶之間發(fā)生的探索性對話。LLM 可能會促進(jìn)這種對話，但取代編程還遙遙無期。
參考資料：
https://cacm.acm.org/opinion/on-program-synthesis-and-large-language-models/
本文來自微信公眾號：新智元（ID：AI_era）
廣告聲明：文內(nèi)含有的對外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。