ChatGPT-4 來了

ChatGPT-3.5發布的熱潮尚未退去，令人震撼的GPT-4就在日前推出了。然后，3月16日，百度也正式發布了大語言模型、生成式AI產品“文心一言”。

OpenAI老板Sam Altman直接開門見山地介紹說：這是我們迄今為止功能最強大的模型！

拍一張照片上傳給GPT-4，它就可以立馬生成網站的HTML代碼！

在性能表現上，OpenAI直接甩出一句話：在各種專業和學術基準上和人類相當！

正如之前傳言，GPT-4確實擁有多模態能力，可以接受圖像輸入并理解圖像內容。并且可接受的文字輸入長度也增加到3.2萬個token（約2.4萬單詞）。

升級之后，GPT-4在各種職業和學術考試上表現和人類水平相當。它以高分通過各種標準化考試：SAT拿下700分，GRE幾乎滿分，邏輯能力吊打GPT-3.5。

人工智能歷史

人工智能已成為新一代信息時代的核心技術，廣泛應用于多個領域，為數字經濟的發展和產業數字化轉型提供了底層支撐，并在各種應用場景中發揮著至關重要的作用。其中，最常見的應用場景包括自然語言處理、計算機視覺、推薦系統、預測分析等。過去十年來，人工智能技術在持續提高和改進，并不斷沖擊著人類的認知。

2012年，在ImageNet圖像識別挑戰賽中，一種神經網絡模型（AlexNet）首次展現了明顯超越傳統方法的能力。

2016年，AlphaGo在圍棋這一當時人們認為其復雜性很難被人工智能系統模擬的中國圍棋挑戰賽中戰勝了世界冠軍。

2017年，Google的Ashish Vaswani等人提出了 Transformer 深度學習新模型架構，奠定了當前大模型領域主流的算法架構基礎。

2018年，谷歌提出了大規模預訓練語言模型 BERT，該模型是基于 Transformer 的雙向預訓練模型，其模型參數首次超過了3億（BERT-Large約有3.4個參數）；同年，OpenAI提出了生成式預訓練 Transformer 模型——GPT，大大地推動了自然語言處理領域的發展。

2018年，人工智能團隊OpenAI Five戰勝了世界頂級的Dota 2人類隊伍，人工智能在復雜任務領域樹立了一個新的里程碑；此后在2018年底，Google DeepMind團隊提出的AlphaFold以前所未有的準確度成功預測了人類蛋白質結構，突破了人們對人工智能在生物學領域的應用的想象。

2019年，一種人工智能系統AlphaStar在2019年擊敗了世界頂級的StarCraft II人類選手，為人工智能在復雜任務領域的未來發展提供了有力的證明和支持。

2020年，隨著OpenAI GPT-3模型（模型參數約1750億）的問世，在眾多自然語言處理任務中，人工智能均表現出超過人類平均水平的能力。

2021年1月，Google Brain提出了Switch Transformer模型，以高達1.6萬億的參數量成為史上首個萬億級語言模型；同年12月，谷歌還提出了1.2億參數的通用稀疏模型GLaM，在多個小樣本學習任務的性能超過GPT-3。

2022年2月，人工智能生成內容（AIGC）技術被《MIT Technology Review》評選為2022年全球突破性技術之一。同年8月，Stability AI開源了文字轉圖像的Stable Diffusion模型。也是在8月，藝術家杰森·艾倫（Jason Allen）利用AI工具制作的繪畫作品《太空歌劇院》（Théatre D’opéra Spatial），榮獲美國科羅拉多州藝術博覽會藝術競賽冠軍，相關技術于年底入選全球知名期刊《Science》年度科技突破（Breakthrough of the Year 2022）第2名。

chatGPT 歷史

2017年，谷歌大腦團隊（Google Brain）在神經信息處理系統大會（NeurIPS，該會議為機器學習與人工智能領域的頂級學術會議）發表了一篇名為“Attention is all you need”（自我注意力是你所需要的全部）的論文[1]。作者在文中首次提出了基于自我注意力機制（self-attention）的變換器（transformer）模型，并首次將其用于理解人類的語言，即自然語言處理。

Transformer模型自誕生的那一刻起，就深刻地影響了接下來幾年人工智能領域的發展軌跡。短短的幾年里，該模型的影響已經遍布人工智能的各個領域——從各種各樣的自然語言模型、到預測蛋白質結構的AlphaFold2模型，用的都是它。

2015年12月，OpenAI公司美國舊金山成立。特斯拉的創始人馬斯克也是該公司創始人之一，為公司早期提供了資金支持（后來他從該公司退出，但保留了金主身份，并未撤資）。成立早期，OpenAI是一家非營利組織，以研發對人類社會有益、友好的人工智能技術為使命。2019年，OpenAI改變了其性質，宣布成為營利機構，這個改變與Transformer模型不無相關。

2018年，在Transformer模型誕生還不到一年的時候，OpenAI公司發表了論文“Improving Language Understanding by Generative Pre-training”（用創造型預訓練提高模型的語言理解力），推出了具有1.17億個參數的GPT-1（Generative Pre-training Transformers, 創造型預訓練變換器）模型。這是一個用大量數據訓練好的基于Transformer結構的模型。他們使用了經典的大型書籍文本數據集（BookCorpus）進行模型預訓練。該數據集包含超過7000本從未出版的書，類型涵蓋了冒險、奇幻、言情等類別。在預訓練之后，作者針對四種不同的語言場景、使用不同的特定數據集對模型進行進一步的訓練（又稱為微調，fine-tuning）。最終訓練所得的模型在問答、文本相似性評估、語義蘊含判定、以及文本分類這四種語言場景，都取得了比基礎Transformer模型更優的結果，成為了新的業內第一。

2019年，該公司公布了一個具有15億個參數的模型：GPT-2。該模型架構與GPT-1原理相同，主要區別是GPT-2的規模更大（10倍）。同時，他們發表了介紹這個模型的論文“Language Models are Unsupervised Multitask Learners” （語言模型是無監督的多任務學習者）[3]。在這項工作中，他們使用了自己收集的以網頁文字信息為主的新的數據集。不出意料，GPT-2模型刷新了大型語言模型在多項語言場景的評分記錄。在文中，他們提供了GPT-2模型回答新問題（模型訓練數據中未出現過的問題及其答案）的結果。

2020年，這個創業團隊再次戰勝自己，發表論文“Language Models are Few-Shot Learner”（語言模型是小樣本學習者）[4]，并推出了最新的GPT-3模型——它有1750億個參數。GPT-3模型架構與GPT-2沒有本質區別，除了規模大了整整兩個數量級以外。GPT-3的訓練集也比前兩款GPT模型要大得多：經過基礎過濾的全網頁爬蟲數據集（4290億個詞符）、維基百科文章（30億詞符）、兩個不同的書籍數據集（一共670億詞符）。

由于巨大的參數數目以及訓練所需數據集規模，訓練一個GPT-3模型保守估計需要五百萬美元至兩千萬美元不等——如果用于訓練的GPU越多，成本越高，時間越短；反之亦然?？梢哉f，這個數量級的大型語言模型已經不是普通學者、一般個人能負擔得起研究項目了。面對如此龐大的GPT-3模型，用戶可以僅提供小樣本的提示語、或者完全不提供提示而直接詢問，就能獲得符合要求的高質量答案。小樣本提示是指用戶在提問時先給模型提供幾個例子，然后再提出自己的語言任務（翻譯、創作文本、回答問題等）。

GPT-3模型面世時，未提供廣泛的用戶交互界面，并且要求用戶提交申請、申請批準后才能注冊，所以直接體驗過GPT-3模型的人數并不多。根據體驗過的人們在網上分享的體驗，我們可以知道GPT-3可以根據簡單的提示自動生成完整的、文從字順的長文章，讓人幾乎不能相信這是機器的作品。GPT-3還會寫程序代碼、創作菜譜等幾乎所有的文本創作類的任務。早期測試結束后，OpenAI公司對GPT-3模型進行了商業化：付費用戶可以通過應用程序接口（API）連上GPT-3，使用該模型完成所需語言任務。2020年9月，微軟公司獲得了GPT-3模型的獨占許可，意味著微軟公司可以獨家接觸到GPT-3的源代碼。該獨占許可不影響付費用戶通過API繼續使用GPT-3模型。

2022年3月，OpenAI再次發表論文“Training language models to follow instructions with human feedback”（結合人類反饋信息來訓練語言模型使其能理解指令），并推出了他們基于GPT-3模型并進行了進一步的微調的InstructGPT模型。InstructGPT的模型訓練中加入了人類的評價和反饋數據，而不僅僅是事先準備好的數據集。

GPT-3公測期間用戶提供了大量的對話和提示語數據，而OpenAI公司內部的數據標記團隊也生成了不少人工標記數據集。這些標注過的數據（labelled data），可以幫助模型在直接學習數據的同時學習人類對這些數據的標記（例如某些句子、詞組是不好的，應盡量少使用）。

OpenAI公司第一步先用這些數據對GPT-3用監督式訓練（supervised learning）進行了微調。

在今年神經信息處理系統大會會議期間，OpenAI公司在社交網絡上向世界宣布他們最新的大型語言預訓練模型：ChatGPT。

與InstructGPT模型類似，ChatGPT是OpenAI對GPT-3模型（又稱為GPT-3.5）微調后開發出來的對話機器人。OpenAI官網信息顯示，ChatGPT模型與InstructGPT模型是姐妹模型。由于最大的InstructGPT模型的參數數目為1750億（與GPT-3模型相同），所以有理由相信ChatGPT參數量也是在這個數量級。但是，根據文獻，在對話任務上表現最優的InstructGPT模型的參數數目為15億，所以ChatGPT的參數量也有可能相當。

自美國時間12月2日上線以來，ChatGPT已經擁有超過一百萬的用戶。用戶們在社交媒體上曬出來的對話例子表明ChatGPT這款模型與GPT-3類似，能完成包括寫代碼，修bug（代碼改錯），翻譯文獻，寫小說，寫商業文案，創作菜譜，做作業，評價作業等一系列常見文字輸出型任務。ChatGPT比GPT-3的更優秀的一點在于，前者在回答時更像是在與你對話，而后者更善于產出長文章，欠缺口語化的表達。有人利用ChatGPT與客服對話，要回了多交了的款項（這或許意味著ChatGPT在某種意義上通過了圖靈測試），或許ChatGPT能成為社恐人士的好伙伴。

chatGPT進入公眾視野后，我們可以看到他在社會面的一些應用進展，例如ChatGPT通過谷歌L3入職面試，獲得年薪為18萬美元的offer；ChatGPT碾壓阿里二面面試官，并拿到offer；ChatGPT 參加美國醫生執照的三項考試，考試成績可以達到或接近及格通過水平；ChatGPT 在法律領域的表現甚至更加優秀，研究人員發現，ChatGPT 可以取得美國多州律師考試的及格分數；毫末智行準備將ChatGPT應用于自動駕駛；ChatGPT上線微軟搜索引擎Bing，微軟市值一夜飆漲5450億;《時代》專訪ChatGPT；89%的美國大學生用ChatGPT寫作業，甚至拿下論文最高分；美團網創始人王慧文自掏5000萬美元，下場組隊研發ChatGPT；以色列總統使用ChatGPT寫的演講稿騙過現場2萬聽眾等等。這說明了ChatGPT對于消費者來說是多么有趣和實用。

ChatGPT 團隊

ChatGPT項目團隊不足百人，其中有6人畢業于中國高校

近日，智譜研究聯合 AMiner 發布的《ChatGPT 團隊背景研究報告》顯示，該團隊規模不足百人，平均年齡為32歲，“90后”是主力軍。團隊中，共有9名華人，其中5人在中國內陸高校讀完了本科。值得注意的是，團隊并不一味強調高學歷，其成員并非“清一色”的研究生學歷，而是本、碩、博人數相對均衡?？傮w上看，OpenAI的顯著特征是成員年紀很輕，華人員工搶眼；學歷背景豪華，同時崇尚創業；業務聚焦技術，而且積累深厚。

根據OpenAI官網顯示，這是一家致力于人工智能研究的非營利機構，團隊規模僅87人。其中包含公司聯合創始人Wojciech Zaremba在內，共有研發人員共77人，占比達到88%；另外還有4人產品人員，和6名其他崗位人員。團隊中，華人員工共有9人。

在團隊年齡構成上，20至29歲的成員有28人，占全體成員的34%；30至39歲的共50人，占61%；40至49歲的3人，無50至59歲年齡段的成員，60歲以上的有1人。經計算，該團隊平均年齡為32歲。

由此可見，“90后”是ChatGPT團隊的主力軍。這些在業內還經常被認為是研發經驗不足的年輕人，事實上完全可以在前沿科技領域取得重大突破，并且引領了當前的大模型技術的創新風潮。

人工智能技術雖然專業性極強，但在ChatGPT團隊并非“清一色”研究生學歷，而是本、碩、博人數相對均衡。統計顯示，團隊中本科學歷有27人，25人為碩士研究生學歷，28 人擁有博士研究生學歷，占比分別為33%、30%、37%。

從團隊成員畢業高校分布看，斯坦福大學校友最多，共14人；其次是加州大學伯克利分校，共10人；第三是麻省理工學院，共7人；清華大學與卡內基梅隆大學并列第7名，各有3人。

值得注意的是，團隊中有6人曾畢業于中國高校，其中5人本科就讀于在中國內陸高校。他們中有3人本科畢業于清華大學，各有1人本科畢業于華中科技大學、北京大學/香港大學，1人碩士研究生畢業于臺灣交通大學。他們在中國的頂尖高校本科畢業后就赴海外深造，獲得碩士或博士學位，然后加入當地的創新型公司。

重要技術貢獻者僅11人

ChatGPT是OpenAI在大型語言模型領域多年技術積累的結果。

報告顯示，與ChatGPT相關的先前關鍵技術項目有RLHF（Reinforcement Learning from Human Feedbac，人類反饋強化學習）、GPT1、GPT2、 GPT3、CodeX、InstructGPT、webGPT等7項。

統計發現，ChatGPT項目的相對重要的貢獻者有11人，其中有2人參與了其中4項關鍵技術項目的研發，另有9人參加了其中的3個關鍵技術項目研發。值得注意的是，華人歐陽龍是InstructGPT論文的第一作者，也是RLHF論文的第二作者，為這兩個關鍵技術項目的核心人員。

在上述7大技術項目中，ChatGPT團隊成員參與人數最多的是CodeX項目，共有22人，占總團隊人員總數的25%；其次是webGPT和instructGPT，共有9人；第三是GPT3，共有6人?？梢?，ChatGPT團隊成員在生成式預訓練語音模型領域有較深厚的技術積累，四分之一的團隊成員曾參與過同樣基于GPT3的CodeX項目的研發經驗，這為研發ChatGPT打下了堅實基礎。

ChatGPT 會不會導致底層程序員失業？

一般有三種類型的人群，都各種有自己的看法，我們來看下各位大佬們都是怎么看待ChatGPT對未來程序員行業的影響與沖擊的！最后一位就是chatGPT自己。

第一類：樂觀派

樂觀派認為ChatGPT不會導致底層程序員失業！

群友：我的答案是不會。因為ChatGPT是自然語言的處理工具，而并非編程AI，ChatGPT只是會一些編程，在目前ChatGPT寫的代碼還有比較明顯的問題，且由于ChatGPT是語言AI，所以后續大概率不會向編寫代碼的方向去迭代，所以ChatGPT不會造成程序員失業。

群友：不會。程序員的核心不在于實現一個功能甚至不在于寫出代碼，而在于編碼思維。編碼思維這個東西包含了結構化思維、推演邏輯、算法、數學、架構、工作經驗等等。是一個極其復雜的事物。ChatGPT的確可以給出特定問題的解法，但應用到具體的環境，具體的問題還是需要人去解決的。

群友：不管是之前就有的 Copilot 還是最近剛發布的 ChatGPT，其主要目的都是為提高生產效率。這里不存在導致“底層程序員失業”，如果對效率有大幅提升，但是市場又沒有大幅增長的時候，可能會導致整體程序員的失業率上升，不會只是針對底層的。

第二類：悲觀派

群友：我覺得不止是程序員，配合物聯網和機器人，絕大多數工作都會被取代。再進一步想，99.99%的人類都會被取代。

群友：不止是程序員，以語言，邏輯，想象力和社會學為基礎的職業都可能被取代，比如甚至律師。這玩意能給你起草法律文件。目前有些問題會給你報錯，但你多調戲一會，換著方子問，它什么都會告訴你。

群友：反正我用google的頻率已經大幅下跌，項目報告的矯正也全部都用它，它還能提供少量工程設計思路。再讓它迭兩代，google很有可能會遇到目前Meta的情況。不過已經有議員和律師提議禁止Chatgpt的使用了，因為會威脅到太多人。

第三類：中立派

以chatGPT自身為代表，看看它自己是如何回答的：

ChatGPT是一種基于自然語言生成的人工智能技術，它主要用于自動回復聊天內容。它的出現可能會對底層程序員造成一定的影響,但不會導致底層程序員失業。

首先，ChatGPT的出現會提高聊天應用的自動化水平，使其能夠快速有效地回復用戶的消息。這可能會對一些簡單的聊天應用程序開發工作造成沖擊，但并不會導致底層程序員失業

其次，ChatGPT本身也需要程序員進行開發和維護。它的出現可能會對一些人工智能程序員造成沖擊，但也會為他們帶來新的工作機會。

總的來說，ChatGPT的出現會提高聊天應用的自動化水平，但不會導致底層程序員失業。它的出現可能會帶來新的工作機會，并對一些程序員造成沖擊，但最終會有利于整個行業的發展。

你怎么看待ChatGPT對行業的影響呢？

智城外包云平臺

智城外包網，連接企業軟件開發需求與專業軟件開發團隊。幫助伙伴一起成長！

全流程在線操作，全流程在線工作，全流程在線保障

十年誠信運營，可信實名認證

微信公眾號：智城外包網