機器之心報道
編輯:澤南、張倩
數數每天幾個小時?
為什麼是 OpenAI 率先打造出了 Sora?
現在全世界不論研究員、工程師還是投資人都在問這個問題。
最近幾天,人們對於影片大模型 Sora 的討論熱度持續升高,資訊早已破了圈,相關的投資熱點都已經出現了兩輪。
Sora 生成的「Flower tiger」影片。試問這種生成能力會催生多少新腦洞?
在一篇文章中,加州大學伯克利分校計算機科學博士、知乎作者 @SIY.Z 分析了 OpenAI 成功的一些原因,包括:
- 目標和商業模式明確:目標就是 all in AGI,一切研究圍繞著探索通往 AGI 的路徑;商業模式就是 SaaS,直接給 API。
- 方法論明確:包括 The bitter lesson(源自 Rich Sutton 的經典文章《苦澀的教訓》,核心觀點是:人工智慧如果想要長期獲得提升,利用計算能力才是王道)、Scaling Law、Emerging properties 等。
@SIY.Z 總結說,「OpenAI 採取的商業模式以及其對於 AGI 的信奉、系統性的方法論以及積極的嘗試,都在推動他們朝著實現通用人工智慧的目標前進,實現了一種可以跑通所有 AGI 技術棧的模式,而這一點,是 OpenAI 能在眾多研究機構和公司中脫穎而出的重要因素。」詳情請參見知乎原貼。
知乎原貼地址:https://www.zhihu.com/question/644486081/answer/3398751210?utm_psn=1743584603837992961
除此之外,我們知道,人才的聚集也是 OpenAI 成功的一個重要因素。這些人才在 OpenAI 是怎麼工作的?天才們是不是不需要花多大力氣就能做出 ChatGPT、Sora 這種領先的技術成果?答案似乎是否定的。
今天凌晨,OpenAI 研究人員 Jason Wei 自曝的每日工作時間線在社交網路上被瘋傳。
Jason Wei 本科畢業後加入谷歌,還以一作身份寫出了「思維鏈」的開山之作,現在在 OpenAI 參與打造 ChatGPT。
我們按時間順序來看一下這個作息表。
早上看起來很正常:
- 9 點起床;
- 9 點半乘 Waymo 無人駕駛車去公司,然後吃點牛油果吐司當早飯;
- 9 點 45:背誦 OpenAI 章程(核心是確保通用人工智慧造福全人類),向最最佳化的神禱告,學習《苦澀的教訓》;
- 10 點用 Google Meet 開會,討論怎麼在更多資料上訓練更大的模型;
- 11 點寫程式碼,用來在更多資料上訓練更大的模型;
- 12 點去食堂吃午飯(素食,無麩質);
下午開始增加工作強度:
- 1 點繼續訓練模型;
- 2 點除錯基礎設施問題;
- 3 點監控模型訓練,順便玩一下 Sora;
- 4 點對前面提到的訓練的模型進行提示工程;
- 4 點半休息一下,坐在牛油果椅子上,想知道 Gemini Ultra 到底有多好;
- 5 點進行頭腦風暴,思考改進模型的潛在演算法;
- 5 點 05 得出結論:改變演算法風險太大,只擴充套件計算和資料更安全;
- 6 點吃晚飯;
- 7 點通勤回家。
然後和很多人一樣,夜幕降臨,生產力最高的時間段來了:
- 8 點喝杯酒,繼續寫程式碼,此時達到鮑爾默峰值(傳說中微軟在 80 年代末發現的定律,即程式設計師在血液酒精濃度在 0.129%~0.138% 時會產生超人的程式設計能力);
- 9 點:分析實驗執行;
- 10 點:開始實驗,讓其整晚執行,第二天早上拿結果;
- 凌晨 1 點:真正開始執行實驗;
- 1 點 15 就寢。默唸「Compression is all you need」。
資訊量很足,除了學 CEO 奧特曼吃素、揶揄 Teams 不好用之外,看來 OpenAI 的工程師們也極為關心自己競爭對手的動向。
Meta FAIR 研究院研究員、高階經理田淵棟看完以後表示:都說國外沒有 996,其實真正可怕的是自我驅動的卷。
上週末,DiT 論文作者之一的謝賽寧在闢謠自己不是 Sora 作者的同時,也透露了一點專案領頭人 William (Bill) Peebles 等人在打造 Sora 時工作強度的資訊:
「每天基本不睡覺高強度工作了一年。」
上週三,已經二進宮 OpenAI 的知名 AI 學者 Andrej Karpathy 再次宣佈離職,這次只待了一年。雖然他表示「沒發生什麼特別的事情」,不過在第二天又秀了一下日程表:
讓人感覺到溢位螢幕的輕鬆。
只有產品上線之前的一線工程師才這樣嗎?並不是。引爆了生成式 AI 的 ChatGPT 專案雖然人數眾多,但從上到下都卷得令人生畏。在去年 OpenAI 風頭壓得谷歌等公司喘不過來氣的時候,這家公司的信任與安全主管 Dave Willner 卻在領英上自宣辭職,原因就是「太捲了」。
Willner 在 7 月 20 日釋出的一個帖子上表示,將辭去 OpenAI 高管職務,優先考慮工作與生活的平衡,辭職是一個「相當容易做出的選擇」。
他表示,雖然領導 OpenAI 安全專案的工作是「當今最酷、最有趣的工作之一」,但自從 2022 年 2 月加入該公司以來,他的工作範圍和規模大幅增長。自從 ChatGPT 推出以來,將家庭需求置於工作之上已變得越來越困難。
Willner 的宣告得到了同行們的一致支援,包括那些在 Meta、谷歌和 AirBnb 擔任管理職務的人,評論者們認為 Willner 辭職的選擇明智且鼓舞人心,並表示他勇敢地公開了自己不斷變化的優先事項。
隨後的故事我們已經知道了:谷歌 Gemini 繼續追趕,上個星期,Sora 再次擴大了 OpenAI 的領先優勢。
看起來,天下沒有免費的午餐。
選對方向,堅持信念,向著 AGI 的目標前進,OpenAI 這些年的起起伏伏向我們生動展示了一家前沿研究機構該有的樣子。
參考內容:
https://twitter.com/_jasonwei/status/1760032264120041684
https://twitter.com/minchoi/status/1759932670782410880
https://www.businessinsider.com/open-ai-sam-altman-daily-routine-schedule-for-productivity-2024-1
https://www.businessinsider.com/openai-chatgpt-exec-resigns-work-life-balance-time-with-kids-2023-7