微信
手機版
Datawhale干貨
(資料圖)
作者：平凡@知乎，諾桑比亞大學，在讀博士
今天晚上，花了一點兒時間看了兩篇文章：
《Emergent Abilities of Large Language Models》[1]
《PROGRESS MEASURES FOR GROKKING VIA MECHANISTIC INTERPRETABILITY》[2]
這兩篇講的都是emergent behavior，即涌現現象。
大規模神經網絡下的涌現現象在機器學習中使用大規模神經網絡時，由于增加了參數數量、訓練數據或訓練步驟等因素，出現了定性上的新能力和性質，這些能力和性質在小規模神經網絡中往往是不存在的。
第一篇文章舉了這個例子，每個圖都可以理解為一個任務，橫軸是神經網絡的規模，而縱軸是準確率，可以理解為模型的性能。
我們拿圖一來看，在10的22次方前，這些模型基本上的性能基本上都很穩定在0附近，而在10的22以后，突然在10的24次方上獲得了很大的性能提升，在其他的幾個任務上都表現出類似的特征。
意想不到的效果第二篇文章更是有趣，我直接把推特一位博主的評論引用在這里：
作者發現，當我們訓練用網絡計算同余加法 a+b = ? (mod c) 時，網絡在某個時間突然獲得了 100% 準確率。分析發現，神經網絡實際上“頓悟”了使用傅立葉變換來計算同余加法！這個算法可以證明是正確的， 反人類直覺的。
從這倆例子里面我的感受是，只要數據量足夠且真實，且模型沒有硬錯誤的前提下，不斷的訓練說不定真的能夠產生一些意想不到的效果。
還有就是我覺得人類現在積累的知識并不少，但是系統的少，零星的多，如果類似ChatGPT這樣的大模型可以拿所有的人類已有知識進行不斷學習的話，我覺得有很大概率會讓它涌現出意想不到的能力。
甚至可能把人類的生產力解放提前很多。
參考
1.https://arxiv.org/pdf/2206.07682.pdf2.https://arxiv.org/pdf/2301.05217.pdf相關推薦
- (2023-05-28)【天天報資訊】大語言模型中的涌現現象是不是偽科學？
- (2023-05-28)實控人疑轉移資產 控股股東因6000萬債務遭遇平倉風險 鴻博股份實控權還穩定嗎？
- (2023-05-28)英冠比賽情況 伯恩利、謝菲聯、盧頓升英超 微頭條
- (2023-05-28)【全球快播報】公司事件點評：擬收購浙江盛和少數股權，提振公司盈利能力
- (2023-05-28)天天報道:魔獸世界瓦塔拉克公爵在哪（wow懷舊服瓦塔拉克公爵掉落介紹）
- (2023-05-28)“只想好好吃個飯，為啥非要我掃碼點餐？”
- (2023-05-28)英諾特董事在外兼職隱而未宣 經銷商客戶控制權或“露馬腳”
- (2023-05-28)頭條：象州縣氣象臺發布雷電黃色預警信號【III級/較重】【2023-05-27】
- (2023-05-28)白宮：如果宣布政府債務違約 美國股市將暴跌45%-全球快報
- (2023-05-28)“天街”雨霽_環球快資訊
- (2023-05-28)踔厲奮發新時代 歡慶六一向未來-環球短訊
- (2023-05-28)德甲-科曼破門穆西亞拉絕殺 拜仁2-1科隆豪取11連冠
- (2023-05-28)moto razr 40跑分曝光 或搭載驍龍7系芯片更加省電
- (2023-05-28)當前熱文：關于吳亦凡父親曝光 吳亦凡生父是誰個人資料背景照片的相關信息
- (2023-05-28)我國科技成果轉化規模顯著提升-環球速看料
- (2023-05-28)世界頭條：中超第十輪，大連人迎戰天津津門虎，讓原力覺醒，戰斗大連隊！
- (2023-05-28)董潔這次的松弛感穿搭，普通身材也好穿 焦點
- (2023-05-28)即時：車企內斗，害慘了投資者！
- (2023-05-28)當前短訊！陶慕寧父親（陶慕寧）
- (2023-05-28)【全球播資訊】第一人稱代入，我是劉備，但我從來不慌
- (2023-05-28)男人40歲酒桌4忌
- (2023-05-28)氣缸型號大全圖_氣缸型號大全|天天要聞
- (2023-05-28)觀點：實驗室有一群讓DNA作證的“白大褂”民警
- (2023-05-28)每日信息：14年前，北京石景山曾出土一具龍袍干尸，他是何方神圣？
- (2023-05-28)每日短訊：廣西健康信息惠民平臺登錄_廣西健康信息惠民平臺
- (2023-05-28)消息！同星科技：公司相關產品有應用于數據中心及服務器
- (2023-05-28)江西南昌一地演出彩排舞臺背景屏倒塌，9名幼兒被砸傷送醫|全球短訊
- (2023-05-28)全球看點：佩斯科夫：西方對烏克蘭沖突的參與不斷增加 特別軍事行動將繼續
- (2023-05-27)黑巧克力牛奶豆包裝袋摩擦分頁貼標機-專業貼標機生產廠家
- (2023-05-27)全球微資訊！396名越南游客乘專列“打卡”廣西柳州嘗鮮螺螄粉
返回首頁每日推薦
- ETF聯接基金是什么意思？ETF基金和ETF聯
- 貨幣基金的收益高嗎？貨幣基金一般年收益
- 基金賣出了怎么還有收益顯示？基金已經贖
- 投資的基金買了幾天可以賣掉？基金入手多
- 基金終于回本了該不該贖回？基金終于回本
- 二月出境復飛航線超40條 節后部分機票價
- 重大事項變更！網易寶獲批增加注冊資本至
- 信達證券上市首日漲幅44%
- 總投資約486億元 北京今年首批50個重大
- 新年北京首月二手住宅網簽量再探底 價格
- 股價大漲 博云新材股東高創投擬趁機減持
- 2019華人歌曲音樂盛典在澳門舉行
- 喜迎十九大?歡度中秋節—傳統文化進社區
- 突發！吳敏霞夫婦挑婚戒被曝光！兩百萬鉆
- 《鐘山說事》 熱點聚焦：胡鵬飛的最美鄉
- 湖南御福天益生物公司被指涉嫌傳銷進行非
- 大同市城投公司劉建婷遭群眾舉報
- 魯能集團 “一帶一路”履責行動暨“海南
圖片新聞
ETF聯接基金是什么意思？ETF基金和ETF聯接基金區別有哪些？
貨幣基金的收益高嗎？貨幣基金一般年收益率多少？
基金賣出了怎么還有收益顯示？基金已經贖回為什么還有收益？
投資的基金買了幾天可以賣掉？基金入手多久才可以賣？
二月出境復飛航線超40條 節后部分機票價格跳水
48小時頻道點擊排行
-
0
1【天天報資訊】大語言模型中的涌現現 -
0
2天天報道:魔獸世界瓦塔拉克公爵在哪 -
0
3白宮：如果宣布政府債務違約 美國股 -
0
4德甲-科曼破門穆西亞拉絕殺 拜仁2-1 -
0
5當前熱文：關于吳亦凡父親曝光 吳亦 -
0
6董潔這次的松弛感穿搭，普通身材也好 -
0
7【全球播資訊】第一人稱代入，我是劉 -
0
8觀點：實驗室有一群讓DNA作證的“白 -
0
9消息！同星科技：公司相關產品有應用 -
0
10黑巧克力牛奶豆包裝袋摩擦分頁貼標機 -
0
112022夜視攝像機十大品牌排行榜_夜視 -
0
12四個炸雞腿有多少卡路里? -
0
13《小美人魚》內地首日票房370萬，創 -
0
14輝芒微沖刺深交所：年營收4.8億 許 -
0
15全球熱點評！疊被子步驟(疊被子步驟 -
0
16微速訊：類風濕關節炎的診斷標準最新 -
0
17每日快訊!螞蟻集團啟動“漢字拾光計 -
0
18中上協宋志平：探索金融創新服務實體 -
0
19全球簡訊:信任的重要性是什么（信任 -
0
20國家統計局解讀：4月份工業企業利潤