
(賴先生要培訓50萬<AI人才>.建議應正名:<AI產業人才>或<運用AI人才>,畢竟目前的人不是<半人半人工的人>吧!)
一 100年前,一個小夥兒發現了『破解上帝』的『矩陣』 ,100年後,谷歌TPU vs 輝達GPU,一場『算力世界大戰』正在進行中,而上帝已然被關入了『矩陣』當中……|自說自話的總裁
https://www.youtube.com/watch?v=_-khWyBTVM4
ps.『破解上帝』的『矩陣』大約意思是: 我們根本無法能抓準電子轉到哪(只能說在哪裡哪裡各有多少機率,物理學家用數學矩陣來整體描述這件事!正確解釋請讀影片)
15:00 矩陣算力 與 圍棋
二.《Attention Is All You Need》 (只需要注意力機制) https://zh.wikipedia.org/zh-tw/Attention_Is_All_You_Need
改變 AI 歷史的 8 頁論文:一文讀懂《Attention Is All You Need》如何引爆 Google 與 OpenAI 的世紀對決
如果在人工智慧的歷史長河中,要選出一個「奇點」時刻,那毫無疑問是 2017 年 6 月 12 日。
這一天,Google Brain 團隊發表了一篇名為 《Attention Is All You Need》(只需要注意力機制) 的論文。當時,這看起來只是一篇關於改進「機器翻譯」的技術報告,但現在回過頭看,它無異於 AI 領域的「工業革命」。
如果沒有這篇論文,就沒有今天的 ChatGPT,沒有 Gemini,甚至不會有現在輝達(NVIDIA)的股價神話。
這篇文章將帶你了解:Transformer 究竟是什麼?他不是變形金剛,但它為何重要?以及它如何導致了今天 Google 與 OpenAI 的雙雄對決。
1. 它是什麼?從「讀死書」到「一目十行」
在 2017 年之前,AI 處理語言(例如翻譯或聊天)主要依賴一種叫做 RNN(遞歸神經網絡) 的架構。
RNN 運作的方式很像人類「逐字閱讀」:它必須讀完第一個字,記住它,再讀第二個字...依此類推。這帶來了兩個巨大的缺陷:
慢: 無法平行運算,因為後面一定要等前面讀完。
忘: 句子太長時,讀到結尾常會忘記開頭的細節(金魚腦)。
Transformer 的這篇論文,打破了這個限制。
這篇論文提出了一個驚人的概念:拋棄順序,擁抱「注意力(Attention)」。
Transformer 不需要逐字讀,它可以一次性把整篇文章「拍」進腦子裡,然後利用自注意力機制(Self-Attention),瞬間計算出文章中每一個字與其他所有字的關聯強度。
以前的 AI: 像是一個字一個字查字典的學生。
Transformer: 像是一個過目不忘的天才,一眼看完書頁,並瞬間理解錯綜復雜的人物關係。
2. 為什麼這篇論文如此重要?
它的重要性可以歸納為三個關鍵詞:並行、擴展、通用。
解放算力(並行性): 因為不需要按順序讀,Transformer 允許我們動用成千上萬顆 GPU 同時運算。這使得訓練超級巨大的模型(如擁有數千億參數的 GPT-4)成為可能。
數據的暴力美學(擴展性): 科學家發現,Transformer 架構是一個無底洞。只要你餵給它越多的數據、給它越大的算力,它就越聰明,幾乎看不到天花板。這開啟了「大模型時代」。
大一統理論(通用性): 原本它是用來翻譯文字的,但後來發現,把圖片切成塊、把聲音切成段,它照樣能處理。它成為了所有現代 AI 的通用骨架。
3. 分道揚鑣:Google 與 OpenAI 的不同選擇
這篇論文雖然誕生於 Google,但它卻意外地成為了 Google 最強大對手的武器。Transformer 的架構包含 Encoder(編碼器,負責理解) 和 Decoder(解碼器,負責生成) 兩部分,這導致了兩條不同的技術路線:
Google 的選擇:追求極致的「理解」 (BERT 路線)
Google 作為搜尋引擎霸主,它當時最在乎的是:「AI 能不能讀懂使用者的搜尋意圖?」
技術路線: Google 專注於 Transformer 的 Encoder(左半邊)。
代表作: BERT (2018)。
特點: BERT 像是「閱讀測驗滿分王」。它能雙向閱讀上下文,精準理解語意。這讓 Google Search 變得非常聰明,能看懂你像人類一樣說話的搜尋字串。
局限: Google 當時過於謹慎(受到「創新者的窘境」束縛),認為生成式 AI 會胡說八道,影響廣告收入和聲譽,因此將技術主要用於優化現有產品,而非推出聊天機器人。
OpenAI 的豪賭:追求極致的「生成」 (GPT 路線)
當時還只是非營利組織的 OpenAI,選擇了一條沒人看好的路。他們心想:「如果我們拿掉理解部分,只保留 Decoder(右半邊),讓 AI 瘋狂預測下一個字,會發生什麼事?」
技術路線: OpenAI 專注於 Transformer 的 Decoder(右半邊)。
代表作: GPT 系列 (Generative Pre-trained Transformer)。注意,GPT 的 "T" 就是 Transformer。
特點: GPT 像是「接龍大師」。起初它只會胡言亂語,但當 OpenAI 堅定地執行 Scaling Laws(擴展定律),不斷加大模型和數據後,奇蹟發生了——量變產生質變,AI 湧現出了邏輯推理能力。
結果: 2022 年底,ChatGPT 發布,震撼全球。OpenAI 用 Google 發明的架構,打敗了 Google
但是Google 並沒有認輸
在 ChatGPT 剛發布時,Google 內部亂成一團,CEO Sundar Pichai 發布了著名的「紅色警戒」,甚至緊急召回兩位創辦人(Larry Page 和 Sergey Brin)回來商討對策。
Google 主要用了三招**完成這場絕地大反攻:
第一招:終止內戰,合併最強大腦 (Google DeepMind)
在 ChatGPT 出現之前,Google 內部有兩個頂級 AI 團隊,而且這兩個團隊彼此不合,處於競爭關係:
Google Brain(發明 Transformer 的團隊,總部在美國)。
DeepMind(開發 AlphaGo 的團隊,被 Google 收購,總部在英國)。
這兩個團隊各自為政,資源分散。面對 OpenAI 的威脅,Google 高層做了一個痛苦但正確的決定:強制合併。
動作: 2023年 4 月,Google 宣布將這兩個團隊合併為 Google DeepMind。
關鍵人物: 由 AlphaGo 之父 Demis Hassabis 領軍。
效果: 結束了內耗,將所有的算力、數據和頂尖人才集中在一個目標上——打造出能超越 GPT-4 的模型(也就是後來的 Gemini)。
第二招:更先進的架構——原生多模態 (Native Multimodal)
OpenAI 的 GPT-4 雖然強大,但它本質上是一個「拼裝車」。
GPT-4 的運作: 它主要是一個文字模型。如果要看圖,它需要外掛一個視覺模組;如果要聽聲音,要外掛語音模組(Whisper)。這導致反應較慢,且模型之間會有資訊流失。
Google 決定不走老路,他們開發了 Gemini。
Gemini 的優勢: 它從訓練的第一天開始,就是同時吃文字、圖片、聲音、影片長大的。
影響: 這讓 Gemini 在處理「理解影片」、「看圖說話」以及「語音對話」時的流暢度與反應速度,在架構上比早期的 GPT-4 更具優勢。這也是為什麼 OpenAI 後來急著發布 GPT-4o(o 代表 omni,全能),就是為了回應 Gemini 的原生多模態架構。
第三招:暴力美學——無限的「上下文視窗」 (Context Window)
OpenAI 的策略: 專注於推理能力(腦子好),但記憶體有限(當時 GPT-4 大約能讀 128k token,約幾百頁書)。
Google 的突襲: 2024 年初,Google 發布 Gemini 1.5 Pro,直接將上下文視窗拉大到 100 萬 (1M) 甚至 200 萬 (2M) token。
這意味著什麼?
你可以把整套哈利波特、一小時的電影影片、或是幾萬行的程式碼庫,一次性丟給 Google Gemini。
它能在幾秒鐘內從這堆海量資料中找到一個細節。
這項技術突破(Ring Attention)讓 Google 在「處理巨量資訊」這個賽道上,瞬間甩開了 OpenAI 一大截。這逼得 OpenAI 必須重新審視他們的技術路線。
隱藏的大絕招:算力霸權 (TPU vs GPU)
除了軟體,Google 還有一個 OpenAI 沒有的底牌:自家晶片 TPU。
OpenAI 的痛點: 必須向 NVIDIA 買昂貴的 GPU,而且常常缺貨,還要被微軟抽成。
Google 的優勢: Google 早在十年前就開始研發 AI 專用晶片 TPU (Tensor Processing Unit)。
Google 所有的模型(Gemini)都是在自己的 TPU 上訓練的。
這意味著 Google 擁有更低的訓練成本、更快的迭代速度,而且不用看 NVIDIA 的臉色。
結果:現在的戰局
這場戰爭已經從 OpenAI 的「單方面屠殺」,變成了「恐怖平衡」。
OpenAI 的護城河: 他們依然在**「推理能力 (Reasoning)」**上領先,最近發布的 o1 (Strawberry) 模型證明了他們在邏輯思考、數學和程式設計上還是老大。
Google 的護城河: 他們在**「生態系結合」與「長文本處理」**上領先。現在你的 Gmail、Google Docs、Android 手機都直接內建 Gemini,這種「無所不在」的滲透力是 OpenAI 難以企及的。
為什麼取名Transformer?
1. 技術本質:數據型態的「轉換 (Transformation)」
在數學和程式碼的層面上,這個模型的核心工作就是不斷地**轉換(Transform)**數據的表示型態。
輸入階段: 一句話進來,原本只是普通的字(例如 "Apple")。
處理階段: 經過一層層的 Attention 機制,這個字的向量表示被不斷「轉換」。
第一層可能只知道它是個名詞。
第二層轉換後,結合上下文,知道它是「手機品牌」而不是「水果」。
第三層轉換後,加入了它與句子中其他字的文法關係。
結果: 模型將「輸入的序列」轉換成了帶有豐富語義的「特徵表示」,最後再轉換成「輸出的序列」(例如另一種語言)。
所以,它就是一個巨大的變換器(Transformer)。
2. 擺脫「翻譯 (Translation)」的框架
在 2017 年之前,這類模型通常被歸類為「機器翻譯模型」或 "Sequence-to-Sequence" 模型。
當時的作者之一 Jakob Uszkoreit 認為,雖然他們是用翻譯任務(英翻德)來寫論文,但這個架構的潛力遠不止於翻譯。
如果叫 "Translator",格局就小了。
叫 "Transformer",意味著它可以處理任何序列到序列的任務(後來也證實了,它能寫程式、畫圖、分析蛋白質結構)。
它暗示了一種通用性:給我任何輸入,我都能透過注意力機制,將其「變形/重組」成你想要的輸出。
3. 流行文化的梗(Optimus Prime)
當然,這群 Google 工程師絕對是故意的。
"Transformer" 這個詞在英語世界最直覺的聯想就是**《變形金剛》**。
這個名字聽起來強大、充滿未來感,而且容易記憶。
相比於學術界喜歡用的縮寫(如 LSTM, GRU, RNN),"Transformer" 是一個完整的單字,充滿力量。
這也導致後來 AI 界出現了很多用《變形金剛》角色命名的模型(例如 Google 後來推出的 BERT,雖然是芝麻街角色,但也開啟了用流行文化命名的風潮;百度的 Ernie 也是)。
總結
4. 結語:AI 時代的「蒸汽機」
《Attention Is All You Need》這篇論文的 8 位作者,後來幾乎都離開了 Google,創辦了自己的 AI 獨角獸公司(如 Cohere, Character.AI, Adept)。這象徵著這項技術的開枝散葉。
對於我們普通人來說,這篇論文的意義在於:它證明了**「通用的智慧」是可以透過簡單的結構加上龐大的算力被「計算」出來的**。
Google 發明了火種(Transformer)。
OpenAI 點燃了燎原大火(ChatGPT)。
而我們,正身處這場燃燒了整個科技世界的變革之中。
今天,無論你是在用 ChatGPT 寫信,還是用 Gemini 分析財報,在這個對話框背後,默默運轉的依然是 2017 年那個關於「注意力」的偉大構想。 https://www.google.com/search?q=&sourceid=chrome&ie=UTF-8&udm=50&aep=48&cud=0&qsubts=1769289419637 (萬法惟新造)
三.光點矩陣
美國有幾組人在研究大腳怪(他可隱形大約被確認了,龍樹菩薩可隱形.孫儲琳跟他兒子可穿牆之可信度蠻高,另外,上千組在探索鬼魂,箇中尖端科技都出籠了,而最近在阿拉斯加的進度是,他們有一組<光點矩陣投射機器>,竟然測到矩陣被凹陷,光線竟然被彎曲(人類是近百年前日蝕時,才應證光線可被重力扭曲)顯然,大腳怪自備某種時空場域 !
四. 謙虛的 AI
當我們一直嘲笑 AI,AI竟然對獅子公母也沒百分百保握,再過一陣子他就會哈哈大笑!華人被制約350年,連累AI搞笑四年...
問 :廟前公母獅之別
AI答 : 傳統廟宇門口的石獅子,通常遵循「左雄右雌」的布局(以石獅面向門外視角為準),可從其腳下的動作或物品來分辨公母:
公獅(位於左側): 腳下踩著一個「繡球」。這象徵著權力、威望以及「圓滿」與「求財」 [1, 2]。
母獅(位於右側): 腳下踩著一隻「小獅子」。這象徵著子孫綿延、家庭和睦以及母儀天下 [1, 3]。
此外,公獅通常張嘴(象徵招財、氣勢),而母獅有時會閉嘴或嘴型較含蓄(象徵守財、內斂),但在現代雕刻中,為了對稱美觀,常可見到兩者皆張嘴的設計 [2, 4]。
AI 可能會出錯,請自行查證回覆內容 (這版的AI比較謙虛)
五.臉書的 manus開始提供簡報.網站等等的製作
https://manus.im/?utm_source=google&utm_medium=&utm_campaign=23348942309&utm_content=191532212364&utm_term=ai&cid=7296735399&adgroupid=191532212364&matchtype=e&placement=&device=c&devicemodel=&network=g&gclid=Cj0KCQiAm9fLBhCQARIsAJoNOcvs4JH-THOrb0LufsR9visIhZHP35NMnVOl-KcYcR6fk-drT8s-yWEaAhfOEALw_wcB&gbraid=0AAAABB8nEWNBrZuyYiXpjJgRPB_mKrtDj&wbraid=CkAKCAiA-NHLBhAFEjAAcCzIPCGV3MK7IBWwYquYlnhXO_TS9crA9UOfLsEj6inOo10hShESiggvjofMotIaAksd&creative=787757139560&adid=&gad_source=1&gad_campaignid=23348942309&gbraid=0AAAABB8nEWNBrZuyYiXpjJgRPB_mKrtDj&gclid=Cj0KCQiAm9fLBhCQARIsAJoNOcvs4JH-THOrb0LufsR9visIhZHP35NMnVOl-KcYcR6fk-drT8s-yWEaAhfOEALw_wcB
六.終極AI
(一)會不會背叛人類
電影有AI會自覺主動殺害統治人類,但是,所有未來人都沒提到.
(二)AI執行國父思想
AI有能!
人類有權!
果剋星星球是由全能機器AI服務星球,重大決定由長老會議決定.
https://www.facebook.com/groups/105644189473011/posts/24602689522675137/
天天開心