宣稱性能比業界強4倍，阿里下海做AI晶片卻不賣，有何心機？

阿里巴巴這個月推出了自家的人工智慧推論晶片（AI Inference Chip），以達摩院（編按：阿里內部研究機構）開發的圖像辨識演算法，搭配由集團子公司平頭哥設計的硬體架構，命名為「含光 800 」，這款產品跟 Google 先前的 AI 加速晶片 TPU 及亞馬遜的 Infernishia 這類的 AI 晶片功能相同，都是用來加速雲端平台上的圖片辨識服務。

最令人好奇的是阿里巴巴的命名品味，一家IC設計公司怎麼會取「平頭哥」這種名稱？理由是平頭哥在中國是用來代稱「蜜獾」，被稱為世界上最無所畏懼的生物，因為這種動物不懼怕任何風險而且擅長以小搏大，例如蛇、老虎、鱷魚都是牠的獵食範圍內，所以希望以蜜獾作為比喻，期待IC設計業務能夠跟市面上的大廠抗衡。

但阿里巴巴本身其實也算是早期對AI晶片投入很多資源的大廠，早在2018年就推出以FPGA為基礎的加速卡，能加快阿里巴巴網站上以圖搜圖的速度（採用圖像辨識技術），這次推出的 ASIC 加速卡則擴展到更大規模的圖片辨識服務，頗具火力展示意味。

那這款含光 800有什麼特別的地方？首先它是與台灣的IC設計公司「創意」共同設計，並採用台積電7奈米製程的ASIC晶片，擁有比快 GPU 快數十倍的特殊運算速度，同時消耗更少的能源，官方宣稱一個含光 800等於10個GPU的效能，以ResNet-50測試達到 78563 IPS ，代表每秒可以辨識出78563張圖片。

官方指出旗下拍立淘商品庫每天新增10億商品的圖片，使用GPU辨識商品並建立對應標籤需要1小時，含光800只需要5分鐘，但未來這款晶片不會對外出售，而是隸屬於阿里雲的資料中心，對外提供 AI 辨識運算服務。

看到這裡，大部分人肯定還是不懂含光 800的實際用途，只是一款運算能力很強的AI晶片，到底它策略方向是什麼？今天這篇文章會談到人工智慧的軟體與硬體層面，並解釋為何阿里巴巴要推出含光800晶片。

什麼是AI推論（Inference）？

人工智慧領域中，深度學習（Deep Learning）是目前最熱門的領域，現在生活中常見的人臉辨識、圖片辨識、語音處理與智慧推薦等等的應用都是以深度學習為基礎，如果要將深度學習應用場景做簡單的區分，可分為後端的「訓練（Training）」及前端的「推論（Inference）」。

「訓練」是指透過電腦輸入大量數據訓練多層深度學習模型的準確度，進而建構高精準度的深度學習演算法，好比為員工提供有系統的教育訓練讓他們學會特定技能；「推論」則是利用訓練好的演算法用來辨識未知的陌生物件，像是讓受訓好的員工上陣正式工作，開始為企業創造價值。

目前9成以上的人工智慧應用場景都是推論，廠商會將演算法訓練好後安裝在終端裝置上執行智慧辨識應用，這些應用在人們生活中已經相當普及，例如語音助理、手機攝影的智慧場景辨識、人臉辨識以及網購推薦等等功能。

AI推論是高負載的平行運算過程

深度學習的運算牽涉了大量的矩陣平行運算，起初的中央處理器（CPU）採線性執行，效率不但低且緩慢，使得人工智慧一度被認為沒有前途，後來是 Nvdia 的圖形處理器（GPU）被發現適合用來處理深度學習運算，使得GPU成為人工智慧運算最普遍的底層運算平台。

由於 GPU 的架構一開始被設計成通用目的，可以泛用於負責顯示、圖形計算、打電動、繪圖等等的工作，具有良好的彈性可以兼容軟體與所有類型的演算法，很適合作為研究、測試與訓練，現在深度學習的訓練與研究大多均使用GPU 。

但深度學習演算法終歸是高負載的運算工作，如果要實際商用，像是利用AI辨識人臉， GPU的效率仍然無法滿足需求，它的通用架構太過冗餘且成本昂貴，耗電也頗為驚人，因此業界轉而尋找FPGA及ASIC作為解決方案，成為頗受歡迎的熱門題材。

首先現場可程式化邏輯閘陣列（FPGA） 具有多個可客製化的邏輯模塊，可以被設計成對應的演算法所用的電路模式，而且出廠後也能透過更改程式碼以重新編輯電路，很適合驗證跟測試，設計時程僅需半年到一年，相較 GPU 還有更快的速度及更低的能耗，屬於半客製化電路。

更激進一點的作法是放棄所有彈性，廠商選擇採用特殊應用積體電路（ASIC）是為專門目的而設計的積體電路，執行速度在同等條件下比FPGA快，而且功耗更低， Google知名的硬體加速TPU便是以ASIC為架構基礎，但缺點是出廠便無法更改其邏輯架構，一旦更動演算法，就必須重新客製化新的ASIC晶片，屬於全客製化電路，然而ASIC晶片的研發時程通常需要一年以上，研發成本相對昂貴，廠商的晶片出貨量必須夠大才能有規模效益。

目前FPGA與ASIC大多停留在成熟製程，介於28 nm至12 nm，尚未普遍應用10 nm以下的先進製程，但含光 800卻是第一款採用台積電 7nm EUV 製程的 ASIC 晶片，所以才擁有如此突出的效能。

含光 800對阿里雲的效益：減少AI辨識 50% 的營運成本

然而 AI 晶片最大的效益不僅是加快運算速度，業界更將重點擺在「能為資料中心節省多少成本」。現在雲端平台業者，例如亞馬遜 AWS、微軟Azure及Google GCP三大廠都有使用同類的AI推論加速晶片。

如果資料中心全使用GPU來進行AI推論，他們則需要向Nvdia購買額外的GPU並消耗更多的能源為客戶提供服務，但資料中心最貴的成本就是設備投資與能源成本，所以對於單純AI推論，廠商會選擇使用FPGA與ASIC晶片來加速並節省成本。

以Google為例，它的TPU負責為Google相簿、搜尋、語音助理、圖片辨識提供運算服務，官方宣稱相比傳統GPU ，TPU能擁有27倍的處理速度，訓練成本能顯著下降 38%，回到含光 800，未來如果含光 800 用於阿里雲將能顯著降低資料中心的成本，官方表示性價比達 100% ，代表這款 ASIC 晶片將為阿里雲省下近50%的運算成本。

雲端平台業者利潤與營收成長力度非常驚人，但基礎建設反而是利潤最低的一塊，難以獨立發展，必須要有其他獲利業務支撐才得以順利發展，像是Google 靠著網路廣告賺進千億市值，背後是GCP強大的基礎建設支撐、微軟金雞母Office 365建立在自家Azure平台上，亞馬遜AWS則為全球最大的網路電商平台提供網路基礎建設。

而阿里巴巴本身就是阿里雲最大的客戶，淘寶網、阿里巴巴批發等電商平台同樣為阿里雲提供廣大的商機，還能出租額外的算力給其他的企業使用。

但ASIC並不是沒有缺點，剛才提到過ASIC雖然速度最快、耗能最低，但無法更改演算法，外部資料中心的客戶不會想要冒這個風險採買別家的ASIC ，一旦AI演算法大幅更動，這批晶片很可能就要面臨淘汰，衍生的商業風險實在太大，其他平台也有能力自製或是與合作夥伴共同設計，所以含光 800不會對外販售，而是配置在阿里雲的資料中心為客戶提供更快速、更低廉的AI推論服務。

值得注意的是 AI 演算法的更新速度實在太快，不論是學術界還是業界都投入了大量資源研發，現在不論是哪間大學、哪間公司統統都在研究AI 演算法，一旦有更優秀的演算法出現，這些ASIC晶片很可能無法兼用，更可能短時間內被淘汰，只有底子夠厚、業務生態夠完整的雲端平台業者才有實力自行設計、投產 ASIC 晶片，他們本業的獲利能力與市場需求要夠大，才能確保晶片投資回本。

挖金礦不如賣鏟子：晶圓代工是最大贏家

含光800晶片的出現，給了阿里雲在中國境內很大的優勢，未來AI 運算成本將減少一半，同時改善辨識速度與延遲，特別雲端平台的勝出關鍵，在於誰能提供更快、更低廉的運算服務，每一家都在比誰的資料中心蓋得多、工具更好用，然後費用更具競爭力，無疑是一場大型軍備競賽，市場三巨頭每年更編列數百億美元的預算在基礎建設上

即使算法會改變，以阿里巴巴的規模，要修改算法也需要數年的時間，而且它的規模太大了，省下的金額非常可觀，短期內要回收成本並不難。

以商業層面而言，只有大廠才玩起得ASIC這種特規晶片，中小廠會選擇彈性較大、成本也較低的FPGA路線。

奇妙的是，當所有國際大公司都在燒錢競逐AI晶片的時候，不論是Nvdia、Google、Amazon還是阿里巴巴，背後多半靠台積電提供晶圓代工服務，為他們製造先進晶片，近年來的營收才如此強勁，過去被看扁的代工業卻成了最賺錢的行業。

人工智慧市場的商業競爭，就是一場慘烈的全球戰爭，每一家企業都要砸最多的錢、製作最先進的晶片來爭取客戶，甚至不管有無獲利—— 晶圓代工產業好比戰爭中的寡占軍火商，當各國爭先購買最新的武器，他們龐大的訂單讓代工產業的營收不斷創新高，挖金礦不如賣鏟子，雖然台灣看似在這場硬體戰爭中缺席，但企業可沒有錯過這波AI財。

責任編輯：陳慶徽
核稿編輯：洪婉恬