創鑫智慧股價| IPO贏家未上市股票交流網~可靠的安全交易平台

日前MLCommons公布最新人工智慧（AI）晶片評測結果，來自台灣的創鑫智慧，在做為推薦用途的AI推論（inference）晶片，每瓦處理次數上超越輝達（nVidia），這是台灣IC設計業者很少見超越世界一流大廠的成績，而且創鑫智慧成立於2019年，是一家創業才四年的小型IC設計公司，如何做到這項成就，相當引人關注。

創鑫智慧（Neuchips）創辦人為前清大教授林永隆，他也是早年與石克強、盧超群一起創辦創意電子的三位創辦人之一，公司創始團隊有七至八人，很多是林永隆教授的學生，來自創意、聯發科、聯詠、瑞昱等公司。至於Neuchips的Neu有兩個意思，一是人工智慧神經網絡（Neuro），二是創新（取其和New同音）。

創鑫智慧成立之初，曾經做了一個智慧音箱回音消除的小IP，而且也做出不錯的成績，目前已經在收取權利金。不過，後來創鑫智慧會切入AI晶片開發，是因為早期有一家創投來做投資評估時，提到這種使用端（edge）的晶片市場及規模都不大，這家創投出手都是數幾百萬美元，當時表達希望創鑫智慧選擇做大一點的題目，才願意承諾投資。

於是，創鑫智慧團隊開始尋找更大的創業題目。當時臉書（後改名Meta）積極推動開放運算計畫（Open Compute Project，OCP），目的是要重新打造開放式資料中心硬體架構，並希望與供應商一起定義硬體，提升硬體的效率、韌性和可擴充性，更重要的目標則是降低採購成本。創鑫智慧在OCP眾多提升硬體的需求中，選到推薦系統這個題目。

所謂的推薦系統，就是現在網友上各種電商、社群平台時，都不時會收到來自平台的推薦廣告及影片，平台的目的是提升用戶體驗，增加使用者黏著度，當然更重要的則是要做更多生意，廣告收入已成為所有電商社群平台最重要的獲利來源。

更進一步說，推薦系統其實就是精準行銷，是每個人上網時都逃不掉的天羅地網，系統會根據使用者瀏覽等路徑，判斷及推薦你會有興趣的內容給你，不管是推薦給你相關商品的廣告，或是相關的文章及影片。

而且，這種推薦系統需要耗費資料中心大量運算，估計占整體的六、七成運算量，因此，如何打造出一款AI加速晶片，提供更快、更準、更省電的解決方案，正是臉書這些大型資料中心客戶最迫切需要的。

創鑫智慧在評估切入市場的可行性時，也很清楚當時Google已在推自己的晶片TPU，至於臉書則採用外部的CPU及GPU，其中GPU當然是龍頭輝達的天下。這是難度很高的挑戰，創鑫智慧一家新創公司，若要做出具競爭力的產品，很難與這些大廠拼速度，只能從兼顧速度及能耗兩個目標著手，尤其是能耗這個目標更重要。

前面提到，推薦系統占資料中心六、七成運算量，是最耗能的部分，像現在當紅的ChatGPT，GPT3每做一次訓練，就要耗資超過1000萬美元，產生550萬噸的二氧化碳。許多資料中心如今都是吃電怪獸，而其中耗電的關鍵原因就是來自晶片的設計。

對於像臉書這樣的平台來說，所有的投資都要有獲利，晶片若太耗能，例如推薦一個廣告需要花1元電費，但用戶點擊後回收的廣告費只有0.5元，這種推薦絕對不可能做，因為一定會賠錢。因此，創鑫智慧確認，未來AI晶片能夠省多少電，將是決戰重點。

若以晶片絕對效能來說，創鑫智慧當然比不過國際大廠，但若目標是速度快又要省電，就有機會超越，因此，創鑫智慧便決定從不同的產品定位切入，不在速度的「高效能」上與大廠競爭，而是在省電的「高能效」上爭取突破表現。作法上則採用整合目前市場上最佳IP組合，並以FPGA模擬開出新AI推薦晶片。

當然，晶片的速度還是相當重要，最初創鑫智慧在規畫晶片速度時，就考量到每一個推薦要壓縮到150毫秒（也就是0.15秒），也就是說，電商及社群平台要在0.15秒內把推薦資料傳給用戶，如此才能讓用戶即時看到，並吸引用戶去做點擊，若推薦時間無法在0.15秒內完成，用戶的瀏覽頁面已經跳過去了，廣告商機也就不見了。

因此，為了達到0.15秒內就要完成推薦，AI晶片的運算時間更要壓縮到只有0.03到0.05秒，也就是30到50毫秒，以這樣的速度做晶片設計。可以想像，這樣的AI晶片計算速度會有多快。

此外，早在2019至2020年，創鑫智慧就決定採用當時最先進的7奈米製程，這也是很大的賭注。因為7奈米晶片開發及生產成本都很高，這是經過一番思量才做的重要決定。

據了解，台積電7奈米製程每片代工價約1.35萬美元，換算約新台幣40萬元以上，對於新創公司來說，可以說是高不可攀的天價。但考量這個晶片要達到臉書2022至2023年的採購計畫，而且一旦切入供應鏈就要繼續用3年到2026年，屆時若製程技術不夠先進，產品一定沒有競爭力，因此創鑫智慧最後就咬牙選擇昂貴的7奈米製程。

在產品定位清楚後，接下來就是如何執行了。新創公司資金有限，創鑫智慧初期研發人員只有十位，因此在開發IC過程中，就想辦法充分運用外部資源，例如參與前科技部長陳良基時代推動的「半導體射月計畫」，也申請經濟部AI on Chip的科專計畫補助。

另外，創鑫智慧在設計IC時，也大量運用台灣IC產業的生態系資源，例如大量授權採用美商新思（Synopsys）提供的整包矽智財IP，另外在設計服務及晶圓製造上則委託創意電子，此外在設計平台也運用工研院的資源。

創鑫智慧公司營運長陳建良說，對於新創公司來說，第一個產品絕對不能失敗，因為首戰即決戰，所以要把所有可能的問題都思考清楚，只要外部有更好的夥伴時，就採取外包合作的方式，如此創鑫智慧可以把時間及資源投入到最重要的事情上，讓晶片順利成功開發出來。

如今，創鑫智慧的AI晶片可以算是成功了，最初做建議的那家創投，後來也成了公司重要股東。但選擇這條困難的路，也讓需求資金比一般同業大很多，2019年創鑫智慧募A輪，只募資新台幣7500萬元，但後來B輪則跳升到3500萬美元，2022年B2輪再募了2000萬美元，主要投資人包括緯創旗下鼎創、凌陽創投、力積電、瑞鼎、台灣集富一號等。

創鑫智慧走向世界舞台，並且與國際一流大廠競爭，可以想像，未來掛牌上市價值也會很可觀，很可能是十億美元以上的獨角獸。當然，未來公司要投入的資金也會更多，預計接下來還會有更高額的募資計畫。

創鑫智慧專注打造世界一流的AI晶片，不論從選題到破題，從產品定位到執行細節，都是產業界可以學習參考的對象。我認為，重點在於公司先有挑戰世界級對手的企圖心，因此選定進入障礙最高的資料中心推薦用AI晶片，之後又直接切入7奈米先進製程，成為聯發科之外，很少數採取先進製程技術的台灣IC設計公司。

此外，台灣半導體的生態系，不論從矽智財IP、IC設計服務資源，再到晶圓代工、封測等條件，其實都提供了創鑫智慧很多茁壯的養份，但團隊也是最懂得利用這些生態鏈助力的企業。很多觀念較傳統的企業，所有事情都要自己做，不放心外包及委外合作，也因此限制了自己的發展，這提供大家另一個很好的思考重點。

總結來說，對於台灣IC設計產業來說，已有很多年沒有出現像創鑫智慧這種令人眼睛為之一亮的新明星，短短幾年就在全球舞台取得不小成就，很值得將這個個案，做為台灣半導體業繼續升級發展並擴大全球影響力的一個最佳範例。

當紅的生成式人工智慧ChatGPT，可以說是顛覆了很多人對AI的想像，更重要的是，它真正帶起AI技術的應用，甚至把AI運算加速的重要性浮上檯面。本場的【東西講座】特別邀請創鑫智慧事業開發經理陳品函擔任講者，藉由自身多年的觀察與經驗，幫大家解開為何需要AI運算加速，同時也探討其應用的潛能。

創鑫智慧（NEUCHIPS）是由資深IC及軟體設計專家團隊，於2019年成立的AI ASIC解決方案提供商，也是一家AI運算加速器IC設計公司，過去在神經運算網絡有領先的技術，更在信號處理和電路設計方面擁有多項專利，目前致力研究在加速運算過程中，如何減少記憶體耗用量。

陳品函表示，三十年前計算機對當時來說就已經是AI了，直至2016年發現影像分析軟體開始可用機器學習或深度學習解決AI問題的時候，大部分關注在影像處理和物件辨識。而去年Open AI開放ChatGPT給普羅大眾使用，才算是讓大多數的人認知到AI能協助許多事。

陳品函指出，機器學習中使用的硬體技術，以現階段產業界上面，絕大多數在訓練（training）上會使用GPU，用到的數學複雜程度相對高很多，也需要很多的互動運算；推論（inference）相對來說，一般的CPU還是可以達成的，其實還是取決於應用在哪個面向，來選擇合適運算的硬體。

根據計算密集、應用需求和市場需求，AI加速運算主要是指利用特殊設計的硬體和軟體優化，提升AI演算法執行速度和效能的方法。而機器學習和深度學習的訓練與推論，會針對訓練好的模型進行部署推論，對所有的訓練資料進行多次的計算得到效果最好的學習模型。

AI應用與商機切入點 將是未來面臨的限制與挑戰

生成式AI涵蓋非常多的矩陣式運算，例如GEMM（General Matrix to Matrix Multiplication；通用矩陣乘法）是神經網絡中基本的運算子，在線性代數、機械學習、統計與其他領域中常見的運算；GEMV（General Matrix to Vector Multiplication；矩陣向量乘法）為一維矩陣。

陳品函表示，過程中GPU、CPU的支援，需要消耗多少的能源來去完成指令，可能相對就沒有ASIC來得好，現今有許多AI新創公司針對看到的應用，需要的矩陣大小也有所不同，運算過程中資料如何地拋轉、網路的呈現、特別的IC設計，整體效能將會提高。

為了晶片的發展回到兩個面向，包括彈性（Flexibility）的AI數據中心，同質處理元件、一般拓樸數組/網格/環等；客製化（Custom/Application Specific）的車用AI，在沒有GPU那樣有強大的記憶體與運算式之下，硬體設計高度定制會調整到軟體和系統需求，另外還有異質處理元件等。

AI運算加速所面臨的限制與挑戰，包含讓普羅大眾最有感的ChatGPT在過去幾年快速累積使用者，但AI的落地應用與商機尚未有頭緒，因此AI導入的難題，消費性產品仍在找尋切入點，目前只侷限在手機app；AI晶片有所不同，雲端市場門檻高；如何從GPU開發環境做轉換、地緣政治等。

創鑫智慧針對使用者推薦作運算加速，RecAccel N3000是一種特定領域架構（DSA）ASIC，用於深度學習推薦模型的數據中心推論；不但獲得專利的FFP8產生最高的8位精度和專有的INT8校準器；創新的嵌入引擎設計用於全面優化數據片上和片外的位置和記憶體存取。

另外，獲得專利的動態MLP引擎（DME）提高了吞吐量，同時能降低功耗；RecAccel編譯器使用AI實現高度優化的低功耗動態嵌入分片等。

創鑫智慧AI推論晶片獲MLPerf v3.0最佳能效比 勝出對手1.7倍

MLPerf v3.0 AI 推論 (Inference) 效能基準測試中，創鑫智慧 (NEUCHIPS)世界首款專為資料中心推薦模型 (Recommendation Model) 設計的AI加速器RecAccel N3000，在伺服器領域的能源效率 (Energy efficiency)上，領先AI大廠輝達 (NVIDIA)，成為世界第一能效的AI加速平台。

MLPerf v3.0 AI 推論測試是由致力提升機器學習技術和應用的開放工程聯盟 MLCommons所進行。創鑫智慧此次採用技鋼 G482-Z54 伺服器搭載 AMD EPYC 7452 32 核CPU及8張RecAccel N3000 32G PCIe 加速卡執行DLRM測試。

根據MLCommons公布的測試數據，在資料中心推薦系統領域，RecAccel N3000 系統除了展現其100%的效能擴充性 (Performance Scalability) 之外，在每瓦可處理1,060次查詢 (Queries) 的評策上，能效為對手NVIDIA H100的1.7倍，高居榜首。未來計畫推出的RecAccel Quad N3000 PCIe 卡更能提供高達 2.2倍的卓越效能。

「為實現量大、精準、即時且節能的人工智慧運算，我們必須找到更可持續和環境友好的解決方案，這不僅僅是一個商業挑戰，更是對社會責任和綠色發展的追求，」創鑫智慧創辦人暨董事長林永隆博士表示。「我們以具體行動證明我們對永續發展的承諾，除了在 MLPerf測試中取得最佳表現，我們還將推出專為開放運算計畫 (OCP) 設計的 DM.2 模組，繼續引領產業發展，提供更多協助雲端服務供應商與資料中心節省成本的平台方案，並助力 AI 技術的繁榮與成長。」

AMD策略業務發展全球副總裁Kumaran Siva則表示：「AMD提供高效能運算產品，幫助智慧系統有效管理複雜的資料集。我們非常高興能與創鑫智慧合作，藉由AMD EPYC處理器為MLPerf v3.0中的DLRM推理實現領先的效能及能耗。我們期待持續與創鑫智慧協同發展與創新，為市場提供不斷引領先進技術的人工智慧解決方案。」

由於大型語言模型ChatGPT今年走紅，再度掀起一波人工智慧應用風潮，除了促成許多軟體與服務層面的創新，各種可加速人工智慧處理的硬體運算技術，也受到各界熱烈關注。而身為全球半導體設計與製造重鎮的臺灣，不僅協助大型國際級廠商發展相關解決方案，也孕育出多家本土廠商加入這場世紀競局。

而在今年4月初，開放式工程聯盟（MLCommons）公布的MLPerf Inference效能測試提報結果中，就有一家臺灣AI加速晶片廠商名列其中，那就是2019年成立的創鑫智慧（Neuchips）。

事實上，在2020年10月MLCommons發表的Inference Datacenter v0.7效能測試結果，創鑫智慧就已提報，當時的系統組態採用FPGA晶片型態的RecAccel原形產品，鎖定開放原始碼的深度學習推薦模型（Deep Learning Recommendation Model，DLRM）AI應用情境，而在後續的Inference Datacenter v1.0、1.1、2.0，該公司提出的產品受測組態，改為FPGA加速板卡Terasic DE-10 Pro。

到了今年4月的公布Inference Datacenter v3.0，創鑫智慧提交兩份產品效能測試結果，均搭配他們去年5月發表的ASIC晶片加速卡RecAccel N3000，

其中一項測試是採用單張加速卡的配置，每秒可進行107,001次查詢，另一項測試則是擴充至8張加速卡，每秒可進行856,398次查詢，兩相對照之下，突顯這款產品可隨使用數量的增加，提供近100％幅度的運算效能線性擴展。

若基於上述這份效能測試結果，並以其中所列頂級資料中心GPU產品Nvidia H100的數據來比較，就DLRM推薦運算效能而言，搭配8張創鑫智慧RecAccel N3000的AMD二路（64核心CPU）伺服器，平均每1瓦電力每秒可查詢1060.05次（856,398次除以807.88瓦），搭配8張PCIe介面卡形式Nvidia H100的AMD二路（32核心CPU）伺服器，則是633.41次（1,501,100次除以2,369.85瓦），因此，N3000的每瓦推薦運算效能可達到H100的1.7倍。創鑫智慧表示，若改用另一款內建4顆RecAccel N3000晶片的加速卡來比較，可望將每瓦推薦運算效能領先幅度拉大，預估能達到H100的2.2倍。

RecAccel N3000為何會有亮眼的能源使用效率？創鑫智慧僅簡單表示，因為這當中使用了INT8整數運算校準器，但僅僅只是這個原因嗎？

回顧去年該公司發表這款加速晶片的相關消息當中，我們可以看到還有其他技術優勢。例如，5月宣布推出RecAccel N3000時，他們提到這是一款首款專為深度學習推薦模型處理加速所設計的ASIC晶片，導入台積電7奈米製程，並將基於搭配這款晶片的雙M.2模組產品，針對遵循開放運算平臺（OCP）規格的伺服器，提供RecAccel N3000 Inference平臺，以及推出採用PCIe 5.0介面的加速卡，以安裝在資料中心的伺服器。

而在發展AI硬體架構與持續改良DLRM運算效能的同時，他們也在軟體層面進行共同設計，提供可廣泛應用的最佳化軟體堆疊架構，實現高精準的運算、硬體資源與能源利用率的目標。

在AI推薦模型的部分，RecAccel N3000不僅支援DLRM，也支援WND（Wide & Deep）、DCN（Deep and Cross Network）、NCF（Neural Collaborative Filtering），而在安全性的部分，它也內建硬體信任根（RoT），可強化本身的保護。

以精準度而言，他們發展出獨特的8位元協同運算技術，可結合量化處理、校準、硬體支援，將FP32運算的精度提升至99.95%；晶片內建專屬的多層感知器（Multilayer Perceptron，MLP）運算引擎，能在引擎層級提供立即可達到的能源使用效率，並且能在系統單晶片層級，實現每個推論處理只需1毫焦耳能量的理想。

在記憶體的存取方式上，創鑫智慧也開發出專屬的嵌入式引擎，具有新型快取設計與DRAM流量最佳化功能，能針對LPDDR5記憶體，減少50％存取需求，將記憶體頻寬利用率提升30％。

到了6月，創鑫智慧宣布RecAccel N3000進入投片生產階段，進一步揭露這款晶片組成與軟體堆疊架構。

以運算引擎而言，當中分成嵌入型引擎、特徵互動（Feature-cross，FX）引擎，以及矩陣乘法引擎。其中的嵌入型引擎，針對目標是上述的記憶體存取效率，能大幅減少晶片以外的記憶體存取需求；特徵互動引擎則是指支援多種AI推薦模型的處理，可涵蓋DLRM、WND、DCN、NCF；至於矩陣乘法引擎，RecAccel N3000內建10個動態多層感知器運算引擎（Dynamic MLP Engine），而相關配置也是節省耗電量，以及有效率處理寬鬆矩陣運算的關鍵。

關於軟體堆疊方面，創鑫智慧揭露軟體開發套件將包含編譯器、執行時期元件，以及工具鏈，他們表示，當中將支援大模型分割、橫跨多顆晶片或加速運算卡的運算方式，能在每一顆晶片執行多個更小型的推論處理工作。

而在資料型別的使用上，創鑫智慧發展出新的8位元計數格式，稱為彈性浮點（Flexible Floating Point，FFP8），能促使晶片電路隨著AI模型的差異而調適，以此實現高精度的運算。除此之外，由於AI訓練皆採用32位元，所以大家能使用32位元來執行推論處理，若改用8位元來計算，耗電量可縮減至16分之1，但過往業界總是必須在精準度與運算效率之間做出抉擇，他們認為可透過FFP8，實踐更多的運算精準度，也能兼顧節約能源的需求。

到了9月初，在電子設計自動化（EDA）公司Synopsys舉行的ARC Processor Summit 2022大會期間，創鑫智慧公開更多RecAccel N3000的規格與技術架構細節，例如，晶粒內建160 MB的SRAM記憶體，搭配的LPDDR5記憶體可配置為4個32 GB、內建線上錯誤修正處理（ECC），PCIe介面可支援3.0、4.0、5.0，最大可提供16個通道。

而且，他們也表明當中採用Synopsys旗下的多組矽晶片智慧財產，像是RecAccel N3000內建的處理器當中，結合了Synopsys的ARC EV72處理器，作為數位訊號處理器（DSP）與支援浮點運算處理；而在介面方面，這裡搭配Synopsys的進階高效能匯流排與周邊匯流排（AMBA）、LPDDR5、PCIe等智慧財產；在記憶體方面，搭配Synopsys Memory Compilers，可獲得進階電源管理功能；硬體安全方面，搭配Synopsys Hardware Secure Modules，而能具備硬體信任根，確保系統開機程式碼受到保護，也能執行裝置驗證。

創鑫智慧的人工智慧（AI）晶片在國際評比中表現亮眼，創辦人暨董事長林永隆此前受訪時表示，團隊開發的晶片可加速資料中心、社群平台的推薦模型（Recommendation model）效能，並採台積電7奈米製程生產，目前已完成工程驗證，陸續開發客戶中。

1998年時，林永隆與盧超群、石克強共同成立創意電子，借調期任滿後回清大任教。看好推薦模型帶動的ASIC商機，林永隆2019年再成立創鑫智慧，開發AI晶片，並於2022年下旬宣布採用台積電7奈米製程生產。

創鑫智慧開發的首款晶片RecAccel N3000是專為推薦模型設計的AI加速器，日前在開放工程聯盟（MLCommons）的MLPerf評比中，與NVIDIA晶片互別苗頭。

創鑫智慧提供的資料顯示，在伺服器模式中，創鑫智慧的晶片效能高於NVIDIA A100兩倍，相較於NVIDIA H100則高出1.67倍。而在離線模式中，其晶片優於NVIDIA A100，但遜於NVIDIA H100。此外，NVIDIA曾表示另一款Grace Hopper才是最適合推薦推論的晶片，但目前尚未提出相關基準分數。

超微（AMD）策略事業發展副總裁Kumaran Siva指出，樂見創鑫智慧晶片用於AMD EPYC處理器上，在評比中取得超群表現，也期待雙方持續合作，開發出領先業界的AI解決方案。林永隆則表示，盼與雲端生態系合作，提供永續節能的方案。

此前，林永隆在DIGITIMES專訪中表示，以AI技術加速晶片和伺服器的效能是業界趨勢，只要某領域有大量計算和大量應用的需求，就會出現專用晶片（ASIC）。

目前在AI業界中，NVIDIA的GPU是主流，然其GPU屬於通用型，而目前專為推薦模型設計的晶片相當少。事實上，資料中心、社群媒體、電商、搜尋引擎等平台都會用到推薦模型，市場商機相當豐沛，也因此他看好這塊市場的全球商機。

針對自家晶片的定位，他表示晶片部署在雲端與邊緣之間的匯流節點（Aggregation point），既沒有做到手機、物聯網裝置端那麼遠的邊緣，但也不必都得經過雲端。

他解釋，如果所有計算都要經過最遠的雲端，資料傳輸來回時間可能都大於計算時間，無法達到「加速」目的。此外，以前要升級伺服器就得更換CPU或機台，現在有了AI晶片，就可用來加速、提升伺服器的效能。

這對伺服器用戶來說是好消息，因為可減少所需機台數量，而對伺服器代工廠來說，不一定會是壞消息，因為廠商可與AI晶片開發商合作，讓伺服器效能更好、更利於市場推廣。

談到台灣發展AI晶片的優勢，林永隆指出，台灣匯聚矽智財、EDA工具、IC設計、封裝測試、製造等業者，相關生態系非常完整。當製造業者產出一片晶圓，這些晶圓變成終端品牌產品，產值便可再倍數成長，因此IC設計產值應該遠大於晶圓代工業者。

他認為，美國在IC設計界位居龍頭，是因為美系品牌、系統商在定義產品規格方面相當厲害，例如NVIDIA之於繪圖晶片、英特爾（Intel）和超微之於處理器、高通（Qualcomm）之於無線通訊晶片等。

PC普及帶動半導體應用，隨後消費性電子產品、智慧型手機用到的半導體數量愈來愈多，接續便是AI和電動車帶來的商機。林永隆認為，台灣IC設計仍有許多可發揮的空間，且是應長期耕耘的事業。創鑫智慧成立4年多以來專注研發，2023年起有機會銷售晶片，開始創造營收。

最新人工智慧（AI）晶片評測數據顯示，在三項節能指標中，高通的Cloud AI 100晶片有兩項擊敗輝達的H100晶片，台灣新創公司創鑫智慧（Neuchips）則在其中一項指標掄元。

路透報導，輝達主宰了AI訓練模型市場，但在訓練後，這些AI將被投入所謂「推論」（inference）的更廣泛用途，包括對提示詞（prompts）生成回應文字，或判斷一張圖像是否包含貓等。分析師認為，資料中心推論晶片的市場將迅速成長，因為企業都正把AI技術運用於產品中，Google等企業也在探索如何降低額外成本。

在這些主要成本中，其中之一是電力。高通已經從為智慧手機等耗電裝置設計晶片的經驗，創造出Cloud AI 100晶片，目前是壓低耗電量。

MLCommons發布的測試數據顯示，高通AI 100晶片在分類圖像的表現擊敗輝達的H100晶片，判斷基準為每顆晶片每瓦能處理的資料中心伺服器查詢量，高通的晶片每瓦能處理197.6次伺服器查詢，多於輝達的108.4次。

不過，這個指標的榜首是由台灣學者林永隆所創辦的創鑫智慧拿下，每瓦可處理277次查詢。

高通晶片的物體偵測效能，也以每瓦處理3.2次查詢，超越輝達的每瓦處理2.4次查詢。物體偵測的應用包括從零售商店的影像分析消費者最常逛那些地方。

然而，在自然語言處理（被廣用於聊天機器人等系統的ＡＩ技術）測試中，輝達在絕對的效能與節能表現，都排名第一。輝達每瓦處理10.8組樣本，創鑫智慧的每瓦8.9組排名第二，高通位居第三，每瓦處理7.5組樣本。

經濟部今（29）日舉辦「AI on Chip科專成果發表記者會暨AITA會員交流會」，發表多項AI人工智慧晶片世界級關鍵技術。

經濟部今（29）日舉辦「AI on Chip科專成果發表記者會暨AITA會員交流會」，發表多項AI人工智慧晶片世界級關鍵技術，貴賓有凌陽科技協理蘇銘章(左起)、創鑫智慧董事長林永隆、工研院院長劉文雄、經濟部技術處處長邱求慧、AITA會長盧超群、經濟部次長林全能、台灣金控沈榮津董事長、經濟部工業局副局長陳佩利、台灣新思科技董事長李明哲、力積電副總經理陳冠州、神盾營運長林功藝。 工研院/提供

經濟部自2019年推動成立最具指標之AI晶片技術交流平台—「台灣人工智慧晶片聯盟」（AI on Chip Taiwan Alliance，AITA，諧音愛台聯盟），３年來除了打造完整從上到下游的產業鏈，更積極推動產業鏈結與國際合作，迄今已有151家會員，涵括IC設計、製造、封測、系統應用及學研，並促成AI晶片研發投資逾200億元，未來預期帶動半導體創造達2,300億元產值，將臺灣世界級的AI人工智慧晶片技術能量推向國際舞台。

經濟部次長林全能表示，近年來AI人工智慧成為各種新興科技的重要關鍵技術，加上2022年底OpenAI推出的ChatGPT更成功帶動話題，也讓大型AI模型複雜運算與晶片傳輸介面速度的技術研發備受重視，帶動高速運算與生成式AI技術相關商機，也是AITA未來要的方向。

經濟部在三年前成立人工智慧晶片聯盟，目前已有超過151家會員，今天發表六項的重要成果，包括工研院開發之「超高速記憶體關鍵IP技術」-可直接在記憶體內進行運算，運算效能提高10倍、功耗僅1/10；神盾開發的全球首創指紋辨識類比AI晶片，以人工智慧大幅提升精準度，並與力旺合作開發屏下大面積光學指紋辨識晶片布局新應用；新思科技與工研院成立的人工智慧晶片設計實驗室（AI Chip Design Lab），引進先進EDＡ工具，與AITA聯盟內成員合作，成功開發3奈米先進製程之設計與驗證技術，共築我國AI晶片研發生態系。未來經濟部會持續做產業後盾，協助各產業導入人工智慧科技，以臺灣堅實的高階晶片製程與研發能力，將臺灣AI晶片能量推向國際舞台，在下一波AI人工智慧軍備戰中奪得先機。

經濟部促成新思科技在新竹成立「AI設計研發中心」，加碼投資新台幣10億元在臺擴增超過200人的AI研發團隊，鞏固臺灣在半導體設計與製造全球領先地位。 工研院/提供

行政院政務委員兼國科會主委吳政忠指出，臺灣半導體產業在世界居有領先地位，行政院以「台灣AI行動計畫」，積極推動半導體設備國產化及科技人才培育，持續促成AI產業化、產業AI化，為建構完整的AI晶片生態系，更以愛台聯盟串聯設計、製造、封測、軟體及ICT系統業者。半導體產業與人工智慧崛起都與IC設計息息相關，為了帶領產業迎向下一個十年挑戰，相關人才的培育是重要關鍵，政府以AI on Chip科專計畫匯集上中下游業者與人才，積極在基礎科學、IC設計人才培育上紮根。隨著AI技術發展，更成立台灣人工智慧卓越中心（Taiwan AI Center of Excellence，簡稱TaiwanAICoE），積極面對AI人工智慧帶來的倫理、法治與人權挑戰，跨部會合作在科研面向，強化AI核心科技國際合作；在人才面，鏈結AI頂尖國際機構及學者建立亞太人才樞紐；在治理面向，參與以人為本AI國際組織，並與價值觀相近國家建立可信賴AI夥伴關係，希望臺灣在全球人工智慧應用上占有一席之地。

由國科會及經濟部扶持的創鑫智慧為國內首家切入7奈米製程IC 設計新創業者，提供HPC-AI加速晶片與模組，進軍高速成長的雲端與資料中心市場，其獨步全球最高能效RecAccel™ N3000加速晶片與DM.2模組，提升運算效能、大幅降低成本。 工研院/提供

台灣人工智慧晶片聯盟會長盧超群說明，AITA聯盟成立三年以來，聯盟會員倍數成長，除了建立AI生態系、共同發展關鍵技術外，最重要的是串連產業合作，加速AI晶片軟硬體技術或產品開發，例如凌陽開發核心AI晶片的共享算力平台，可以串連許多週邊IC業界，快速形成新的產品應用，在成本上更具競爭力，產生1+1>2之效果。

新創公司創鑫智慧僅成軍第三年，首款人人工智慧(AI)加速晶片就採用成本高昂的台積電7nm製程，吸引業界關注；董事長暨執行長林永隆在半導體業界累積近40年的專業資歷，更讓外界對公司的前景抱有高度期待。他們擘劃的宏大願景，是立志成為世界級的AI加速器供應商。

從被列為全美最優秀理工大學之一的美國伊利諾大學香檳校區取得博士，林永隆返台就在清華大學資訊工程系擔任教授，曾任清大研發長及創意電子技術長，此次創立創鑫智慧，是他第二度創業。在創意之後相隔21年再次走上創業路，是因為林永隆發現了AI的潛在機會，「大家都知道AI就是新的挑戰跟機會，教授本身就是探索未知，創業即便很辛苦，但讓很多人聚集起來一起做事，是很棒也很了不起的事情。」

天時地利人和兼備，讓林永隆決定帶領一群IC設計工程師組成團隊，於2019年成立了創鑫智慧，去年進駐新竹科學園區，目前資本額10.46億元，主要投資人包括緯創旗下鼎創、凌陽創業投資、力晶科技、以及台灣集富一號創業投資有限合夥(Jafco Taiwan I Venture Capital Limited Partnership)等。他們專注在打造資料中心推薦系統用的AI加速晶片，是聯發科外，台灣第二間以7nm製程及以下先進製程的公司。

據國外媒體的統計資料，7nm在2020年的晶圓代工價格落在9,000美元(約新台幣28萬元)，晶圓廠可能依不同廠商的條件提供相對應的報價，但等於生產一批(Lot) 25片晶圓來說，就需要投入至少新台幣600萬元的費用，近年晶圓代工歷經漲價，可想而知費用是更加高昂。龐大的成本壓力，讓台系IC設計廠對採用這樣的先進製程相對保守，而這也是創鑫智慧投產7nm生產這400mm2的晶片，為何如此引人注目的原因之一。

「7nm是經過評估過後覺得最佳的點，」談到為何選擇7nm，林永隆的心中有盤算，但僅透露做這樣的決定，產品當然一定有獨到之處。他表示，無論選擇哪個製程，都一定有先設定並找到能最優化目標的方案，他們設定效能跟效率的目標後，7nm就是眾多考量後最適合的技術，「半導體的進步在你的運算力、耗能跟成本，如何針對問題透過軟體跟硬體設計跟優化，讓產品做出來有優勢。

資料中心的推薦系統，目的就是提升用戶體驗，進而增加使用者對社群平台的黏著度；好比臉書(Facebook)等社群平台，會依據不同使用者的喜好推薦廣告及影片，背後靠的就是AI推薦系統。創鑫智慧打造AI加速晶片，則是要提供資料中心更快、更準、更省電的解決方案，林永隆進一步解釋，人無時無刻都在做選擇，假設推薦的內容不好，用戶體驗就差，如何做得準確度夠高，得做很多更精細的運算，尤其看不到的東西要做間接的推敲，是很有挑戰的部分。

多數的AI訓練使用32bit浮點數(FP32)格式，格式由1位代表正負符號、8位指數及23位尾數組成；直接用32bit推論(Inference)準確度最高，但功耗大，且要頻繁跟DRAM做資料交換，也會影響到運算時間，因此大部分推論會轉為16bit或8bit格式運算。轉換到較少位元的格式，運算所需DRAM空間相對小，但準確度則會被影響；若以8bit INT8的格式推論來說，資料量是32bit的4分之1，但準確度卻會降到99.87%。

100%跟99.87%僅0.13%的差異，對自然語言分析、醫療影響、以及推薦系統等要求高準確度的AI應用來說，有著極大的影響；以推薦來說，準確度相差1%，都可能攸關某個被推薦的內容會不會被點擊，也就直接影響到平台的收益。能提升8bit格式推論時的準確度，便是創鑫智慧的AI加速晶片的特點。

創鑫智慧首款RecAccel的ASIC、產品代號N3000的AI加速晶片，擁有10組運算引擎，運算力可達200TOPS (Tera Operations Per Second)，另外內建160MB記憶體(SRAM)，消耗20W即可進行每秒2,000萬次的推論。運用該AI加速晶片，以IN8精度進行推論的準確度能提升至99.97%。

據創鑫智慧提供的數據，假設32bit格式進行推論準確度為100%，16bit BF16格式的推論準確度為99.998%；由此可見，使用他們AI加速晶片，可讓INT8推論的準確度趨近BF16。此外，為進一步提高8bit推論的準確度，創鑫智慧打造另一項秘密武器「FFP8」的浮點格式，該格式可以根據資料的特性，提供更有彈性的浮點數配置方式；透過FFP8的格式推論搭配其AI加速晶片，準確度能拉升至99.996%。

FFP8是創鑫智慧用三年時間研發出來的心血結晶，去年申請美國專利，今年通過；其AI加速晶片搭配FFP8，也就組成其獨特的高效率AI加速推薦系統，預計今年第四季推出完整系統，展示每推論僅需1微焦耳(Micro joule)的能效。能有這樣的成果，林永隆指出，是軟硬體相輔相成的結果，由於FFP8相對INT8運算較複雜，也需要解讀資料格式，為維持運算速度，就得有相對應的電路設計在運算後做正確資料解讀。

創鑫智慧的AI加速晶片，預計搭配大容量LPDDR (Low Power DDR)系列DRAM製作成雙M.2 (Dual M.2)的模組形式走進應用市場，可用於開放運算計畫(Open Compute Project，OCP)的Glacier Point載板卡，以及一般伺服器的PCIe Gen 5載板卡，最快今年第四季送樣。安裝了AI加速晶片後，當資料中心的伺服器收到AI運算的需求，CPU就會把推論工作卸載(offload)給AI加速晶片，運算就在晶片裡完成後傳回，大幅縮短運算時間及降低功耗。

隨著AI技術持續演進，林永隆認為，現在用8bit的格式推論，未來也會走到6bit、4bit甚至2bit，或是混合格式的推論，以他們的目標來說，會持續嘗試降低成本，同時維持準確度，軟硬體部分需要同時做精進。他表示，AI發展非常快速，現在產品做出來到市場推廣是第一步，下一世代的AI，技術面還有很多可能性，包括異質整合、3D封裝等前瞻技術，現在都已在進行研究。

針對異質整合，目前創鑫智慧已申請加入UCIe (Universal Chiplet Interconnect Express)聯盟。UCIe聯盟又稱小晶片(Chiplet)互連產業聯盟，包括台積電、日月光、高通、微軟、AMD等大廠都參與其中，林永隆期許，如同個人電腦透過PCIe介面做系統跟系統的連接，透過加入聯盟跟業界用相同的傳輸介面，就能將心力更集中在研發AI核心引擎技術上。

創鑫智慧目前連同新竹總部及板橋分公司，團隊規模來到40人，著眼未來需求，還在持續擴編中，以徵求研發跟行銷人才為主。林永隆表示，若想像是在跑一場馬拉松，當前的目標就是一步一步穩健地跑穩，達成各階段的里程碑，希望找到能經得起考驗，對他們做的事情有感，且想做AI、有意願進入新創公司的人才加入團隊，「我們對未來的願景，是要成為世界級的AI加速器供應商！」

本文同步刊登於《電子工程專輯》雜誌2022年10月號

創鑫智慧因為是未上市股票，所以無法透過證券商系統進行買賣，想要買賣都是透過私人間交易，只要雙方協議好價位，就可以約定辦理過戶事宜。想要交易創鑫智慧股票可以利用這平台參考創鑫智慧的股價，想要買的可以參考賣價，想要賣出的參考買價，直接把要買或要賣的股票填入表單，或者直接加入LINE與版主聯繫，直接溝通。

投資未上市股票要先審慎評估風險，創鑫智慧是未上市股票，資訊相對較少，別相信來路不明的資料，以及陌生人的介紹，收集資訊對於新聞媒體甚至這網站的資料都不可全信，必須獨立思考，如果對於不熟悉的投資市場，就建議不要參與，投資有風險，如果已經可以承擔風險，做好功課可以與平台聯繫，交易上都是雙方議定價格，銀貨兩訖，避免交易上詐騙發生。現在詐騙集團會寫出公司前景的「研究報告」，並留下聯絡方式，企圖吸引不知情的人上當。而且現在詐騙集團不是一般話術而已，是有做產業研究，而且認真追蹤即時新聞，投資人真的要保持警覺。

創鑫智慧因為是未上市股票，所以無法透過證券商系統進行買賣，想要買賣都是透過私人間交易，只要雙方協議好價位，就可以約定辦理過戶事宜。想要買創鑫智慧股票的投資人，可以先跟站主陳先生聯繫，可以透過填寫表單或LINE留言，提出想買創鑫智慧的需求，版主將先報價然後雙方確認好張數價格後就可以進行進行交易流程。網路上任何未上市網站的賣價 是讓想要買進的人可以參考， 未上市股票的每一次的交易都是需要有買方跟賣方互相交流價位討論的過程，所以直接聯繫站主討論會比較有機會完成交易~

創鑫智慧因為是未上市股票，因此，您不能在證券交易市場上買賣，也不能送存集保。 您只能自行尋找交易對象，或者透過網路上的未上市股票盤商協助撮合買賣。未上市股票想要買賣都是透過私人間交易，只要買賣雙方協議好價位，就可以約定辦理過戶事宜。想要賣的人可以先跟站主陳先生聯繫，透過填寫表單或LINE留言或直接來電，提出想賣出創鑫智慧需求，以及要賣出的張數，版主將確認市場行情後報價，雙方確認好張數價格後，就可以約時間進行進行交易流程。網路上任何未上市網站的買價 是讓想要賣出的人可以參考 ，未上市股票的每一次的交易都是需要有買方跟賣方互相交流價位討論的過程，所以直接聯繫站主討論會比較有機會完成交易~

創鑫智慧股價可以在網站搜尋欄輸入創鑫智慧的公司名稱，即可查看創鑫智慧的股票行情、股價走勢圖等資訊(不一定有資料)。如果沒有報價，可以直接聯繫版主詢問。買方可以參考網站的賣價，賣方可以參考網站的買價，填寫好表單後，版主會直接透過LINE或者電話聯繫，討論後續成交細節。因為創鑫智慧是未上市股票，所以無法透過證券商系統進行買賣，想要買賣都是透過私人間交易，創鑫智慧股價也是經由雙方協議好的價位，成交後就可以約定辦理過戶事宜。

創鑫智慧股票的交易流程

交易流程如下：

1.報價撮合：

買賣方提出要投資創鑫智慧或要賣創鑫智慧時，版主都會先行報創鑫智慧的價位等，彼此協議出雙方同意的成交價格；成交後，按照約定的價款、股票交付方式進行下個流程。

2.賣方:約時間及地點交付創鑫智慧股票

未上市股票有實體股票的交割方式跟無實體的集保交割(375券商辦理或673帳戶匯撥)方式，要先確認好是哪一種。

賣方賣股:當雙方協議好成交價後成交，未上市專業投資人會先與賣方約定時間地點進行股票交割流程，當到了現場時(375無實體則要約集保庫存所在的券商)，確認賣方股票及印章沒問題時，則馬上匯款，當匯款確認收到時，則會用印，完成後銀貨兩訖了。股款都是透過電腦匯款，立即會入帳，過去地點都會約在銀行刷摺確認，但現在手機網路銀行查詢入帳方便，所以現在都以賣方方便的地點為主。賣方要備妥「股票」、「原印鑑」、「出讓人姓名與身分證字號」。(375無實體則是準備券商集保存摺、身分證、開戶印章)

3.買方:辦理過戶後約時間地點交付股票：

當雙方協議好成交價後，會確認股票是實體股票還是無實體股票，確認後未上市專業投資人會向買方收取身分證影本及印章(新戶會代刻印章)並確認股票交付的時間及地點，然後帶股票至該股票發行公司股務部門或所委託的股務代理機構，完成過戶的手續，並依與買方約定的時間地點，交付股票及收取款項(通常會用匯款方式所以比較常約在買方要匯款的銀行)，買方會取得1.完成過戶自己名下的股票、2.證交稅單(紅色)3.印章。(如果是375則會約在買方的券商，辦理匯入買方的集保)

4.如何確認創鑫智慧股票真偽?

買方若需確認創鑫智慧股票真偽無誤，可以在過戶完成後聯絡創鑫智慧的股務機構、確定股東姓名與股東戶號相同也可確認股票正面的號碼與股務留存的號碼是否一致。

注意事項：

創鑫智慧是未上市股票也是有價證券，建議當面交易，銀貨兩訖，避免郵寄過程遺失引發爭議。除非協調好遺失責任對方付完全責任，否則還是以當面交割較為安全。

創鑫智慧股票如何買賣?

創鑫智慧因為是未上市股票，所以無法透過證券商系統進行買賣，想要買賣都是透過私人間交易，只要雙方協議好價位，就可以約定辦理過戶事宜，至於找誰買賣，可以填寫網站的表單，或者直接加入LINE好友或直接來電聯繫版主，這樣就可以實現你想買賣創鑫智慧股票的需求。