創鑫智慧公司新聞| IPO贏家未上市股票交流網

AI浪潮衝向全球，台灣新創公司創鑫智慧（NEUCHIPS）錨定智慧運算版圖的制高點，善用台灣的晶片設計優勢，以AI加速器的矽智財為錨地，成功開發出AI在不同特定應用的運算引擎與骨幹架構，並鏈結從雲端到邊緣的智慧運算解決方案，致力為台灣半導體業測繪出一條創新的智慧航道。

觀察目前科技的最新動態，不難發現人工智慧（AI）浪潮不僅持續推進關鍵的技術發展，今年的新冠肺炎疫情更促使各產業全面加速轉型，如今的AI發展，正顯見地推升至技術推廣與應用落地的競爭尖峰，智慧商機瞬間風起雲湧。

現在，就是科技產業要角各自定位這波趨勢是危機還是轉機的時刻。但開發AI的目標是什麼？創鑫智慧（NEUCHIPS）董事長暨執行長林永隆指明：「所有AI都一樣，當運算量很大的時候，要在一定的時間內完成，準確度要達到一定水準，耗的能量要越少越好，不然很多商業都無法運行。」

實現智慧普及化，就是目前全球AI技術發展的共同目標之一。台灣也不例外，科技部於2018年啟動了半導體射月計畫，目標是透過彙整台灣半導體領域的產官學資源，集中發展人工智慧終端（Edge AI）的核心技術。

創鑫智慧就是這項計畫的參與要角，他們鎖定了特定應用領域對AI運算解決方案的開發需求，從IC設計開始部署台灣原生的AI創新技術，2020年更宣布進駐新竹科學園區，顯露在產業應用面上的穩健成長動能。

作為新創公司，以矽智財（IP）開發者的身分出場，不能不說令人耳目一新。創鑫智慧由董事長暨執行長林永隆領軍，因此公司發展與他在晶片設計上的深厚專業背景密切相關。

林永隆博士同時也是清華大學資訊工程學系的教授，除了長年專注在IC設計與設計自動化的研究與教學，更進一步觸及機器學習技術，甚至組織了來自IC設計領域且具備業界前沿開發經驗的新創團隊，他看準的，就是AI運算將會在未來科技發展扮演關鍵推手的角色。

「Intelligence Everywhere是創鑫智慧的成立宗旨，」林教授表示，「要實現智慧運算或是演算法有很多方法，隨著AI模型越變越大，對準確度的要求越高，運算需求也會越來越大。」因此，提升運算效率成了關鍵。

那要如何提升效率？林教授接著解釋，其實有很多方法，可以從演算法、運算架構、電路到系統優化，都有很多地方可以著手，所以要分析要從哪裡開始進行，並針對問題提出可能的方案，再去實驗、分析。

足見智慧運算解決方案的開發工作，茲事體大，創鑫智慧也在持續關注市場與不斷創新開發的歷程中，摸索出一些在AI市場的生存脈絡。

具備AI運算的核心技術，創鑫智慧現已開發出三大核心產品，佈局擴及邊緣到雲端環境，目標應用涉及聽覺與視覺處理，以及運算加速，分別是用於語音處理的AI加速器引擎RNNAccel、其獨家開發的開源CNN演算法架構HarDNet，以及能夠優化雲端推薦系統的AI加速器引擎RecAccel。

「RNNAccel能聽得更明白，HarDNet能看得更清楚，RecAccel能想得更透徹，這些是我們產品的核心價值。」營運長陳建良一言以蔽之，整體而言，AI的應用範疇（spectrum）很廣，除了鎖定與眼睛、耳朵與大腦直接相關的智慧運算方案，創鑫智慧仍在持續嘗試相關的可配置方案。

事業開發經理陳品函進一步解釋，要實現Intelligence Everywhere，他們先找到耳朵，以聲音來說，課題可以很廣，從抗噪、語音辨識到翻譯。

「而IC設計是我們在行的，」在論及AI技術開發時陳品函侃侃而談，「所以我們的第一個產品RNNAccel以硬體優化切入開發，而且AI的領域非常多，但最後還是要交給電腦運算，包含一些通用硬體，像是CPU、GPU，它們雖然有很大的彈性，但問題是針對特定應用時，能耗就會比較差。」

因此，創鑫智慧在開發初期就聚焦在加速特定AI應用的硬體運算效能。「最好是電池運作的，」陳品函補充，「這些應用要更省電、效率要更好。」從硬體優化的角度切入，創鑫智慧不僅能發揮在晶片設計的專長，還能依據不同應用設計出更有效率的IC，讓尺寸更小、能耗更小，進一步降低整體成本。

「AI應用的預算控制（within budget）很重要，」林教授指出：「這就包括購置、運算和時間的成本。」他以挖礦機為例，一開始用的是CPU，但太耗電，之後改用GPU，也太耗電，後來就設計了挖礦機專用的ASIC。

「AI運算也是一樣，辨識影像要耗多少電，或是一焦耳的能量可以辨識多少影像。控制好這些成本，就是最好的AI運算。」他直言。

以語音處理的邊緣裝置為例，像是智慧音箱（smart speaker）、助聽器、穿戴式裝置、主動降噪（ANC）耳機等。陳品函表示，要在這些裝置上執行深度學習推論，運用傳統規則式演算法，效果有限，AI演算法卻可以更快、更省電，節省的能耗多達70%。

此外，要將智慧運算普遍導入裝端裝置，除了電力，對記憶體也有相當的限制。陳品函表示，RNNAccel的關鍵技術就是他們團隊開發的壓縮技術NeuCompression，不僅壓縮效果能從2x、5.3x、8x到高達16x的比例，同時還能達成比目前其他現有方案還更優異的精準度，對記憶體的需求也變小了。

除了考量終端硬體的負載限制與控制整體成本，面對未來AI普及化的多元應用需求，還要取得在通用與客製需求之間的性能平衡，進而開發出最佳化的智慧運算解決方案，這也會是產品開發的重要考量。

「AI是應用導向，該精準就精準，」陳品函舉例，例如ADAS對性能要求就比較嚴苛（critical），運算要跑得比車還快，該煞車就要煞車，但消費性應用就可以採用小模型，例如抗噪耳機。

IC設計是起點 卻不是終點

作為新創公司，本身在開發的時候就是挑戰，也有風險。但為何首先開發人工智慧IP，進入這塊高成長卻也高競爭的市場？

陳建良回應：「以早期發展來說，我們會希望以核心技術很快地進入市場，所以利用IP來推廣我們的核心技術。」但不同階段公司會有不同的規劃和發展，會隨著時空和環境調整，他也補充。

以IP模式經營，一般首先會想到的就是Arm，它是發展得相當成功的典範。陳品函則點出另一項關鍵：「我們初期沒有開發自己的IC，利用IP的形式設計產品，我們可以把AI當作基準，從應用演算法、到架構、到運算硬體著手開發，再把整體的解決方案進一步精簡，面對問題，我們也有能力從頭想到尾。」

談到完整的智慧運算解決方案，陳建良指出：「和台灣業界不一樣的地方，是我們有自行開發的HarDNet演算法，很多產業夥伴的演算法都來自他人的演算法，例如SDD-VGGNet或ResNet等，但那樣開發只能做到加速，不能改善，我們從核心技術紮根，所以可以從演算法、軟體到硬體架構進行改良，全面提升運算效能。」

另一方面，他也指出，在應用面，國內業界多半都在談AIoT、邊緣裝置端，非常少的團隊在討論雲端和資料中心的運算，這也反映他們觀察國內外市場在AI運算的開發需求上呈現出的差異。

「台灣很多在做高階手機，還有MCU，這些應用對AI的要求等級就會和其他應用很不一樣，」陳建良表示：「國外會做『微型智慧運算（Tiny ML、Tiny AI）』，這些運算模型被大幅簡化，好處是運算量非常低，所以電池和使用場景會非常不一樣，而美國矽谷在AI領域還是位居世界領導地位，所以比較強調高速運算、高精準度。」

洞察AI運算需求的市場差異性，創鑫智慧在2019年開發了第三款產品RecAccel，就是嘗試挑戰以資料中心應用為目標進行開發，期望將能加速雲端平台上的推薦系統效能。

「走一條和台灣現況不一樣的路，也是我們公司努力實現的目標，」陳建良表示：「傳統晶片和AI晶片供應鏈，在上下游的合作模式上會出現很大的差異。台灣的強項是快速晶片化、快速降低成本，對在世界各地快速普及技術有其貢獻。但在AI領域上，最大的不同是『演算法並不標準』，會根據使用場景進行調整，這對台灣來說，是非常不熟悉的IC開發方式。」

林教授舉了個有趣的例子：「在家看電影你可以使用PC或筆電，也可以拿DVD播放機，但後者很便宜，因為它只能做一件事情。」

陳建良坦言，往價值創造的方向發展，我們往往相對猶豫，台灣公司在創新方面，很多時候因為一開始無法標準化、規格化，或在績效指標上有好的成效，所以可能會扼殺很多創新和機會。

但他也建言，台灣的步調雖然相對保守，業界也希望能一擊中的，找到好的商業模式就可以利用台灣的優勢繼續發展。而這也是創鑫智慧成立的自我期許，那就是創造價值，所以我們從根本的演算法開始改善，再來是持續強化運算效率。

目前台灣半導體製造業也在導入AI，陳建良表示，利用HarDNet架構進行智慧影像應用，以提升製程良率，並即時發現錯誤；業界也在成立AI技術的研究單位，朝向智慧演算的目標穩健發展。

結語

展望2021年，陳建良表示，後疫情時代將持續加速AI發展，尤其是遠距應用帶動的影像辨識需求，將繼續注入強勁動能。創鑫智慧目前仍專注在核心引擎的開發，並根據目標市場動態，切出最有利基的市場。

國際組織也持續致力於推廣AI與機器學習技術的開發與應用，創鑫智慧便加入了其中的開放工程聯盟MLCommons（最初成立名為MLPerf），共有多達50多家來自產學界的創始成員，包含Google、Facebook AI、Intel、Nvidia、阿里巴巴以及聯發科。值得注意的是，這些創始成員中有15家就是新創團隊，足見新興技術帶動的發展動能和開發誘因不容小覷。

另一方面，AI演算法突破了傳統以規則為基礎的模型開發模式，在越來越多的特定應用中展現出高精準又符合開發成本的高運算效能。為了在建構新一代運算生態系的過程中，持續強化並創造台灣的產業價值，創鑫智慧未來也將持續整合學界的創新技術與產業的研發和實務能力，讓智慧應用更加普及。

創鑫智慧(NEUCHIPS)股份有限公司是技轉科技部「半導體射月計畫」成果衍生成立的公司。這家新創將「超低能耗深度學習加速器」順利轉變為矽智財(SIP)產品，受到產業界關注。最近該公司好消息頻傳，除了獲准進駐新竹科學園區設立辨公室之外，也在10月公布的MLPerf v0.7中嶄露頭角、更獲得知名IC設計公司採用其矽智財產品，預計推出整合該矽智財的智慧系統單晶片產品(AI SoC)，以滿足市場需求。

創鑫智慧的事業開發經理陳品函接受專訪時，揭露該公司三個主力產品線，加速了AI在聲音、影像、及推薦系統上的運算。第一個產品是RNNAccel，亦即前述的矽智財產品。該遞迴神經網路(RNN)加速器支援LSTM、GRU、FC、MLP，以及Vanilla RNN等神經網路。這類神經網路適合處理時間序列型資料，所以在主動抗噪(ANC)、心電圖(ECG)分析、異常偵測、及語音控制(Voice Control)等應用成效卓著。因此整合RNNAccel矽智財的晶片可應用在手機、智慧音箱，或是真無線藍芽耳機(TWS)等裝置，利用人工智慧強化聲音相關應用，取代傳統以規則為主(Rule-base)的解決方案。

創鑫智慧的RNNAccel產品內建專利壓縮技術，透過其開發工具，客戶能將神經網路模型進行壓縮，大幅降低記憶體需求，同時仍保有高準確度。除了壓縮技術之外，該產品也強調超低功耗。陳品函指出RNN是很耗費計算資源的模型，對客戶而言，只要使用ARM Cortex-M0等初階MCU，搭配RNNAccel就能執行人工智慧功能，讓客戶的晶片產品具有非常好的市場優勢。

第二項產品是HarDNet神經網路架構，這是基於CNN運算特性所設計的一個更快、更省電、更準確及更安全的神經網路架構。創鑫智慧與清大團隊2019年於ICCV會議上提出此架構，更被Papers-with-code網站評比為世界最先進的語意分割神經網路，尤其使用在物件辨識(Object Detection)、物件分類(Object Classification)、及多物件追蹤(Multiple Object Tracking)等影像應用上深具競爭優勢。除了將研究大方開源讓各方高手切磋外，創鑫智慧也提供HarDNet演算法、軟體、矽智財授權及顧問等服務。

第三個產品是RecAccel推薦系統加速器。源自於Facebook提出Deep Learning Recommendation Model (DLRM)，它適用於電子商務產品推薦、網路廣告、及多媒體內容推薦系統。

由於社群媒體與電商的快速發展，相關商品與用戶資料量成長驚人，每天超過300兆次推薦系統推論(inference)，而且數字仍持續成長，耗費大量的運算資源，同時電費成本水漲船高，不勝負荷，Facebook將其開源並在網路上廣邀英雄帖，期望能解決對應難題與挑戰。創鑫智慧第一時間便提出了硬體加速產品RecAccel來解決，並搭載在Intel Stratix 10 FPGA參加了第一屆的MLPerf Recommendation 項目來驗證此產品。值得一提的是，這個挑戰在時間嚴重壓縮下，只有創鑫智慧提出非CPU/GPU方案。

陳品函特別感謝各界夥伴的支持，尤其是國網中心TWCC高效能運算的服務，這個MLPerf的挑戰前後只有約八週的時間，在時程緊迫的壓力下，需要完成反覆的測試、驗證與跑分實驗，創鑫智慧使用TWCC的高效能運算、簡單易用的AI開發工具，以及多張V100 GPU運算資源，加速了實驗的收斂，最終才能如期完成任務。

由於台灣的伺服器供應鏈與生態系統在全球資料中心的市場上舉足輕重，未來對於Open Compute Project (OCP)的規格與支持具有強大的磁吸效應，商機無限。RecAccel前景有長足的發展機會，創鑫智慧也正積極擴充團隊，敬邀更多有志之士的加入一同加速成長，期望其能加值台灣的伺服器供應鏈，取得更好的市場地位，也同步成就創鑫智慧的光明未來。

科技部「半導體射月計畫」中，人工智慧硬體加速器發展領域取得重大突破，清華大學資工系林永隆教授領導的專案團隊，成功開發出「HarDNet」新型高效CNN網路架構。該技術不僅運算速度提升，同時能維持高辨識準確率，並已成功應用於多種硬體平台上。林永隆教授強調，該計畫旨在打造一個快速、準確、省電且安全的硬體加速器技術，以促進大量普及。此外，團隊已將技術開源，並提出多項專利申請，技術移轉收入達400萬元。現有研究人員透過技術轉移成立「創鑫智慧」新創公司，預計2021年中將推出首批產品，展現台灣AI技術的實力。

科技部的「半導體射月計畫」一共有17個團隊獲選，其中人工智慧硬體加速器的發展，有了嶄新又令人雀躍的成果發表，這個為期四年由清華大學資工系林永隆教授所領導的深度學習加速器硬體技術專案，技術團隊除了清華大學之外，還網羅交通大學與中原大學，一共6位教授，並帶領30位研究人員，已進行約兩年半的時間，於11月18日在科技部召開記者會，並由各團隊成員做現場的成果展示。

林永隆教授接受訪問時，清楚的指出該計畫是要做一個更快速、更準確、更省電與更安全的硬體加速器技術，同時在GPU、CPU、FPGA甚至是MCU的跨平台系統下皆可部署，如此一來才能大量普及，這個新開發的高效率CNN網路的架構稱為「HarDNet」。其改良了傳統網路的架構，減少架構中的捷徑連結，來降低記憶體搬運次數，藉此達到提升運算速度的效果，且同時能維持高辨識準確率，目前在影像辨識、物件識別、特徵診斷等領域，展現強大的效益，當初為了找出技術的突破瓶頸時，在研究過程中，發現從網路基礎架構上著手改善，自此有了全新的出發點。

今時HarDNet所展現的效益，超越知名的DenseNet或ResNet的網路架構，尤其搭配諸如SSD、RFB、CenterNet等演算法，能更快更準確地執行影像的圖像分類 (Image Classification)、圖像語義分割 (Semantic Segmentation)，以及物件偵測與追蹤(Object Detection/Tracking)等廣泛的應用與功能，目前的技術團隊已成功將HarDNet應用於包括GPU、智慧型手機(CPU/DSP)、Raspberry Pi與FPGA的運算平台上。

林永隆團隊將HarDNet放在開源軟體平台如GitHub上分享各界使用，推廣到全球，目前該團隊提出13項專利申請，其中已經有5項獲得專利，同時初步獲得新台幣400萬元的技術移轉收入，在論文提交上的斬獲也不遑多讓，在AI學術界的頂尖會議如ICCV、AAAI、ICML等發表多篇成果。

這個專案開發需要龐大且反覆的CNN骨幹網路進行訓練模擬，透過國網中心的TWCC (Taiwan Computing Cloud)高速運算資源，以高性能GPU且同步運算方式，讓CNN網路的運算與驗證效率大幅改善，TWCC平台提供珍貴的資源，貢獻重要的價值，讓研發團隊可以快速掌握進度。

加速台灣AI新創公司的成立，期待2021年正式產品上市初試啼聲

這些現場展示的平台中，可以看到HarDNet新型網路架構做為骨幹網路的效能，提供在GPU、FPGA、Raspberry Pi、LG G8 智慧型手機等不同的硬體平台上都展現一致性的高效率與省電的強大優勢，林永隆教授認為學術團隊的全方位合作，搭配科技部與國網中心投注的資源，成就一般方法所做不到的成果，同時透過開源軟體的開放學習與自由創意的研究氛圍，讓這個計畫具有長遠的發展契機。

目前已經有團隊內先期研究人員透過技轉而成立的「創鑫智慧」新創公司，其首批開發的矽智財將整合於SoC晶片中，初步以高階智慧語音辨識與處理的應用，即將於2021年中將在市場上初試啼聲，未來與產業界的互動將會更為密切積極，讓HarDNet技術可以為台灣產業界做出更大的貢獻。