Writing · 2026-07-01

雲端還是本地部署？AI 算力版圖大洗牌，老闆先問自己這三個問題

看到一則大新聞，心裡隱隱覺得「這跟我好像有關係」，但說不清楚到底該做什麼 ── 最近的 AI 晶片新聞就是這種感覺。

OpenAI 與博通聯手發布自研推理晶片 Jalapeño，從設計到流片只花九個月，背後還有規模 10 吉瓦的長期算力計畫；高通開始搶英偉達的 CUDA 生態；連 Anthropic 都傳出考慮自研晶片。科技媒體全在講「算力版圖大洗牌」。

但你真正在想的是：我現在用的雲端服務，明年會不會變貴？會不會斷？還是該趁現在認真評估本地部署？ 這才是你的問題 ── 不是晶片戰爭，是你公司下一步的基礎設施押哪邊。

先講一個現場：一位中型製造業老闆，產線已用 AI 做品質檢測，雲端算力費每季都在跳，看到晶片新聞後跑來問「我要不要現在就買 GPU Server 放公司？」我問他算過嗎，他說「沒有，但感覺現在買比較對」。

感覺對，不等於決策對。 順帶一提：Jalapeño 的「推理成本可能降五成」是方向不是價目表 ── 具體基準數字未公布，產能放量要到 2027 至 2028 年。你現在感受到的是「要變天了」的氣氛，而氣氛沒辦法拿來做決策。

問題一：你的 AI 負載是「突發型」還是「穩定型」？

突發型 ── 偶爾跑一次大報告、一季一次需求預測、活動期間才開的客服機器人。這類最適合雲端：不需要為峰值養一台機器 365 天，用多少算多少，不用時不收折舊也不收人事。

穩定型 ── 產線 24 小時跑影像辨識、每天固定量的資料處理、或有資料不能離開公司的合規壓力。這類本地部署的長期成本通常較划算 ── 前提是帳要算對。

實際算一次：那位老闆的品檢是 24 小時線上，但模型不大、推理需求不高，月雲端費約 12 萬、年 144 萬。一台能跑該負載的本地推理伺服器，含網路、機架、UPS 備援，380 到 420 萬起跳 ── 回本週期最快三年。三年後算力生態長什麼樣，沒人說得準。結論：他現在的規模，還沒到非得自己養機器的時候。

問題二：你的資料有沒有「不能出門」的理由？

有些行業法規寫死資料不能出境、有些客戶合約要求資料本地化 ── 這種情況沒得選，本地部署是底線，不用討論。

但更多老闆並沒有嚴格的合規要求，只是「感覺」上雲不安全。這個直覺值得尊重，但它不能成為花幾百萬買硬體的單一理由。該做的是資料分類：實務上，五種資料裡通常頂多一兩種真的碰不得，其餘都可以上雲。碰不得的認真評估本地或私有雲，其他交給雲端 ──

不是 all-in 一個方向，是混合。 連 OpenAI 自研晶片的目的之一都是做出能調度多品牌晶片的彈性軟體 ── 他們都在做混合了，你為什麼要非黑即白？

問題三：你有沒有人養得起這台機器？

本地部署不是買回來插電就好：要有人設定、維護、更新驅動、處理故障、跟進模型版本。如果現有 IT 人力連既有系統都管得吃力，高端 AI 伺服器的下場大概率是機房積灰。

真實案例看過好幾個：設備買回來了，工程師不懂這塊，那台幾百萬的 AI 算力最後拿來跑內網檔案伺服器 ── 存 Excel。

設備成本只是冰山上面那截；下面是工程師薪資、維運工時、出問題找人的機會成本。雲端最大的價值之一，就是把這坨維運麻煩外包出去 ── 這個價值算進總成本後，對還在成長期、人力未穩的公司，雲端往往還是贏。

整體判斷

• 短期（兩三年）：雲端不會因為新晶片突然變便宜，但競爭加劇、選擇變多。該做的是避免被單一供應商鎖死：多看幾家、合約別簽太長、別放棄資料轉移權。防守做好，就是議價主動權。
• 中期：AI 用量持續成長到某個規模，自建或 co-location 才開始有經濟意義 ── 但那個時間點是用數字算出來的，不是被新聞嚇出來的。「現在不買以後更貴」的恐慌不值得買單：算力的大方向本來就是越來越便宜，在恐慌高點衝進去，很少是對的。
• 提早認真評估本地部署的條件（四個同時成立才動）：有確定的合規壓力 | 資料確實不能出境 | 有工程師能養 | 負載夠穩定。少一個，先不急。

今日一個行動

開一張試算表，把公司現在跑的 AI 工作負載一項一項列出來，每項填四欄：

1. 突發型還是穩定型
2. 用到的資料有沒有不能出門的理由
3. 要在公司內跑的話，現在有沒有人能養
4. 現有雲端年費 vs 本地部署三年總擁有成本（硬體 + 人力 + 維運）

列完，你的混合架構策略自己就浮出來了 ── 不需要誰替你做決定，你的帳自己會說話。

技術新聞最容易做的一件事，是讓老闆覺得自己落後了、要趕快做點什麼。但你真正需要的不是趕快，是想清楚 ── 這兩件事，差距很大。基礎設施的決策不急，但不能不想；想完再動，每一分錢都花得踏實。

交流與邀約 ── lidien.fu@peakstargroup.com | lidien.net