寶蘭德 AIOS 智算平台助力研究機構加速推進科學領域的AI發展

客戶： 一家知名的研究機構，致力於透過運算與人工智慧驅動的方法推動科學發現，並支援跨領域的研究人員、教職員及學生。

產業： 科學研究／高等教育

挑戰

該研究所曾建置一套採用異質運算資源的人工智慧運算平台，用以支援人工智慧專案與研究活動。然而，若干關鍵挑戰卻阻礙了生產力與效率：

• 運算基礎架構碎片化 – 來自多家供應商的各式硬體加速器各自為政，每種加速器皆擁有專屬的驅動程式堆疊與管理介面，導致整體利用率偏低，且研究人員需耗費漫長的時間等待。
• 開發工作流程效率低下 – 研究人員耗費過多時間在環境設定、依賴項管理以及將演算法移植至不同硬體類型上，導致本應投入科學探索的精力被分散。
• 生命週期管理複雜 – 從演算法開發、模型訓練到推論部署及代理程式建構，整個 AI 研發流程需要使用不一致的工具並進行手動交接，從而拖慢了迭代週期。
• 可視性與治理能力有限 – 由於缺乏全面的監控與資源核算機制，該研究所難以追蹤運算資源消耗、識別閒置容量，或有效規劃容量投資。

目標

該研究所尋求一套新一代智慧運算平台，以達成以下目標：

• 將異質運算資源整合於單一調度框架之下，並將硬體複雜性進行抽象化處理。
• 透過整合式自助服務環境，簡化整個 AI 研發生命週期——從開發、訓練到部署及代理程式協調。
• 透過將基礎架構開銷降至最低，並讓研究人員能專注於領域特定的創新，從而加速科學成果產出。
• 提供彈性擴展能力，以同時處理小型探索性實驗與大規模分散式訓練工作負載。
• 透過使用情況追蹤、多維度分析及主動優化，實現細粒度的資源治理，以最大化運算投資回報。

解決方案

該研究所部署了寶蘭德 AIOS 智算平台——這是一套專為滿足人工智慧驅動研究之獨特需求而設計的系統。

統一的異質式調度——AIOS ，將所有運算資源整合為一個緊密相連的資源池。研究人員提交工作任務時無需指定目標硬體；平台會根據效能需求與資源可用性，智慧地將工作負載與最適合的可用資源進行配對，將分散的資源轉化為一個流暢且以服務為導向的環境。

端到端 AI 開發工具鏈——該平台提供一個涵蓋完整 AI 生命週期的整合環境：

• 演算法開發 – 預先配置的工作區內含主流 AI 框架與開發工具，讓研究人員能在數分鐘內建立隔離環境。
• 一站式模型訓練與微調 – 提供從單節點到分散式多節點訓練的靈活資源配置，並具備自動檢查點儲存與故障恢復功能。
• 模型推論優化 – 針對大規模與傳統模型提供統一的服務部署，包含服務管理與呼叫分析。
• 代理工廠 – 一個用於建構、協調與部署 AI 代理的低代碼環境，配備完整模板、知識庫及工具庫。

開放且可擴展的架構 動態適應介面與模組化元件，讓該研究所能快速整合新興的 AI 技術——包括新的訓練框架、推論引擎及工程工具鏈——確保平台能隨著快速變化的 AI 發展趨勢持續演進。

全面治理 對運算資源消耗的細粒度可視化、即時監控以及主動的閒置資源警示，使該研究所能夠優化資源利用率、消除浪費，並做出以數據為依據的容量決策。

成果

統一運算架構
該平台消除了硬體孤島，讓各領域的研究人員無需面對特定供應商的複雜性，即可無縫存取整合式的運算資源池。

提升研究生產力
預先整合的框架、可重複使用的範本以及自助式工作區，將環境設定時間從數週縮短至數小時，顯著縮短了跨多個科學領域從構想到執行的週期。

優化資源利用率
透過智慧排程與主動監控，整體運算利用率已大幅提升，使研究人員得以在相同的實體基礎設施下進行更多研究。

彈性擴展能力
該平台能處理從小型實驗到大型模型分散式訓練等各類任務，讓研究人員能根據當下需求彈性調整工作負載規模，無需過度配置資源。

面向未來的基礎架構
開放且模組化的架構確保平台無需重新架構，即可支援新的硬體加速器與 AI 創新技術，從而保障該研究所的長期投資。

戰略影響
寶蘭德 AIOS 已成為該研究所 AI 驅動研究計畫的基礎運算層。透過抽象化基礎設施的複雜性並提供統一的自助服務環境，該平台讓科學家能專注於推進知識——為研究機構如何建立敏捷、可擴展且高效的 AI 運算能力，以推動下一代科學發現，樹立了參考典範。