BRICKS Buttress
預覽在合適的硬體上執行重量級模型。
BRICKS Buttress 是一項後端服務，將 LLM 推論、語音辨識等高運算量的 generator 工作從 BRICKS Foundation 裝置卸載至同一區域網路上更強大的機器。當平板或自助機台無法本機執行大型模型時，可透明地委派給 Buttress 伺服器處理，generator API 維持不變。
功能
快速開始
何時使用 Buttress
適合使用
- • 模型過大，無法塞入裝置
- • 區域網路上的多台裝置共用同一模型
- • 需要快速首字延遲的裝置
- • 對電池敏感的行動裝置部署
不需要使用
- • 已可在裝置上順暢執行的小型模型
- • 無區域網路的離線裝置
- • 單機原型或展示