Documentation Index
Fetch the complete documentation index at: https://docs.bricks.tools/llms.txt
Use this file to discover all available pages before exploring further.
BRICKS Buttress
預覽在合適的硬體上執行重量級模型。
BRICKS Buttress 是一項後端服務，將 LLM 推論、語音辨識等高運算量的 generator 工作從 BRICKS Foundation 裝置卸載至同一區域網路上更強大的機器。當平板或自助機台無法本機執行大型模型時，可透明地委派給 Buttress 伺服器處理，generator API 維持不變。
功能
快速開始
何時使用 Buttress
適合使用
- • 模型過大，無法塞入裝置
- • 區域網路上的多台裝置共用同一模型
- • 需要快速首字延遲的裝置
- • 對電池敏感的行動裝置部署
不需要使用
- • 已可在裝置上順暢執行的小型模型
- • 無區域網路的離線裝置
- • 單機原型或展示