"分布式推理" 标签

基于 Model Context Protocol (MCP) 的分布式后端实现，作为 LLM 客户端的上下文与能力服务中心，提供资源管理、工具注册与执行、Prompt 模板渲染等能力，并通过 JSON-RPC 方式进行通信；包含多节点架构、会话与能力声明，以及对 Stdio、SSE、WebSocket 等传输协议的支持，适配多种 LLM 应用场景。

基于 Rust 的 MCP（Model Context Protocol）服务器实现，整合 vLLM.rs 引擎，提供资源托管、工具注册与执行、Prompt 模板渲染等核心 MCP 功能，通过 JSON-RPC 风格通信与 MCP 客户端协同工作，支持多种传输场景并具备会话管理能力。