• 文库
  • 字符
  • 转换
  • 加密
  • 网络
  • 更多
    图表
    数学
    坐标
    图片
    文件
  • 文库
    字符
    转换
    加密
    网络
    更多
    图表
    数学
    坐标
    图片
    文件
logo 在线工具大全

多快好省,Qwen3混合部署模式引爆MCP

出处: mp.weixin.qq.com

MCP的关键两步:模型如何智能选择工具和工具执行与结果反馈机制。在选择工具时,模型是通过 prompt 来确定当前有哪些工具。我们通过将工具的具体使用描述以文本的形式传递给模型,供模型了解有哪些工具以及结合实时情况进行选择,这一步会消耗大量token,所以我们选择了本地部署的小尺寸的Qwen3-0.6b,不仅节约了token,还加速了工具选择。承接上一步,我们把 system prompt(指令与工具调用描述)和用户消息一起发送给模型,然后接收模型的回复。当模型分析用户请求后,它会决定是否需要调用工具:无需工具时:模型直接生成自然语言回复;需要工具时:模型输出结构化 JSON 格式的工具调用请求。在这一步,为了输出效果的稳定性,我们选择了Qwen3-235b-a22b,并且经过测试,Qwen3-235b-a22b提供了与Deepseek-R1相同的能力。Qwen3-0.6b+Qwen3-235b-a22b的使用,不仅保证了结果的稳定性,加速了tool选择,同时在有大量描述的tool的场景下大大节省了token数,真正做到了“多快好省”。

查看原文 5 技术 lddgo 分享于 2025-05-20