问题详情
首先感谢modelscope提供平台！让个人用户也有会接触并使用大模型！
Q：模型服务中部署模型，基于vllm架构如何指定参数？
根据vllm的doc，启动命令需要添加–enable-auto-tool-choice –tool-call-parser hermes， 但平台部署只看到环境变量的配置，没有看到指定参数的能力。
版权：言论仅代表个人观点，不代表官方立场。转载请注明出处：https://www.stntk.com/question/631.html
还没有评论呢，快来抢沙发~