深入vLLM大模型推理引擎源码：Multi-LoRA启动、加载、推理过程详解
出处：
mp.weixin.qq.com
自2022年11月30日ChatGPT问世以来，58同城TEG-AI Lab紧跟大语言模型技术发展步伐，以Model as a Service（MaaS）为理念打造了大语言模型平台，平台于2023年5月上线，支持大语言模型训练、推理等功能，是面向内部开发者推出的一站式大模型开发及服务运行平台。基于58同城生活服务领域业务特性，我们在开源通用大语言模型的基础上，使用58同城生活服务领域数据继续训练，打造了垂类大语言模型——灵犀大模型。目前大语言模型MaaS平台中灵犀大模型已接入内部数百个业务场景，日推理流量达到数千万，25年底相比年初提升近5倍。
