xLLM – 京东开源的智能推理框架

xLLM是什么 xLLM 是京东开源的高效智能推理框架,专为国产芯片优化,支持端云一体部署。框架用服务-引擎分离架构,服务层负责请求调度与容错,引擎层专注运算优化,具备多流并行、图融合、动态负载均衡等...
4天前
0460