vLLM 启动后被 Killed 的排错记录
1. 问题现象
启动 vLLM 推理服务后,进程没有打印 Python 异常栈,只在终端中显示:
本系列将分析ByteDance项目ABQ-LLM的源码,并将重点放在llama模型端到端性能测试上,ABQ-LLM的模型端到端性能测试是基于NVIDIA的FasterTransformer项目搭建的。ABQ-LLM的github仓库:https://github.com/bytedance/ABQ-LLMABQ-LLM论文链接:https://arxiv.org/abs/2408.08554FasterTransformer的github仓库:https://github.com/NVIDIA/FasterTransformer
在构建FasterTransformer时,由于需克隆第三方的cutlass和googletestgithub仓库用于性能对比,而github的访问不太稳定,导致构建缓慢或失败,可选的解决方案包括挂代理和使用github镜像,这里推荐使用github镜像,自己用下来效果比较好的是githubfast.com。在开始构建前在CMakeLists.txt中把相关git仓库的链接修改即可。
最近在实现一个LSM键值对存储系统时遇到了一个问题:
LSM键值对存储系统的DELETE操作是通过插入特殊的符号~DELETE~实现的,然而对于不同的value类型(string、int…),需要定义不同的代表删除的符号。为了定义不同类型的删除符号,初步实现如下:
1 | // 基模板类,提供value()方法获取删除符号,isDeleted()方法判断传入的值是否为删除符号 |