只要没人用AI改进了推理引擎,就证明Agent圈子都在吹牛逼。
天天用AI,既然这么容易,为啥不用AI搞个推理引擎?
推理引擎目前也就llama.cpp, vllm, sglang几个宝贝。既然AI这么厉害,需求有这么大,按道理,搞各种语言版本的推理引擎,应该是顺利成章啊。
尤其是视频大模型,难用得让人想吐。这帮Agent达人,天天受苦,却不去改进它,说不过去啊。
原来是废柴,有了AI,也不是个披了AI华丽遮羞布的光鲜的废柴。
只要没人用AI改进了推理引擎,就证明Agent圈子都在吹牛逼。
天天用AI,既然这么容易,为啥不用AI搞个推理引擎?
推理引擎目前也就llama.cpp, vllm, sglang几个宝贝。既然AI这么厉害,需求有这么大,按道理,搞各种语言版本的推理引擎,应该是顺利成章啊。
尤其是视频大模型,难用得让人想吐。这帮Agent达人,天天受苦,却不去改进它,说不过去啊。
原来是废柴,有了AI,也不是个披了AI华丽遮羞布的光鲜的废柴。