「AI」我前几天选择自建的时候,Agent运行速度最高到了85 token/s,听起来非常快,但每次启动耗时太久了。现在选择主流的方案之后,第一版跑出的速度是38 token/s,但启动和思考毫无延迟,导致实际观察到的速度远比云端Agent快很多,让我怀疑是假的AI……当然,运行成功后,现在开始进入提速阶段。
「AI」我前几天选择自建的时候,Agent运行速度最高到了85 token/s,听起来非常快,但每次启动耗时太久了。现在选择主流的方案之后,第一版跑出的速度是38 token/s,但启动和思考毫无延迟,导致实际观察到的速度远比云端Agent快很多,让我怀疑是假的AI……当然,运行成功后,现在开始进入提速阶段。
阅读:0
点赞:0