最近AI项目层出不穷,更新不断,大家都能自己用电脑本地跑各种模型,AI绘画、语音克隆、语言大模型等,但本地跑的模型大部分都基于显卡算力,所以基本都需要台式机加持,显得很不方便。比如我过年回家就只能带一个笔记本,但即使性能再好的笔记本也不能与台式机的相匹配,于是最近研究了下做内网穿透。
小科普:所谓内网穿透就是将你本地的电脑服务公开化,将原来只能本地/局域网访问的内容,变成互联网大家都能访问
服务器我是不缺的,但都存在已有的服务,站点、程序后台等,标配都是宝塔。查了查宝塔的内网穿透插件已经禁止上架很久了,但命令行docker形式我也没跑通(我太菜了),于是在一顿折腾中找到了一个可用的插件,本文也借助前辈们的软件重新更新一下教程,帮助大家都能搭建自己的大模型服务。
本教程软件包下载:https://pan.quark.cn/s/5a64ee2063ab
一、首先打开宝塔,进入软件商店->第三方应用->导入插件
二、导入我分享的宝塔第三方插件
安装后在已安装里能找到这个插件,点击设置
三、安装frps服务
这里我是直接在线安装的,但毕竟是从GitHub上下载,而GitHub在国内网络抽风也不是一天两天了,如果你实在服务器联不通Git可以选择离线安装,就是导入你在Git上下载的安装包,一般选择liunx的。
这里要特别注意下版本,比如我们在线安装的都是最新版本,我现在是0.54.0,这个需要与客户端软件的版本对应上,以免出现问题。
四、配置端口
然后将上面我们的端口在宝塔和服务器安全组里都开启,比如我用到了7000、7001、7500,就在宝塔和我的阿里云安全组里开启放行。
五、宝塔启动frps服务
这里开启成功服务器端就OK了
六、本地客户端配置
这里我分享的是0.54.0版本,与我的后端frps服务是对应的,如果你后台版本有更新,可以按照我分享包里的软件更新说明.txt去下载新版,你是什么系统就下载对应的系统,我这里分享的是window本地客户端。
用记事本或代码编辑器打开frpc.toml文件编辑配置
比如我这里转发的本地的Stable Diffusion服务,端口地址填写正确保存即可。
注意这里的7000与7001都是与我后台frps服务对应的,如果你用的其它端口,请填写与后台一样
七、开启本地服务
启动命令frpc.exe -c ./frpc.toml,我的分享包可以双击批处理文件启动,自己下载的可以命令行输入即可开启
八、查看结果
我们在地址栏输入【http://你的服务器IP:7001】查看效果
成功访问,这里是公网访问了,就是你可以把这个网址分享给你的朋友,都可以用。
接下来你可以做域名接口转发等操作,甚至做成服务。
注意:将本地服务公开到网络有风险,请谨慎分享。
好了,教程就到这里,文章里写的方法可能并非最好,但我的标准是目的大于结果,达到目的就OK了,大佬们也不用喷,能帮到一些朋友就可以了。