本地部署大模型与内网穿透

前言

某个平台的客户需要使用 Ollama 提供的服务，但之前平台只考虑了OpenAI标准接口，出现了点问题，所以本地部署一个进行测试。
原本以为有些篇幅，但写完意识到没什么东西，那就当做水一篇博文了。

Ollama

其实Ollama安装以及运行模型都很简单，整个体感跟用Docker去拉镜像、运行镜像是一样的。
嗯.. 如下面代码所示，其实没什么可记录的，下载地址和模型的列表都可以在官网上看到：https://ollama.com/

只要使用【ollama run XXX模型名称】，Ollama就会自动拉取镜像（或运行），当然用【pull】也是一样的。

PS C:\Users\peish> ollama help
Large language model runner

Usage:
  ollama [flags]
  ollama [command]

Available Commands:
  serve       Start ollama
  create      Create a model from a Modelfile
  show        Show information for a model
  run         Run a model
  stop        Stop a running model
  pull        Pull a model from a registry
  push        Push a model to a registry
  list        List models
  ps          List running models
  cp          Copy a model
  rm          Remove a model
  help        Help about any command

Flags:
  -h, --help      help for ollama
  -v, --version   Show version information

内网穿透

这里只是想偷个懒，想看有没有一些小工具，果然微软有一个开发工具叫【dev-tunnels】，可以帮忙去把本地的端口映射出去。

下载地址以及文档：dev-tunnels

1、登录微软账号（-d 是使用授权码模式，单纯用微软账户似乎有些问题）

.\devtunnel.exe user login -d

2、将本机映射出去

.\devtunnel.exe host -p 11434 --allow-anonymous

然后这个工具就会吐出来一个地址，打开后在地址中确认一下就可以了。如果说SSL错误，就先把本机的代理关掉。