MTT S80在Ubuntu下进行ollama推理
前提：已经安装了MT GPU驱动
安装vim
sudo apt install vim
安装MUSA Toolkit。
进去musa toolkit安装包所在目录，右键空白处打开终端。
解压安装包
tar -zxvf musa_toolkits_4.0.1.tar.gz
转到解压目录
cd musa_toolkits_install
sudo bash ./install.sh -u
sudo bash ./install.sh
安装成功之后出现的：
正常安装完毕后，终端会输出如下提示：
Successfully installed MUSA in /usr/local/musa
Please export /usr/local/musa/bin to PATH in ~/.bashrc
export PATH=/usr/local/musa/bin:${PATH}
Please export /usr/local/musa/lib to LD_LIBRARY_PATH in ~/.bashrc
export LD_LIBRARY_PATH=/usr/local/musa/lib:${LD_LIBRARY_PATH}
下一步设置环境变量
vim ~/.bashrc
在打开文件的末尾加入下面的指令
export MUSA_INSTALL_PATH=/usr/local/musa
export PATH=$MUSA_INSTALL_PATH/bin:$PATH
export LD_LIBRARY_PATH=$MUSA_INSTALL_PATH/lib:$LD_LIBRARY_PATH
之后输入重启指令
source ~/.bashrc
验证是否成功
musa_version_query
如果看到下面的图片，说明你就安装成功musa toolkit了。
安装muDNN
进去muDNN压缩包的目录下面，右键空白处打开终端。
tar -zxvf mudnn_2.8.1.tar.gz
之后打开解压后的mudnn文件夹，右键属性，复制上级文件夹的的路径。之后另外开一个终端：
sudo -i
输入密码之后填
cd 文件夹路径
在之后执行指令
cd mudnn && ./install_mudnn.sh -i
之后设置muDNN的环境变量，和musa toolkit的设在一模一样
vim ~/.bashrc
在末尾填上下面的代码：
DNN_PATH=$(realpath mudnn)
export LD_LIBRARY_PATH=${DNN_PATH}/lib:$LD_LIBRARY_PATH
重启指令
source ~/.bashrc
之后输入musa_version_query，你会看到上一步成功安装musa toolkit时候出现的一大串东西，你仔细找找有没有mudnn的那一串代码，有就对了。
到此为在，MTT S80的所有程序都安装完毕了。
docker换源
sudo usermod -aG docker $USER
之后复制下面代码运行
sudo tee /etc/docker/daemon.json <<-'EOF'
{
"registry-mirrors": [
"https://docker.m.daocloud.io",
"https://docker.imgdb.de",
"https://docker-0.unsee.tech",
"https://docker.hlmirror.com",
"https://docker.1ms.run",
"https://func.ink",
"https://lispy.org",
"https://docker.xiaogenban1993.com",
"https://hub.uuuadc.top",
"https://docker.anyhub.us.kg",
"https://docker.chenby.cn",
"https://dockerhub.jobcher.com",
"https://dockerhub.icu",
"https://docker.ckyl.me",
"https://docker.awsl9527.cn",
"https://docker.hpcloud.cloud",
"https://atomhub.openatom.cn",
"https://docker.m.daocloud.io",
"https://docker.mirrors.ustc.edu.cn",
"https://hub-mirror.c.163.com",
"https://mirrors.tencent.com"
]
}
EOF
也可以手动换源
sudo vim /etc/docker/daemon.json
之后重启docker
sudo systemctl restart docker
在容器中下载ollama
sudo docker pull mthreads/ollama:latest
运行docker容器
docker run -it -d --name=ollama -v ./ds:/root/.ollama mthreads/ollama
进入容器
sudo docker exec -it ollama bash
拉取模型
ollama run deepseek-r1:1.5b
之后就可以开始对话了！
macos安装sunshine
文档来源：macos安装sunshine（2024年全网最全完整）教程也适用于pve黑苹果 - 哔哩哔哩
折腾了两天，最终还是放弃了。消磨太多时间了，头都秃了TT。
千问
命令行
deepseek