実際のところ
下準備
$ curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey \
| sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg
$ curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list \
| sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' \
| sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list
パッケージの更新
$ sudo apt-get update
$ sudo apt-get install -y nvidia-container-toolkit
GPU使用の設定
sudo nvidia-ctk runtime configure --runtime=docker sudo systemctl restart docker
GPUつきの起動
オプション”--gpus=all”
docker run -d --gpus=all -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
RTX4070(18Gbyte)で実行したところ、目に見えて早くなりました。
主観ですが、出たてのGPT-4よりちょい早いような印象
