以前Ubuntu22LTS用にOllama on DockerとGPUを連動させる方法を書きましたが、
Ubuntu24LTSでは少し手順が変わったようなので、メモ
実際のところ
必要なツール群の整備
sudo apt update sudo apt install -y apt-transport-https ca-certificates curl wget
対象リポジトリを導入
sudo rm -f /etc/apt/sources.list.d/nvidia-container-toolkit.list echo 'deb [signed-by=/etc/apt/keyrings/nvidia-container-toolkit.gpg] https://nvidia.github.io/libnvidia-container/stable/deb/amd64/ /' \ | sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list
GPG keyの登録
sudo mkdir -p /etc/apt/keyrings curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey \ | sudo gpg --dearmor -o /etc/apt/keyrings/nvidia-container-toolkit.gpg
nvidiaツールキットを導入
sudo apt update sudo apt install -y nvidia-container-toolkit
DockerにvGPUをセット
sudo nvidia-ctk runtime configure --runtime=docker sudo systemctl restart docker