ollama 是一個非常好用的本地部署 LLM 的工具，適合任何人使用，下載安裝即可。
安裝 LLM#
我安裝了兩個大模型：8B 版本的 Llama 3 和 27B 版本的 Gemma 2。為此，分別運行：
ollama run llama3 和 ollama run gemma2:27b
之後，我們可能需要一個方便使用的互動界面。我選擇了 Open WebUI，使用 docker 安裝：
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
如果想使用英偉達 GPU 來驅動 Open WebUI，可以：
docker run -d -p 3000:8080 --gpus all --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:cuda
之後只需在瀏覽器打開 http://localhost:3000/ 即可使用，界面與 ChatGPT 相當類似：
集成到 Obsidian#
首先，在 Obsidian 的社區插件市場下載並啟用 Ollama 插件，然後配置好你想使用的指令和模型。配置完成後記得重啟一次 Obsidian，如此才能生效。
之後，在你需要使用 LLM 的文檔中直接點擊 Ctrl+P 或選中文本中 Ctrl+P 喚起命令工具，搜索你的命令名稱，如上圖中的「漢語總結」，調用即可。
