banner
虫子游戈

虫子游戈

一个写故事的人类
mastodon
email

本地部署LLM並集成到Obsidian

ollama は、非常に便利なローカルデプロイメントツールである LLM のツールです。誰でも使用できますので、ダウンロードしてインストールするだけです。

LLM のインストール#

私は 2 つの大きなモデルをインストールしました:8B バージョンの Llama 3 と 27B バージョンの Gemma 2。それぞれ次のコマンドを実行します:

ollama run llama3 および ollama run gemma2:27b

その後、使いやすいインタラクティブなインターフェースが必要です。私はOpen WebUIを選びました。Docker を使用してインストールします:

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

Open WebUI を NVIDIA GPU で使用したい場合は、次のようにします:

docker run -d -p 3000:8080 --gpus all --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:cuda

その後、ブラウザで http://localhost:3000/ を開くだけで使用できます。インターフェースは ChatGPT と非常に似ています:

image

Obsidian への統合#

まず、Obsidian のコミュニティプラグインマーケットから Ollama プラグインをダウンロードして有効にします。その後、使用したいコマンドとモデルを設定します。設定が完了したら、Obsidian を再起動することを忘れないでください。

image

その後、LLM を使用するドキュメントで直接 Ctrl+P をクリックするか、テキストを選択して Ctrl+P を押してコマンドツールを呼び出し、検索ボックスにコマンド名を入力します。上の画像の「汉语总结」のように呼び出すことができます。

image

読み込み中...
文章は、創作者によって署名され、ブロックチェーンに安全に保存されています。