banner
虫子游戈

虫子游戈

一个写故事的人类
mastodon
email

如何在Obsidian中使用LLM

轉載自機器之心

工欲善其事,必先利其器。使用好用的工具可以極大地提升我們生產和學習的效果和效率。今天我們要介紹一套基於 Obsdian 的 AI 工具組合,其中包含部署本地 LLM 的 Ollama 和兩個 Obsdian 插件(BMO Chatbot 和 Ollama)。

這套工具不僅能幫助我們分析筆記、做總結、想標題、寫代碼,還能幫助我們大開腦洞,為我們續寫內容和提供建議。

Obsidian 簡介#

Obsidian 是目前最受歡迎的筆記工具之一,但它的能力遠不止此。你不僅能將其用作筆記本,還可以將其作為你的個人知識庫和你的文檔生產力工具!許多人甚至將其稱為自己的「第二大腦」。

它的優勢包括:支持 Markdown、具備豐富的插件生態、支持自定義主題風格、支持 Wiki 式的文檔鏈接、內置關係圖譜、基本功能完全免費、完全支持本地存儲……

這諸多優勢幫助 Obsidian 在全球範圍內收穫了大量用戶。你能在網上看到很多人分享使用該工具學習知識、寫作論文、創作小說、計劃日程乃至管理生活中一切事物的經驗,以至於圍繞該工具已經形成了頗具規模的利基市場 —— 模板、課程以及預配置好的資料庫(vault)都能成為商品。這也從另一個角度佐證了 Obsidian 的非凡能力。

image

(圖注)Obsidian 在哔哩哔哩和 YouTube 上都是非常受歡迎的話題

總之,如果你正在尋找一個好用的學習和生產工具,或者說想要為自己構建一個第二大腦,Obsidian 絕對值得一試!

為什麼要在 Obsidian 中使用 LLM?#

無需懷疑,我們現在正處在大模型時代。它們不僅能幫助我們提升效率和生產力,也能幫助我們創新和探索更多可能性。

人們也已經開發出了 LLM 的許多妙用,這裡我們簡單展示一些你可以在 Obsidian 中實現的用法,助你見微知著,去探索和發現更多有趣或有用的用法。

第一個例子便是筆者在前一段中忘記了「見微知著」這個成語時,無需額外使用搜索引擎或撥打求助電話,只需問詢一下旁邊待命的聊天機器人,便很快得到了我想要的結果。

image

這裡用到了 BMO Chatbot 這個插件,其能以聊天機器人的形式將 LLM 整合進你的 Obsidian。該插件還能讓你基於當前文檔進行聊天。如下所示,我們讓 LLM 用漢語總結了這篇英語報導並建議了一些標題:

image

當然,幫你續寫故事自然也不在話下。下面我們讓 LLM 幫助續寫弗雷德里克・布朗那篇著名的世界上最短的小說:

地球上最後一個人獨自坐在房間裡,這時,忽然響起了敲門聲……

image

這裡使用了另一個插件 Ollama 和預配置的命令,其提詞為:「根據以上內容,續寫故事。要求續寫 200 字,人物風格保持一致,同時為後文留下懸念。」

另外,可以明顯看到這個插件的運行速度更慢一點。這是因為此處使用了本地安裝的 LLM—— 一個 8B 版本的 llama3.1 模型,其運行速度受限於當前的硬件。

好了,示例就到這裡。下面來看如何安裝和使用這些插件和 LLM 吧。

安裝本地 LLM#

對我們大多數人來說,本地計算機能夠運行的 LLM 的性能自然無法與 OpenAI 等大公司提供的在線服務相比,但本地 LLM 的最大優勢是數據的隱私和安全 —— 使用本地 LLM,你的所有運算都在自己的計算機上完成,不必擔心你的數據被傳輸給服務提供商。

當然,如果你並不在意自己的筆記隱私,那麼使用在線服務也能很好地完成你的任務,也就完全可以略過這一步驟了。

為方便本地使用 LLM,我們要用到一個名叫 Ollama 的工具。Ollama 是一個非常好用的本地部署 LLM 的工具,適合任何人使用,下載安裝即可,地址:https://github.com/ollama/ollama/releases

之後,進入 Ollama 支持的模型庫:https://ollama.com/library ,根據你自身的需求和計算機硬件選擇模型,之後運行相應的代碼即可。比如如果你想安裝一個 8B 參數的經過指令微調和 Q8_0 量化的 Llama 3.1 模型,就運行:ollama run llama3.1:8b-instruct-q8_0

image

當然,你也可以安裝多個不同規模或針對不同任務(比如編程)微調過的模型,這樣可以方便在需求不同时在速度和生成效果之間權衡選擇。

安裝和配置 BMO ChatBot 和 Ollama 插件#

這兩個插件都已上線 Obsidian 的社區插件市場,搜索、下載並啟用即可。

image

配置 BMO Chatbot 插件#

進入選項,你可以在 General 設置中選擇你已經安裝的本地模型或配置的在線模型。如下圖所示,我這裡本地安裝了一個 Llama 3.1 和一個 Llama 3,同時配置了 OpenRouter 的 API(可訪問大量模型)和一個智譜的在線語言模型 GLM-4-Flash。下面可以設置最大 token 數、溫度(0-1 之間,值越大生成的文本越有創意)以及選擇是否索引當前筆記。

image

Prompts 中可以通過筆記設置系統提詞。

而在更下面的 API Connections 區域,你可以配置在線模型。

image

配置完成之後,便可以通過 Obsidian 右邊欄或使用 Ctrl+P/Cmd+P 快捷鍵使用這些 LLM 了。

除了使用 BMO 聊天機器人,該插件還支持用 LLM 重命名當前文檔以及使用選中文本作為提詞生成內容。

image

配置 Ollama 插件#

Ollama 插件僅支持前面通過 Ollama 安裝的本地模型,但其優勢是可以預配置常用提詞命令,之後通過 Ctrl+P/Cmd+P 就能方便調用。

image

下面是一個代碼生成示例:

image

結語#

Obsidian 結合 LLM 工具能為我們的學習和生產工作帶來極大的便利。Obsidian 作為一款強大的筆記工具,不僅支持豐富的插件生態,還能通過本地部署 LLM 來提升我們的效率和創新力。

安裝和使用 BMO Chatbot 和 Ollama 插件,讓我們能夠輕鬆地將 LLM 融入 Obsidian,從而實現筆記分析、總結、標題生成、內容續寫等多種功能。這不僅能讓我們節省時間和精力,還能激發我們的創造力。

當然,在使用這些工具的同時,我們也應關注數據隱私和安全問題。本地部署 LLM 能夠保證我們的數據不離開個人設備,從而降低數據洩露的風險。

總之,Obsidian+LLM 為我們打開了一扇新的大門,讓我們能在信息爆炸的時代更好地利用科技力量,提升自我。

載入中......
此文章數據所有權由區塊鏈加密技術和智能合約保障僅歸創作者所有。