天啦擼！回溯你在網(wǎng)上看過(guò)、做過(guò)的一切，也有免費(fèi)軟件可用了！

簡(jiǎn)單說(shuō)，針對(duì)任何“之前好像在哪看過(guò)”的電腦文件，只需輸入相關(guān)搜索詞，這個(gè)軟件都能幫你一鍵輕松回憶了。

打開(kāi)方式be like（沒(méi)錯(cuò)，也有中文版）：

你品，你細(xì)品。這像不像《黑鏡》中“你的全部歷史”那一集，描述了一種人人都植入芯片、能隨時(shí)讀取過(guò)去記憶的未來(lái)生活。

更有意思的是，發(fā)明這個(gè)軟件的朋友將其命名為Pensieve （冥想盆），它是指”哈利波特中提取和回顧記憶的那個(gè)大水盆子”。

笑死，你別說(shuō)還真貼切！事實(shí)上，這個(gè)項(xiàng)目大量借鑒了之前就很火的“記憶助手軟件”Rewind和微軟的Windows Recall功能。

但是，這兩個(gè)emmm……Rewind要收費(fèi)（基礎(chǔ)版12美元/月），微軟的延期了。

所以，既免費(fèi)、又立即可用的Pensieve是真香了！

這不，代碼更新后迅速登上了GitHub熱榜~

記住并回憶電腦屏幕上的所有內(nèi)容

我們先來(lái)看GitHub頁(yè)面上Pensieve（原名為Memos）的官方介紹：

一個(gè)以隱私為中心的被動(dòng)錄制項(xiàng)目。它可以自動(dòng)記錄屏幕內(nèi)容，構(gòu)建智能索引，并提供方便的網(wǎng)頁(yè)界面以檢索歷史記錄。

是不是聽(tīng)起來(lái)還是有點(diǎn)抽象？

別急，我們馬上拿Rewind和Windows Recall來(lái)一波回憶殺（doge）。

先說(shuō)微軟畫了很久的大餅——Windows Recall。這個(gè)功能是今年5月首次被提出的，當(dāng)時(shí)微軟計(jì)劃將其作為Copilot + PC的一項(xiàng)旗艦功能推出。

當(dāng)時(shí)主打，任何文件或網(wǎng)頁(yè)瀏覽記錄都可以用自然語(yǔ)言搜索，輕松回憶任何東西。

然而，由于安全方面的擔(dān)憂，該功能的發(fā)布被一再推遲，且至今仍未上線。

細(xì)數(shù)一下，微軟最初計(jì)劃于6月18日發(fā)布，但由于安全問(wèn)題，到了時(shí)間點(diǎn)卻未能按時(shí)上線。

后來(lái)微軟對(duì)其進(jìn)行了改進(jìn)，加入了高級(jí)加密和Windows Hello認(rèn)證，數(shù)據(jù)被保存在VBS安全區(qū)中，第三方應(yīng)用和用戶無(wú)法訪問(wèn)，而且截圖將自動(dòng)排除諸如密碼和信用卡信息等敏感內(nèi)容。

一番改造后，微軟又計(jì)劃在10月底開(kāi)始測(cè)試新版本的Windows Recall。

直到今日，該功能仍未上線，微軟還在改改改……

此外，對(duì)于“記憶助手”Rewind，雖然干得熱火朝天，但奈何它是收費(fèi)滴。

Rewind成立于2020年，主打通過(guò)AI技術(shù)捕捉和整理用戶的全部生活內(nèi)容。

具體功能和Windows Recall類似，也是幫助用戶記錄并回溯在手機(jī)或電腦上看過(guò)的所有信息。

不過(guò)除了走到“回憶起”這一步，Rewind走得更遠(yuǎn)了一點(diǎn)。

它還接入了GPT-4，能夠?qū)@些“記憶”進(jìn)行更深一步的操作，使得用戶可以通過(guò)提出問(wèn)題、創(chuàng)建摘要等方式與系統(tǒng)進(jìn)行交互。

而就在Rewind功能更加完備的過(guò)程中，它也收獲了資本的青睞。

截至今年初，Rewind已經(jīng)完成了兩輪融資，共計(jì)2790萬(wàn)美元，估值約為3.5億美元（25.34億人民幣），而且兩輪中都有OpenAI CEO Sam Altman和a16z的身影。

相比之下，根據(jù)項(xiàng)目作者的說(shuō)法，Pensieve的最大特點(diǎn)在于：

允許用戶完全控制自己的數(shù)據(jù)，避免將數(shù)據(jù)傳輸?shù)讲豢尚诺臄?shù)據(jù)中心。

具體而言，Pensieve擁有以下幾個(gè)特點(diǎn)：

• 簡(jiǎn)單安裝，只需通過(guò)pip安裝依賴項(xiàng)即可開(kāi)始；
• 所有數(shù)據(jù)均本地存儲(chǔ)，允許完全本地操作和自主數(shù)據(jù)管理；
• 實(shí)現(xiàn)全文和向量搜索；
• 與Ollama（一個(gè)支持本地部署LLM的開(kāi)源框架）集成，增強(qiáng)搜索能力；
• 支持Mac和Windows（Linux支持正在開(kāi)發(fā)中）；
• 兼容任何OpenAI API模型（例如，OpenAI、Azure OpenAI、vLLM等）；
• 允許用戶選擇和設(shè)置語(yǔ)言模型（包括中文和英文）；
• 允許通過(guò)插件擴(kuò)展功能；

下面重點(diǎn)介紹大家關(guān)心的幾個(gè)問(wèn)題。

第一，需要占用多少存儲(chǔ)。

作者貼心預(yù)估了一下，每月按20個(gè)工作日計(jì)算，產(chǎn)生的截圖文件約8GB。截圖會(huì)進(jìn)行去重，如果連續(xù)截圖內(nèi)容變化不大，那么只會(huì)保留一張截圖。

SQLite數(shù)據(jù)庫(kù)大小取決于索引的截圖數(shù)量，10萬(wàn)張截圖索引后約占用2.2GB存儲(chǔ)空間。

第二，關(guān)于功耗和硬件設(shè)備。

Pensieve默認(rèn)需要兩個(gè)計(jì)算密集型任務(wù)：1）一個(gè)是OCR任務(wù)，用于從截圖提取文本；2）另一個(gè)是嵌入任務(wù)，用于提取語(yǔ)義信息和構(gòu)建向量索引；

對(duì)于前者，作者使用CPU執(zhí)行，并針對(duì)不同的操作系統(tǒng)優(yōu)化以最小化CPU使用。

而對(duì)于后者，作者認(rèn)為可以按照自己的設(shè)備進(jìn)行選擇：

• NVIDIA GPU設(shè)備優(yōu)先使用GPU；
• 蘋果設(shè)備優(yōu)先使用Metal GPU；
• 其他設(shè)備使用CPU；

當(dāng)然，為了避免影響用戶日常使用，Pensieve還采取了優(yōu)化措施。

一方面，Pensieve能夠根據(jù)用戶的活動(dòng)模式動(dòng)態(tài)調(diào)整索引構(gòu)建的頻率。也就是說(shuō)，在用戶使用電腦時(shí)，它會(huì)降低索引構(gòu)建的優(yōu)先級(jí)，以減少系統(tǒng)資源的占用。

另一方面，Pensieve在設(shè)計(jì)時(shí)考慮了電池使用壽命，通過(guò)監(jiān)控電池狀態(tài)，當(dāng)電池電量低于某個(gè)閾值時(shí)，會(huì)自動(dòng)減少資源消耗，以延長(zhǎng)電池使用時(shí)間。

第三，隱私安全如何保證。

Pensieve作者提出了4點(diǎn)措施來(lái)保證用戶隱私，包括：

1、代碼是完全開(kāi)源且易于理解的Python代碼，允許任何人審查以確保沒(méi)有后門或惡意軟件。

2、本地化數(shù)據(jù)存儲(chǔ)。Pensieve將所有數(shù)據(jù)存儲(chǔ)在用戶的本地設(shè)備上，而不是上傳到云端服務(wù)器。

3、易于卸載：Pensieve提供了簡(jiǎn)單的卸載過(guò)程，用戶可以輕松地從系統(tǒng)中移除。

4、數(shù)據(jù)處理完全由用戶控制。用戶可以自由選擇何時(shí)啟動(dòng)或停止記錄，以及如何管理和查詢自己的數(shù)據(jù)。

另外，作為一個(gè)獨(dú)立項(xiàng)目，Pensieve所使用的機(jī)器學(xué)習(xí)模型（包括VLM和嵌入模型）都允許由用戶選擇。

這就上手安裝試試

概括而言，使用Pensieve大致包括以下幾個(gè)步驟：

• 安裝Pensieve
• 初始化pensieve配置文件和sqlite數(shù)據(jù)庫(kù)
• 使用兩行命令啟動(dòng)服務(wù)
• 打開(kāi)瀏覽器并訪問(wèn)Web界面

BTW，Pensieve作者也貼心奉上了“食用指南”，簡(jiǎn)單概括如下：

1、選擇適當(dāng)?shù)那度肽Ｐ?/p>

由于Pensieve使用嵌入模型提取語(yǔ)義信息并構(gòu)建向量索引，故選擇合適的嵌入模型至關(guān)重要。

根據(jù)用戶習(xí)慣的語(yǔ)言，作者提供了中英兩種模型。

2、使用Ollama進(jìn)行視覺(jué)搜索

默認(rèn)情況下，Pensieve僅啟用OCR插件從截圖提取文本并構(gòu)建索引。然而，這種方法極大限制了沒(méi)有文本的圖像的搜索效果。

對(duì)此，我們需要一個(gè)與OpenAI API兼容的多模態(tài)圖像理解服務(wù)，剛好Ollama可以勝任。

需要提醒的是，在啟動(dòng)VLM功能之前，對(duì)硬件有一定要求：

• 推薦配置：至少8GB VRAM的NVIDIA顯卡或搭載M系列芯片的Mac；
• CPU模式不推薦，因?yàn)樗鼤?huì)導(dǎo)致系統(tǒng)嚴(yán)重卡頓；

3、全文索引

由于Pensieve默認(rèn)情況下并非所有截圖都會(huì)立即索引，因此，需要以下命令行，才能實(shí)現(xiàn)全文索引功能。

更多安裝細(xì)節(jié)可參見(jiàn)原項(xiàng)目庫(kù)，地址也給大家放上了~

GitHub：https://github.com/arkohut/pensieve?tab=readme-ov-file