Farfalle.dev 是一個開源 ai 驅(qū)動的答案AI搜索引擎，定位為 Perplexity 的自托管替代品。它允許用戶運行本地大型語言模型 (LLMs)，例如 llama3、gemma、mistral 和 phi3，或通過 LiteLLM 使用自定義 LLMs。此外，它還支持 Groq/Llama3 和 OpenAI 的 GPT-4 和 GPT-3.5-turbo 2 4 等云模型。

Farfalle主要特征：

• 搜索提供商：Farfalle 與多個搜索提供商集成，包括 Tavily、Searxng、Serper 和 Bing 2。

• 本地和云模型：用戶可以使用本地模型（llama3、mistral、gemma、phi3）或云模型（OpenAI/gpt4-o、OpenAI/gpt3.5-turbo、Groq/Llama3）回答問題2。

• 自定義LLMs：通過LiteLLM，F(xiàn)arfalle支持自定義LLMs，增強其靈活性2。

• 技術(shù)堆棧：前端使用 Next.js 構(gòu)建，后端使用 FastAPI 構(gòu)建。它還使用 Redis 進行速率限制，使用 Logfire 進行日志記錄 2。

• 部署選項：Farfalle 可以使用 Docker 或在 Render 和 Vercel 2 4 等平臺上部署。

Farfalle入門：

要在本地開始使用 Farfalle：

先決條件：如果運行本地模型，請確保安裝了 Docker 和 Ollama。

API 密鑰：獲取 Tavily、Serper、OpenAI、Bing 和 Groq 等可選服務(wù)的 API 密鑰。

運行命令：

 docker run \
    -p 8000:8000 -p 3000:3000 -p 8080:8080 \
    --add-host=host.docker.internal:host-gateway \
    ghcr.io/rashadphz/farfalle:main

訪問 http://localhost:3000 訪問應(yīng)用程序 .

Farfalle源代碼可在 GitHub上獲取。https://github.com/rashadphz/farfalle