好了，讓我們來探討一個有趣的發展，目的在於改善人工智慧模型與網站互動的方式：擬議的 llms.txt 標準。身為 Mercury Technology Solutions 的執行長，我一直都在追蹤可以增進數位溝通與效率的創新，而這項提案值得關注，尤其是對於擁有大量文件或結構化內容的企業而言。
llms.txt雖然仍處於萌芽階段，但它代表了一種深思熟慮的方法，可比傳統方法更有效地引導人工智慧系統。
TL;DR: llms.txt 是一個建議的檔案標準，使用簡單的 Markdown，旨在幫助大型語言模型 (LLM) 更好地理解和瀏覽您的網站內容，尤其是文件。不同於 robots.txt（供爬蟲使用）或 sitemap.xml（頁面清單），llms.txt 提供了結構化的概觀與情境，可針對 AI 處理進行最佳化。雖然採用尚早，且 AI 支援尚未自動化，但它提供了改善 AI 互動準確性和效率的潛在好處。
挑戰：協助 AI 理解您的內容
隨著 ChatGPT、Claude、Gemini 等 LLM 日漸融入使用者尋找資訊的方式，一個重要的挑戰出現了，那就是網站擁有者如何才能有效地將其內容的結構和上下文溝通給這些 AI 系統？現有的標準並非為此而設計。
- robots.txt 會告訴爬網者可以和不可以到哪裡，但不會提供內容涵義或結構的深入分析。
- sitemap.xml 提供了可索引頁面的清單，但缺乏深度 AI 理解所需的層級與上下文。
這就是建議中的 llms.txt 標準的由來。
什麼是 llms.txt？為 AI 建立的標準
llms.txt 基本上是一個文字檔，使用簡單的 Markdown 格式，放置在您網站的根目錄中。它的特定目的是提供 AI 模型一個清楚、有條理的網站主要內容概覽，尤其是文件，讓它們更容易處理和理解。
主要潛在效益：
- 增強 AI 瞭解：提供 AI 快速、結構化的重要內容及其關係地圖。
- 有效率的資訊檢索： 協助 AI 在您的網站上更快地找到相關資訊。
- 增進上下文準確性：提供層級結構和簡短說明，降低 AI 誤解內容的機會。
- 更好的 AI 賦能使用者體驗：當使用者針對您的內容或服務向 AI 提出問題時，可以產生更精準且能感知情境的回應。
- 解決情境限制：提供人工智能存取關鍵資訊的可能簡化方式，這可能有助於在某些模型中瀏覽情境視窗限制。
llms.txt 規格：兩種檔案類型
該提案概述了兩個互補的檔案：
- /llms.txt： 簡潔的概述檔案，就像您的文件和主要資源的目錄或導覽指南。使用 Markdown 清單和簡短說明。
- /llms-full.txt：一個全面性的檔案，目的在於包含 所有相關的文件內容，並串接成一個 Markdown 檔案。這可讓人工智能一次過攝取完整的上下文，並進行最佳化處理（例如，剔除不必要的程式碼/標記）。
開始使用：基本實施步驟
實作基本的 /llms.txt 檔案很簡單：
- 建立 Markdown 檔案：使用 Markdown 來組織您的檔案。首先使用 H1 標題來標示您的網站/專案名稱，再加入簡短的塊狀引文說明，並使用 H2 標題來標示各區段（例如：文件、範例），並以項目列表連結至關鍵頁面，並提供簡短說明。
Markdown
# 您出色的服務 >簡短的說明，解釋 Your Awesome Service 是做什麼的。 ## 文件 - [安裝指南](/docs/install) - 如何快速安裝。 - [API Reference](/docs/api/v1) - 第一版 API 的詳細規格。 - [使用者指南](/docs/guides) - 逐步的功能教學。 ## 關鍵資源 - [定價方案](/pricing) - 可用訂閱的概述。 - [社群論壇](/forum) - 與其他使用者聯繫。
- 放置檔案：將此檔案確切儲存為 llms.txt，放置在您網站的根目錄 (可從 www.yourdomain.com/llms.txt 存取)。
- （可選）新增 HTTP 標頭：考慮透過伺服器設定新增 X-Robots-Tag: llms-txt HTTP 標頭。這有助於提示檔案的存在，但支援程度各有不同。
- 驗證：檢查檔案是否可在瀏覽器中存取，以及 Markdown 格式是否正確。
(實施 llms-full.txt 會產生一個包含所有文件內容的 Markdown 檔案，這可能需要特定的工具).。
今天的人工智能如何使用 llms.txt？
我們必須瞭解，大多數主要的 LLM 目前並未自動發現或擷取 llms.txt 檔案。其採用仍處於早期階段。目前，您通常需要直接向 AI 提供資訊：
- 直接連結：在提示中與 AI 分享 URL (www.yourdomain.com/llms.txt)。
- 複製/貼上：複製您的 llms.txt 檔案內容，並貼上到 AI 提示符以取得上下文。
- 檔案上傳：使用 AI 工具的檔案上傳功能 (如果可用)，提供 llms.txt 或 llms-full.txt 檔案。
隨著標準的普及，我們可能會看到更多的 AI 系統加入自動偵測功能。
社群、工具和範例
- llms.txt hub： 一個追蹤已實施標準的網站的開放源碼專案，有助於查看真實世界的範例。
- 產生工具：目前已有工具可協助產生這些檔案，例如 llmstxt (來自 dotenv 或 Firecrawl，通常使用您的 sitemap.xml)，以及 Mintlify 等平台。
- 早期採用者：Cloudflare、Anthropic、Perplexity 和 ElevenLabs 等知名組織已為其廣泛的文件實施了 llms.txt 版本。
您的 llms.txt 最佳實務
- 保持更新：及時反映網站結構或文件的變更。
- 使用清晰的結構：遵守簡單的 Markdown 層級結構 (H1、引述、H2s、列表)。
- Be Selective (/llms.txt)： 將主 llms.txt 檔案集中在您最重要的文件和資源上。
- 針對 AI 最佳化 (/llms-full.txt)： 如果建立完整版本，請確保其為乾淨的 Markdown，專注於內容，移除可能混淆 AI 處理的無關程式碼或元素。
- 測試：將您的 llms.txt 內容餵給不同的 AI 模型進行實驗，看看是否能改善它們對您網站問題的理解或回答能力。
水星的觀點
我們認為 llms.txt 是一項實用且具有潛在價值的措施，尤其是對於管理大量技術文件、API 參考資料或結構化指南的組織而言。為人工智能提供明確的地圖，可以帶來更精確的互動，並可能減少「幻覺」或基於過時或誤解資訊的錯誤答案。透過直接將資訊結構化以供 AI 使用，它可以補充更廣泛的 LLM-SEO 工作。雖然我們正在監測其採用情況和效果，但對於以清晰的 AI 理解複雜內容為優先考量的企業來說，這是一個值得探討的標準。對於我們的 客製化 AI 解決方案所使用的知識庫結構化而言，它也可能具有相關性。
總結
llms.txt 提供以 AI 為中心的專注內容組織方式，超越傳統的網站地圖。儘管這仍是一個建議中的標準，且工具支援與 AI 採用仍在演進中，但其邏輯是合理的。對於嚴重依賴文件或尋求改善與其產品和服務相關的 AI 互動準確性的企業而言，探索 llms.txt 是適應日益由 AI 驅動的資訊環境的前瞻性步驟。
llms.txt 常見問題
Q1：簡單來說，llms.txt 是什麼？ 這是您放在網站上的文字檔，以簡單的 Markdown 寫成，就像一個特殊的目錄表，專門用來幫助 AI 聊天機器人（LLM）快速瞭解您的主要文件或內容內容，以及其組織方式。
Q2: llms.txt 與 robots.txt 或 sitemap.xml 有何不同？
- robots.txt 告訴搜尋引擎機器人不能去的地方。
- sitemap.xml 會列出網頁供搜尋引擎搜尋。
- llms.txt 提供 AI 有關您重要內容的結構化 overview 和 context 以協助他們更好地瞭解。
Q3: llms.txt 是官方的網路標準嗎？ 還不是。它目前是一個 建議標準，正被不斷成長的社群採用。它還沒有像 robots.txt 這樣的官方標準。
Q4：像 ChatGPT 這樣的 AI 模型會自動找到並使用我的 llms.txt 檔案嗎？ 一般而言，目前不會。在與 AI 系統互動時，您通常需要手動提供檔案內容或 URL。如果該標準獲得廣泛採用，未來可能會出現廣泛的自動偵測。
Q5: /llms.txt 與 /llms-full.txt 有何不同？ /llms.txt 是一份簡明的導覽指南，列出主要的文件部分，並附有連結和簡短說明。/llms-full.txt 是一個單一的大型 Markdown 檔案，其中包含 所有文件的實際內容，讓 AI 更容易一次攝取所有內容。
Q6: 是否每個網站都應該有 llms.txt 檔案？ 對於具有大量結構化內容的網站，尤其是技術文件、API 參考資料或廣泛的使用者指南，最能發揮其效益，因為在這些網站中，準確的 AI 理解非常重要。對於較簡單的小冊子網站，目前的好處可能不太顯著。
Q7：在哪裡可以看到範例或找到工具？ 請至 llms.txt hub 網站查看使用該標準的網站目錄。llmstxt（CLI 工具）等工具或 Mintlify 等平台可協助產生檔案。
