Llms.txt란 무엇인가요?
Llms.txt는 귀사 웹사이트의 텍스트 파일로, AI 어시스턴트에게 주요 페이지의 개요를 제공하지만 액세스를 제어하지 않으며 적절한 사이트 구조를 대체하지 않습니다.
Llms.txt는 정확히 무엇을 포함하고 있나요
Llms.txt는 귀사 웹사이트에 배치하는 간단한 텍스트 파일로, 일반적으로 고정된 이름으로 홈페이지에 위치합니다. 주요 페이지 목록과 각 링크에 대한 간단한 설명이 포함되어 있습니다. 이 아이디어는 AI 어시스턴트가 이 파일을 읽고 전체 사이트를 검색할 필요 없이 핵심 페이지의 위치를 빠르게 파악하는 것입니다.
이 파일은 AI 시스템을 위한 일종의 경로 지도로 고안되었으며, 검색 엔진의 사이트맵과 유사합니다. 차이점은 사이트맵이 모든 URL의 기술적 목록인 반면, llms.txt는 페이지당 설명이 있는 읽기 가능한 요약본으로 의도되었다는 것입니다. 따라서 대체가 아니라 다른 목적으로 보충하는 것입니다.
이 파일을 보유할 의무는 없습니다. 이는 업계의 일부에서 채택한 제안이지만 모든 AI 시스템이 동일한 방식으로 또는 동일한 수준으로 사용하는 것은 아닙니다. 일부 어시스턴트는 이를 살펴보지만 다른 어시스턴트는 이를 완전히 무시하고 이미 알고 있거나 라이브 검색을 통해 찾은 내용만을 바탕으로 작동합니다.
이 파일이 검색 가능성을 중요하게 만드는 이유
AI 어시스턴트에서의 검색 가능성은 검색 엔진과 다르게 작동합니다. 검색 엔진은 귀사 사이트를 크롤링하고, 페이지를 인덱싱하며, 결과 목록에 표시합니다. AI 어시스턴트는 종종 실시간으로 검색하지 않고 이미 알고 있는 내용을 바탕으로 답변을 제공하며, 목표 지정 검색으로 보강합니다. Llms.txt는 후자를 돕습니다. 시스템이 직접 조사하는 대신 짧고 구조화된 개요를 제공합니다.
기업가에게 이는 AI 어시스턴트가 귀사 사이트의 올바른 페이지를 인용할 확률이 증가하고, 오래되었거나 덜 관련성 있는 페이지는 인용할 확률이 감소함을 의미합니다. 이는 grounding에서 발생하는 것과 비슷하며, AI 답변이 훈련 지식만으로 제공되지 않고 현재 소스로 지원됩니다. 우리는 grounding이란 무엇인가에서 이를 설명합니다.
Llms.txt는 그 자체로는 작동하지 않습니다. 귀사 사이트의 기술, 텍스트의 품질, 다양한 봇의 접근성도 중요한 역할을 합니다. 명확한 페이지가 없거나 AI 봇이 귀사 사이트를 방문할 수 없다면 llms.txt 파일은 거의 도움이 되지 않습니다.
이를 정리했는지 확인하는 방법
llms.txt 파일을 보유하고 있는지 확인하는 가장 빠른 방법은 링크 자체를 방문하는 것입니다. 도메인 이름 뒤에 /llms.txt를 입력하십시오. 페이지와 설명의 읽기 가능한 목록이 표시되면 파일이 있는 것입니다. 오류 메시지나 빈 페이지가 표시되면 파일이 없는 것입니다.
파일의 존재는 AI 어시스턴트가 실제로 이를 사용하는지 여부에 대해 아무것도 말하지 않습니다. 따라서 보장이 아니라 제공되는 도구일 뿐입니다. 더 중요한 것은 이들 어시스턴트의 봇이 귀사 사이트를 방문할 수 있는지 여부입니다. 이는 bot별로 별도로 관리합니다. GPTBot이란 무엇인가와 ClaudeBot이란 무엇인가를 참조하십시오.
기술적 배경이 없다면 귀사 사이트를 관리하는 사람이 이를 확인하도록 하는 것이 좋습니다. 파일 자체는 간단한 구조이지만 어떤 페이지를 포함할지, 어떻게 설명할지는 신중한 검토가 필요합니다. 잘못되거나 오래된 목록은 AI 어시스턴트를 잘못된 방향으로 안내할 수 있습니다.
가장 일반적인 오해
가장 큰 오해는 llms.txt가 액세스를 제어한다는 것입니다. 즉, 이 파일이 있어야만 AI 시스템이 귀사에 액세스할 수 있다는 것입니다. 이는 틀렸습니다. 액세스는 다른 파일을 통해 별도로 제어되며, 봇별로 방문할 수 있는 것과 없는 것을 나타냅니다. Llms.txt는 순전히 개요일 뿐이며, 자물쇠나 열쇠가 아닙니다.
두 번째 오해는 이 파일이 좋은 사이트 구조가 이미 해야 할 일을 대체한다는 것입니다. 사이트가 불명확하게 구성되어 있고 오래된 페이지와 비논리적인 네비게이션이 있다면 llms.txt 파일이 그것을 해결하지 못합니다. 이것은 요약일 뿐 기본적인 문제를 해결하는 것이 아닙니다.
일부 기업가들은 이 파일이 Google에서의 순위에 영향을 미친다고 생각합니다. 그것이 목표가 아닙니다. Llms.txt는 AI 어시스턴트를 대상으로 하며, 기존 검색 엔진을 대상으로 하지 않습니다. 검색 엔진의 경우 Bingbot과 Google-Extended가 사이트를 크롤링하고 해석하는 방식과 같은 다른 요소들이 중요하며, 이에 대해서는 Bingbot이란 무엇인가와 Google-Extended란 무엇인가에서 읽을 수 있습니다.
이것이 검색 가시성의 나머지 부분과 어떻게 맞는지
Llms.txt는 더 큰 시스템의 한 조각입니다. 예를 들어 Perplexity의 AI 어시스턴트는 자체 지식과 현재 검색의 조합으로 작동하며, 이는 retrieval augmented generation이 작동하는 방식과 관련이 있습니다. 이는 언어 모델이 현재 소스에서 검색된 정보로 답변을 보충하는 기술이며, 이는 retrieval augmented generation이란 무엇인가에서 설명되어 있습니다.
llms.txt와는 별개로, 어떤 봇이 사이트를 방문하는지 그리고 그들이 무엇을 위해 사용하는지 알아두는 것이 좋습니다. 예를 들어 PerplexityBot은 답변을 위해 현재 정보를 검색하고, Applebot-Extended는 Apple의 AI 기능을 위해 데이터를 수집합니다. 이에 대한 자세한 내용은 PerplexityBot이란 무엇인가와 Applebot-Extended란 무엇인가에서 읽을 수 있습니다.
기업가에게 가장 중요한 것은 하나의 기술적 세부 사항에 머물지 않는 것입니다. Llms.txt는 유용하지만, 기본은 여전합니다. 명확한 사이트, 현재 정보, 허락하고자 하는 봇의 접근성입니다. 이를 정렬한 사람은 이 특정 파일이 있든 없든 더 강한 입장에 있습니다.
자주 묻는 질문
모든 웹사이트가 llms.txt 파일을 가져야 합니까?
아니요, 이것은 의무 사항도 아니고 모든 AI 시스템이 사용하는 표준도 아닙니다. 하지만 주요 페이지를 이 파일을 읽는 AI 어시스턴트에게 명확하게 제공하는 데 도움이 될 수 있습니다. 명확한 구조를 가진 작은 사이트의 경우 추가 가치는 종종 제한적입니다. 많은 페이지가 있는 사이트의 경우 약간의 명확성을 더할 수 있습니다.
llms.txt가 AI 봇이 내 사이트를 방문하도록 허용하는 것을 조정합니까?
아니요, 이것은 자주 나오는 오해입니다. 봇의 접근 권한은 별도로 규제되며, 봇별로, 다른 메커니즘을 통해 설정됩니다. Llms.txt는 단지 설명과 함께 페이지의 개요일 뿐이며, AI 어시스턴트가 더 빨리 방향을 찾도록 돕기 위한 것입니다. 봇 자체에 대한 허가 없이 llms.txt 파일이 그 봇에 대해 차이를 만들지 않습니다.
llms.txt가 Google이나 Bing에도 도움이 됩니까?
직접적으로는 아닙니다. 이 파일은 기존 검색 엔진이 아닌 AI 어시스턴트를 염두에 두고 설정되었습니다. Google과 Bing에서의 위치의 경우 콘텐츠의 품질 및 그들의 봇이 사이트를 크롤링하고 이해할 수 있는 방식과 같은 다른 요소들이 결정적으로 남아 있습니다. Llms.txt는 그 안에서 보충이지 대체가 아닙니다.
귀사의 웹사이트는 어떤 상태인가요?
1분 내에 두 개의 숫자, 무료 — 그리고 아무것도 남길 필요가 없습니다.
전체 보고서를 바로 원하시나요? 확장 스캔 — € 49 →
원인이 무엇인지 알고 싶으신가요?
이 스캔은 현황을 제공합니다. 보고서는 원인과 해결 순서를 제공합니다.
- 각 결과에 대해 무엇이 잘못되었는지, 무엇을 해야 하는지무료 스캔은 현황을 제공합니다. 보고서는 목록을 제공합니다 — 일반적인 언어로, 무게에 따라 순서대로, 기술적으로 이해할 필요 없이.
- 하나 대신 네 가지 AI 어시스턴트 모두무료 결과는 한 명의 어시스턴트에 대한 표본입니다. 보고서는 네 명 모두에게 8개의 질문을 제시하므로, 한 명의 어시스턴트에만 문제가 있는지 모두에게 문제가 있는지 알 수 있습니다.
- 실제로 언급되는 기업들당신이 놓친 고객은 누가 얻나요? 해당 이름은 보고서에 기재되어 있으며, 당신이 없는 곳에서 얼마나 자주 나타나는지 나옵니다.
- 웹사이트의 더 깊이 있는 측정무료 스캔은 10개 페이지를 검토합니다. 보고서는 50개까지 진행되므로, 고객들이 최종적으로 도달하는 페이지도 포함됩니다.