מה זה llms.txt?
Llms.txt הוא קובץ טקסט באתר שלכם שנותן למסייעי AI סקירה של הדפים החשובים ביותר שלכם, אך הוא לא מסדיר גישה ואינו מחליף מבנה אתר טוב.
מה בדיוק כרוך ב-llms.txt
Llms.txt הוא קובץ טקסט פשוט שאתם מציבים באתר שלכם, בדרך כלל בעמוד הבית תחת שם קבוע. הוא מכיל רשימה של הדפים החשובים ביותר שלכם, עם תיאור קצר לכל קישור. הרעיון הוא שמסייע AI יקרא את הקובץ הזה ויבין במהירות היכן נמצאים הדפים הליבה שלכם, ללא צורך לעבור את כל האתר.
הקובץ תוכנן כמעין מפת דרכים למערכות AI, בדומה לאופן שבו מפת אתר עובדת עבור מנועי חיפוש. ההבדל הוא שמפת אתר היא רשימה טכנית של כל כתובות ה-URL, בעוד ש-llms.txt נועד כסיכום קריא עם הסברים לכל דף. זה לא החלפה, אלא תוספת עם מטרה אחרת.
אין חובה להחזיק בקובץ זה. זהו הצעה שחלק מהסקטור התקף אותה, אך לא כל מערכת AI משתמשת בה באותו אופן או בעקביות שווה. חלק מהמסייעים מסתכלים עליה, אחרים מתעלמים ממנה לחלוטין ועובדים רק על בסיס מה שהם כבר יודעים או מוצאים דרך חיפוש חי.
למה הקובץ הזה משנה עבור גילוי
גילוי מכן של מסייעי AI עובד אחרת מאשר אצל מנוע חיפוש. מנוע חיפוש זוחל באתר שלכם, מאנדקס דפים והציג אותם ברשימת תוצאות. מסייע AI לרוב לא משתמש בחיפוש חי, אלא נותן תשובה על בסיס מה שהוא כבר יודע, מעוצב עם פעולות חיפוש ממוקדות. Llms.txt עוזר בכך: הוא נותן למערכת סקירה קצרה וממובנת במקום שעליה לחקור בעצמה.
עבור יזם, המשמעות היא שהסיכוי גדל שמסייע AI יצטט את הדף הנכון של האתר שלכם, במקום דף ישן או פחות רלוונטי. זה דומה למה שקורה ב-grounding, שם תשובת AI מעוגנת בעזרת מקורות עדכניים במקום רק ידע הכשרה, כפי שאנחנו מסבירים ב-what is grounding.
Llms.txt לא עובד בעצמו. זהו חלק אחד מכלל גדול יותר שבו טכניקת האתר שלכם, איכות הטקסט שלכם והנגישות עבור בוטים שונים ממלאים תפקיד. ללא דפים ברורים וללא שבוטים AI יכולים לבקר באתר שלכם, קובץ llms.txt עוזר מעט.
כיצד אתה בודק אם זה מסודר אצלך
הדרך המהירה ביותר לבדוק אם יש לך קובץ llms.txt היא לבקר בעצמך בקישור: שם התחום שלך ואחריו /llms.txt. אם אתה רואה רשימה קריאה של דפים והסברים, זה קיים. אם אתה מקבל הודעת שגיאה או דף ריק, זה חסר.
קיומו של הקובץ לא אומר כלום על זה אם מסייעי AI בעצם משתמשים בו. זה לא ערובה, אלא כלי שהוצע. חשוב יותר לעתים קרובות אם בוטים של אלה מסייעים יכולים בכלל לבקר באתר שלך. אתה מווסת את זה בנפרד, לכל בוט, כפי שניתן לקרוא ב-what is GPTBot ו-what is ClaudeBot.
אם אין לך רקע טכני, זה חכם להשאיר את זה לבדיקה של מישהו המנהל את האתר שלך. הקובץ עצמו פשוט בתכנונו, אך השאלה אילו דפים אתה שם בו וכיצד אתה מתאר אותם, זה דורש שיקול. רשימה שגויה או מיושנת יכולה בעצם להוביל מסייע AI בכיוון הלא נכון.
התעלומה הנפוצה ביותר
הטעות הגדולה ביותר היא שllms.txt מסדיר גישה: שמערכת AI יכולה להגיע אליך רק אם הקובץ הזה קיים. זה לא נכון. גישה מווסתת בנפרד דרך קובץ אחר, שמציין לכל בוט מה מותר ומה אסור לבקר בו. Llms.txt הוא סקירה טהורה, לא נעילה או מפתח.
אי-הבנה שנייה היא שהקובץ מחליף את מה שמבנה אתר טוב היה צריך כבר לעשות. אם האתר שלך בנוי בצורה לא ברורה, עם עמודים מיושנים וניווט לא הגיוני, קובץ llms.txt לא יפתור את זה. זו תקציר, לא תיקון של בעיות בסיסיות.
כמה יזמים גם חושבים שקובץ זה משפיע על הדירוג שלהם ב-Google. זה לא המטרה. Llms.txt מכוון לעוזרי AI, לא למנועי חיפוש מסורתיים. למנועי חיפוש, גורמים אחרים נשארים קובעים, כגון אופן הסריקה והפירוש של האתר שלך על ידי Bingbot ו-Google-Extended, כפי שניתן לקרוא ב-what is Bingbot וב-what is Google-Extended.
איך זה מתאים לשאר הגלוי שלך
Llms.txt הוא חתיכת פאזל אחת במערכת גדולה יותר. עוזרי AI כמו של Perplexity, למשל, עובדים עם שילוב של ידע משלהם וחיפושים עדכניים, שקשור לאופן הפעולה של retrieval augmented generation, טכניקה שבה מודל שפה משלים תשובה במידע שחלק מהמקורות העדכניים, כפי שהוסבר ב-what is retrieval augmented generation.
גם ללא llms.txt, כדאי לדעת אילו בוטים מבקרים באתר שלך ולמה הם משמשים. PerplexityBot, למשל, אוסף מידע עדכני לתשובות, בעוד Applebot-Extended אוסף נתונים לתכונות AI של Apple. קרא עוד בנושא זה ב-what is PerplexityBot וב-what is Applebot-Extended.
ליזם, החשוב ביותר הוא לא להשאר תלוי בפרט טכני אחד. Llms.txt שימושי, אבל הבסיס נשאר: אתר ברור, מידע עדכני וגישה לבוטים שברצונך לאפשר. למי שיש את זה בסדר, עומד יותר חזק, עם או בלי קובץ ספציפי זה.
שאלות נפוצות
האם כל אתר צריך לקובץ llms.txt?
לא, זה לא חובה ולא סטנדרט שכל מערכות AI משתמשות בו. זה כן יכול לעזור להציע את העמודים החשובים ביותר שלך בצורה מסודרת לעוזרי AI שכן קוראים את הקובץ. באתרים קטנים עם מבנה ברור, התוספת הערך לעתים קרובות מוגבלת. לאתרים עם הרבה עמודים, זה יכול להנות קצת יותר בהירות.
האם llms.txt מווסת אם בוטי AI יכולים לבקר באתר שלי?
לא, זו אי-הבנה נפוצה. גישה לבוטים מווסתת בנפרד, לכל בוט, דרך מנגנון אחר. Llms.txt הוא רק תקציר של עמודים עם הסברים, שנועד לעזור לעוזרי AI להתמצא מהר יותר. ללא אישור לבוט עצמו, קובץ llms.txt עבור הבוט הזה לא משנה הבדל.
האם llms.txt עוזר גם ל-Google או Bing?
לא ישירות. הקובץ הוגדר עם עוזרי AI בראש, לא עם מנועי חיפוש מסורתיים. למצבך ב-Google וב-Bing, גורמים אחרים נשארים קובעים, כמו איכות התוכן שלך ודרך הסריקה והבנת הבוטים שלהם באתר שלך. Llms.txt הוא הוספה בתחום זה, לא תחליף.
כיצד עומד האתר שלך בעצמו?
שני מספרים, תוך דקה אחת, בחינם — ואתה לא צריך להשאיר שום דבר מאחוריך.
מעדיף לקבל את הדוח המלא מיד? סריקה מורחבת — € 49 →
אתה רוצה לדעת במה זה טמון?
הסקירה הזו נותנת לך את המצב. הדוח נותן לך את הסיבות ואת הסדר שבו אתה מתמודד איתן.
- עבור כל ממצא מה לא בסדר ומה צריך לקרותהסקירה החינמית נותנת לך את המצב. הדוח נותן לך את הרשימה — בשפה רגילה, בסדר לפי כמה כבד הוא משקל, ללא שתצטרך להבין משהו טכנית.
- כל ארבעת עוזרי ה-AI במקום אחד בלבדהתוצאה החינמית היא דגימה עם עוזר אחד. הדוח שואל שמונה שאלות לכל ארבעת העוזרים, כדי שתדעו אם זה בעוזר אחד או בכולם.
- אילו חברות כן מוזכרותמי מקבל את הלקוח שאתם מפספסים? השמות האלה נמצאים בדוח, עם כמה פעמים הם מופיעים איפה שאתם חסרים.
- מדידה עמוקה יותר של האתר שלכםהסריקה החינמית בוחנת עשר עמודים. הדוח עוקב אחרי חמישים, אז גם העמודים שאליהם הלקוחות שלכם בסופו של דבר מגיעים.