דוגמה robots.txt קבצים עבור אתר האינטרנט שלך

קובץ robots.txt המאוחסן השורש של האתר שלך יגידו רובוטים באינטרנט כמו עכבישים מנוע החיפוש מה ספריות וקבצים הם רשאים לסרוק. קל להשתמש בקובץ robots.txt, אך יש כמה דברים שכדאי לזכור:

1. Blackhat אינטרנט רובוטים יתעלם קובץ robots.txt שלך. הסוגים הנפוצים ביותר הם רובוטים של תוכנות זדוניות ורובוטים המחפשים כתובות דוא"ל למסיק.
2. כמה מתכנתים חדשים יכתבו רובוטים שמתעלמים מקובץ robots.txt. זה נעשה בדרך כלל בטעות.
3. כל אחד יכול לראות את הקובץ robots.txt שלך. הם נקראים תמיד robots.txt ומאוחסנים תמיד בשורש האתר.
4. לבסוף, אם מישהו מקשר לקובץ או לספרייה שאינם נכללים בקובץ robots.txt מדף שאינו נכלל בקובץ robots.txt, מנועי החיפוש עשויים למצוא אותו בכל זאת.

אל תשתמש בקובצי robots.txt כדי להסתיר כל דבר חשוב. במקום זאת, אתה צריך לשים מידע חשוב מאחורי סיסמאות מאובטחות או להשאיר אותו מחוץ לאינטרנט לחלוטין.

כיצד להשתמש אלה קבצים לדוגמה

העתק את הטקסט מהמדגם הקרוב ביותר למה שאתה רוצה לעשות, והדבק אותו בקובץ robots.txt שלך. שנה את שמות הרובוטים, הספריות והשמות כדי להתאים לתצורה המועדפת עליך.

שני קבצים בסיסיים Robots.txt

סוכן משתמש: *Disallow: /

קובץ זה אומר כי כל רובוט (

סוכן משתמש: *) אשר ניגש אליו צריך להתעלם כל דף באתר (

Disallow: /).

סוכן משתמש: *Disallow:

קובץ זה אומר כי כל רובוט (

סוכן משתמש: *) המגיעה אליו מותר להציג כל דף באתר (

Disallow:).

תוכל גם לעשות זאת על ידי השארת קובץ robots.txt ריק או שאין לך אתר באתר שלך בכלל.

להגן על ספריות ספציפיות מ רובוטים

סוכן משתמש: *Disallow: / cgi-bin /Disallow: / temp /

קובץ זה אומר כי כל רובוט (

סוכן משתמש: *) אשר ניגש אליו צריך להתעלם הספריות / cgi-bin / ו / temp / (/

Disallow: / cgi-bin / Disallow: / temp /).

להגן על דפים ספציפיים מתוך רובוטים

סוכן משתמש: *Disallow: /jenns-stuff.htmDisallow: /private.php

קובץ זה אומר כי כל רובוט (

סוכן משתמש: *) אשר ניגש אליו צריך להתעלם הקבצים / jenns-stuff.htm ו / / priv.php (

Disallow: /jenns-stuff.htm Disallow: /private.php).

מנע רובוט ספציפי מ גישה לאתר שלך

משתמש-סוכן: Lycos / x.xDisallow: /

קובץ זה אומר כי Lycos בוט (

משתמש-סוכן: Lycos / x.x) אינו מורשה לגשת לכל מקום באתר (

Disallow: /).

אפשר רק גישה ספציפית לרובוט

סוכן משתמש: *Disallow: /סוכן משתמש: GooglebotDisallow:

קובץ זה אינו מאפשר את כל הרובוטים כפי שעשינו למעלה, ולאחר מכן מאפשר ל- Googlebot (

סוכן משתמש: Googlebot) יש גישה לכל דבר (

Disallow:).

שלב קווים מרובים כדי לקבל בדיוק את החריגים שאתה רוצה

למרות שעדיף להשתמש בקו משתמש-סוכן כולל מאוד, כגון User-agent: *, אתה יכול להיות ספציפי ככל שתרצה. זכור כי רובוטים לקרוא את הקובץ בסדר. אז אם השורות הראשונות אומרות שכל הרובוטים חסומים מכל דבר, ואז מאוחר יותר בקובץ כתוב שכל הרובוטים מורשים לגשת לכל דבר, לרובוטים תהיה גישה לכל דבר.

אם אינך בטוח אם כתבת את קובץ ה- robots.txt כראוי, תוכל להשתמש בכלי מנהלי האתרים של Google כדי לבדוק את קובץ ה- robots.txt או לכתוב קובץ חדש.