מנועי הבינה המלאכותית כמו ChatGPT לומדים מהאינטרנט. הם קוראים את האתר שלכם כדי לתת תשובות למשתמשים. אתם יכולים להחליט אם לאפשר להם גישה או לחסום אותם. עושים זאת בעזרת קובץ טקסט פשוט בשם robots.txt, שמכיל הוראות לזחלנים.
מה זה בכלל קובץ robots.txt?
קובץ robots.txt הוא קובץ טקסט פשוט שיושב בתיקייה הראשית של האתר שלכם. הוא נותן הוראות ל"זחלנים" - תוכנות אוטומטיות שסורקות את האינטרנט. תחשבו עליו כמו שלט "נא לא להפריע" שאתם תולים על דלתות מסוימות בבית שלכם (האתר).
הזחלנים של גוגל, ChatGPT וכלים אחרים בודקים את הקובץ הזה לפני שהם מתחילים לסרוק את האתר. כך הם יודעים לאילו עמודים מותר להם להיכנס ולאילו אסור. זהו תקן מקובל, ורוב הזחלנים המוכרים מכבדים את ההוראות שכתובות בו.
תרשים
איך זחלן קורא את האתר שלכם
התהליך שקורה בכל פעם שזחלן מגיע לאתר
הזחלן מגיע לאתר
למשל, GPTBot של OpenAI מגיע לכתובת שלכם.
הוא בודק את קובץ ה-robots.txt
הוא מחפש את הקובץ בכתובת yoursite.com/robots.txt.
הוא קורא את ההוראות
הקובץ אומר לו לאילו עמודים או תיקיות אסור להיכנס.
הוא פועל לפי ההוראות
הוא סורק רק את העמודים המותרים ומתעלם מהחסומים.
למה שאני ארצה לחסום מנועי AI?
יש שתי סיבות עיקריות לחסום זחלני AI. הראשונה היא כדי להגן על התוכן המקורי שלכם. השנייה היא כדי לשלוט במידע שהם מציגים עליכם, שלפעמים יכול להיות לא מדויק או חסר הקשר.
לדוגמה, נניח שאת יועצת שינה לתינוקות וכתבת מדריך מפורט וייחודי באתר שלך. אם תאפשרי ל-ChatGPT לקרוא אותו, הוא עלול לסכם את השיטה שלך ולהציג אותה למשתמשים אחרים כתשובה שלו, בלי לתת לך קרדיט ובלי שהגולשים יגיעו לאתר שלך. חסימה מונעת מהתוכן שלך להפוך לדלק עבור מנועי AI.
תרשים
לאפשר או לחסום גישה ל-AI?
השיקולים המרכזיים לכל בחירה
| מאפיין | למה לחסום | למה לאפשר |
|---|---|---|
| הגנה על תוכן | מונע העתקה ושימוש בתוכן המקורי שלכם ללא קרדיט. | התוכן שלכם לא יהיה חלק מהתשובות, גם לא בצירוף קישור. |
| שליטה בתדמית | מונע מה-AI להציג מידע חלקי או שגוי על העסק שלכם. | העסק שלכם לא יופיע בהמלצות וסיכומים של ה-AI. |
| תעבורה לאתר | הגולשים חייבים להגיע לאתר כדי לקרוא את התוכן המלא. | יכול להביא תעבורה חדשה מגולשים שמקבלים המלצה מה-AI. |
| זכויות יוצרים | מונע שימוש ביצירות שלכם (תמונות, טקסט) לאימון מודלים. | ה-AI לא ילמד על המומחיות שלכם ישירות מהמקור. |
הגנה על תוכן
למה לחסום
מונע העתקה ושימוש בתוכן המקורי שלכם ללא קרדיט.
למה לאפשר
התוכן שלכם לא יהיה חלק מהתשובות, גם לא בצירוף קישור.
שליטה בתדמית
למה לחסום
מונע מה-AI להציג מידע חלקי או שגוי על העסק שלכם.
למה לאפשר
העסק שלכם לא יופיע בהמלצות וסיכומים של ה-AI.
תעבורה לאתר
למה לחסום
הגולשים חייבים להגיע לאתר כדי לקרוא את התוכן המלא.
למה לאפשר
יכול להביא תעבורה חדשה מגולשים שמקבלים המלצה מה-AI.
זכויות יוצרים
למה לחסום
מונע שימוש ביצירות שלכם (תמונות, טקסט) לאימון מודלים.
למה לאפשר
ה-AI לא ילמד על המומחיות שלכם ישירות מהמקור.
למה שאני ארצה לאפשר למנועי AI גישה?
הצד השני של המטבע הוא חשיפה. יותר ויותר אנשים משתמשים במנועי AI כמו Perplexity או בחיפוש המשולב של גוגל כדי לקבל תשובות והמלצות. אם תחסמו אותם, אתם פשוט לא תהיו קיימים בעולם הזה.
נניח שיש לכם מאפיית בוטיק בכפר סבא. מישהו שואל את Perplexity: "איפה יש קרואסון שקדים טעים בכפר סבא?". אם Perplexity סרק את האתר שלכם וקרא את התפריט ואת הביקורות, הוא עשוי להמליץ עליכם ולשלוח אליכם לקוח חדש. אם חסמתם אותו, הוא ידלג עליכם וימליץ על המתחרים.
ככה זה נראה על המסך
כך נראית תשובת AI שמביאה לכם לקוחות
דוגמה לתשובה במנוע חיפוש מבוסס AI כמו Perplexity
איפה יש מאפיית בוטיק טובה באזור השרון עם אופציות טבעוניות?
מאפיית 'לחם וחברים' במושב צופית מציעה מגוון רחב של מאפים בעבודת יד, כולל קרואסונים טבעוניים ועוגות שמרים. לפי האתר שלהם, הם משתמשים בחומרי גלם מקומיים והכל נאפה במקום מדי בוקר.
מקור: lechem-friends.co.il
המחשה של המסך, מצוירת בקוד. הממשק האמיתי מתעדכן מדי פעם.
איך נראים השמות של הזחלנים של AI?
כדי לחסום או לאפשר גישה, אתם צריכים לדעת את השם המדויק של הזחלן. השם הזה נקרא User-Agent. לכל חברה יש שם משלה לזחלן שלה, והנה השלושה החשובים ביותר כרגע:
- GPTBot: זהו הזחלן של חברת OpenAI, החברה שיצרה את ChatGPT. הוא אוסף מידע כדי לאמן את מודלי השפה העתידיים שלהם.
- Google-Extended: זהו זחלן ייעודי של גוגל. הוא אוסף מידע עבור מוצרי AI כמו Gemini (לשעבר Bard) ותכונות AI במנוע החיפוש. חשוב להבין: חסימה שלו לא פוגעת בדירוג הרגיל שלכם בגוגל, כי הזחלן הראשי של גוגל נקרא
Googlebotוהוא פועל בנפרד. - PerplexityBot: זהו הזחלן של מנוע החיפוש Perplexity AI, שנותן תשובות ישירות לשאלות עם ציון מקורות.
תרשים
מי הזחלנים שכדאי להכיר?
אלה השמות שתצטרכו להשתמש בהם בקובץ ה-robots.txt
כן, ככה
- GPTBot (של OpenAI, יוצרי ChatGPT)
- Google-Extended (של גוגל, עבור Gemini)
- PerplexityBot (של Perplexity AI)
לא ככה
- ChatGPT (זה שם המוצר, לא הזחלן)
- Google (זה שם החברה, לא הזחלן)
- Gemini (שם המוצר, לא הזחלן)
איך אני חוסם את כל הזחלנים של AI בבת אחת?
כדי לחסום את כל שלושת הזחלנים שהזכרנו, אתם צריכים ליצור קובץ robots.txt ולהוסיף לו את הטקסט הבא. הקוד הזה אומר לכל אחד מהזחלנים האלה בנפרד שאסור לו לגשת לאף עמוד באתר.
הנה הקוד המדויק שצריך להעתיק:
קוד
User-agent: GPTBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: PerplexityBot
Disallow: /בואו נפרק את זה:
User-agent: GPTBot– פונה באופן ספציפי לזחלן של OpenAI.Disallow: /– אומר לו "אסור לך להיכנס לשום מקום". הסימן/מייצג את כל האתר, מהעמוד הראשי והלאה.- השורה הריקה מפרידה בין ההוראות לזחלנים שונים.
איך אני חוסם רק חלק מהם, או רק חלק מהאתר?
אתם לא חייבים לחסום הכל. אפשר להיות יותר ספציפיים. למשל, אולי תרצו לאפשר לגוגל גישה כדי להופיע בתוצאות החיפוש שלה, אבל לחסום את OpenAI כדי שלא תאמן את המודלים שלה על התוכן שלכם.
במקרה כזה, תוכלו להשתמש בקוד הבא:
קוד
User-agent: GPTBot
Disallow: /
User-agent: Google-Extended
Allow: /
User-agent: PerplexityBot
Disallow: /private-files/הנה מה שהקוד הזה עושה:
- חוסם לחלוטין את GPTBot מהאתר כולו (
Disallow: /). - מאפשר במפורש לגוגל (Google-Extended) גישה לכל האתר (
Allow: /). - חוסם את PerplexityBot רק מתיקייה ספציפית בשם
private-files. הוא עדיין יוכל לסרוק את שאר האתר.
איך אני מוסיף את קובץ ה-robots.txt לאתר שלי?
הוספת הקובץ היא תהליך פשוט יחסית. אתם צריכים ליצור קובץ טקסט ולהעלות אותו לשרת שלכם. אם האתר שלכם נבנה על ידי, אני יכולה לעשות את זה עבורכם כחלק משירותי הליווי החודשיים, החל מ-500 ש"ח לחודש.
אם תרצו לעשות זאת לבד, הנה השלבים:
תרשים
איך מוסיפים קובץ robots.txt לאתר
ארבעה שלבים פשוטים להגדרת ההוראות לזחלנים
יצירת קובץ טקסט
פתחו תוכנת עריכת טקסט פשוטה (כמו 'פנקס רשימות' בווינדוס או TextEdit במק) וצרו קובץ חדש.
העתקת ההוראות
העתיקו והדביקו לקובץ את כללי החסימה או ההרשאה שבחרתם.
שמירת הקובץ
שמרו את הקובץ בשם המדויק 'robots.txt' (אותיות קטנות, בלי מרכאות).
העלאה לשרת
העלו את הקובץ לתיקייה הראשית (root) של האתר שלכם. הכתובת הסופית צריכה להיות yoursite.com/robots.txt.
אם יש לכם אתר וורדפרס עם תוסף SEO כמו Yoast או Rank Math, לרוב יש שם אזור בהגדרות שמאפשר לערוך את קובץ ה-robots.txt ישירות, בלי צורך להעלות קובץ.
מה לעשות עכשיו?
- החליטו על האסטרטגיה שלכם: האם חשוב לכם יותר להגן על התוכן או לקבל חשיפה במנועי AI? אין תשובה אחת נכונה, זה תלוי בעסק שלכם.
- בדקו אם יש לכם קובץ קיים: היכנסו לכתובת
your-domain.com/robots.txt. אם אתם רואים טקסט, יש לכם קובץ קיים. אם אתם מקבלים שגיאת 404, אין לכם קובץ. - צרו או ערכו את הקובץ: השתמשו בקודים שבמאמר הזה כדי ליצור קובץ חדש או לעדכן את הקובץ הקיים שלכם עם ההוראות הנכונות.
- העלו את הקובץ לאתר: ודאו שהוא נמצא במיקום הנכון ושהוא נגיש בדפדפן.
- אם זה נשמע מסובך, אל תסתבכו. אני יכולה לעזור לכם להגדיר את זה נכון. דברו איתי דרך עמוד יצירת הקשר.
