روبوتات الذكاء الاصطناعي وGPTBot في موقع وكالة عقارية: بماذا تسمح؟

لكي يظهر موقع وكالة عقارية في إجابات ChatGPT وPerplexity وClaude وCopilot وفي النبذات باستخدام الذكاء الاصطناعي من Google، يجب أن يسمح لروبوتات البحث لدى كل جهة، أما رفض روبوتات التدريب مثل GPTBot فلا يُخرجه من إجابات البحث، بحسب هذه الجهات نفسها. وملف llms.txt لا تقول أي جهة قرأنا صفحاتها إنها تستعمله، وتكتب Google أن بحثها يتجاهله.

قرأنا المصادر في 8 نوفمبر 2026، والكلام نفسه يصحّ لموقع وسيط عقاري مستقل. ويكمّل هذا المقال دليلنا عن جعل ChatGPT وPerplexity يوصيان بوكالتك العقارية.

ثلاثة أنواع من الروبوتات

لكل جهة عدة روبوتات، ولكل روبوت اسم في ملف robots.txt تسمّيه Google «الرمز المميّز لوكيل المستخدم». روبوتات التدريب تجمع الصفحات لتدريب النماذج. روبوتات البحث تبني الفهرس الذي يأخذ منه المساعد مصادره. روبوتات المستخدمين تقرأ صفحة بطلب من شخص.

ما تقوله كل جهة

OpenAI: روبوتات GPTBot وOAI-SearchBot وChatGPT-User

تضع صفحة روبوتات OpenAI، وهي بالإنجليزية فقط، القاعدة: «Each setting is independent of the others»، أي أن كل إعداد مستقل عن الآخر.

• OAI-SearchBot لبحث ChatGPT. إن حظرته فلن يظهر موقعك في إجابات البحث، إلا كرابط تنقّل. ويُؤخذ التعديل في الحسبان بعد نحو 24 ساعة («~24 hours»).
• GPTBot للتدريب. رفضه يعني أن المحتوى «should not be used in training generative AI foundation models»، أي ألا يُستعمل في تدريب النماذج التأسيسية.
• ChatGPT-User يزور صفحة حين يطرح مستخدم سؤالًا، و«robots.txt rules may not apply»: قد لا تنطبق عليه قواعد الملف.

وتكتب مساعدة OpenAI العربية، وهي مترجمة آليًا: «تأكد من أن مضيف الموقع أو شبكة توصيل المحتوى تسمح بحركة البيانات من عناوين IP المنشورة لروبوت البحث من OpenAI».

Perplexity: روبوتا PerplexityBot وPerplexity-User

بحسب وثائق Perplexity الإنجليزية، يُظهر PerplexityBot المواقع في نتائج Perplexity، و«It is not used to crawl content for AI foundation models»: لا يجمع المحتوى لتدريب النماذج. أما Perplexity-User فيقرأ صفحة لمستخدم، و«generally ignores robots.txt rules»، أي يتجاهل قواعد الملف عادةً. وقد يستغرق التعديل «up to 24 hours».

Anthropic: روبوتات ClaudeBot وClaude-SearchBot وClaude-User

صفحة Anthropic بلا نسخة عربية، والترجمة ترجمتنا. ClaudeBot للتدريب: تقييده يعني أن مواد الموقع المستقبلية تُستبعد من بيانات التدريب («the site's future materials should be excluded»). Claude-SearchBot للبحث: تعطيله «may reduce your site's visibility and accuracy in user search results»، أي قد يقلّل ظهور موقعك ودقته في النتائج. Claude-User يخدم أسئلة المستخدمين، وحظره يمنع Claude من جلب محتواك ردًّا على طلب مستخدم.

Google: روبوت Googlebot ورمز Google-Extended

تقول قائمة برامج الزحف الشائعة من Google إن «إعدادات الزحف المفضّلة الموجّهة إلى وكيل المستخدم Googlebot تؤثر في» بحث Google وكل ميزات نتائجه. والذكاء الاصطناعي جزء منه: تكتب Google في صفحة الميزات التي تستخدم الذكاء الاصطناعي أنه مُضمَّن في بحثها، و«يُعد جزءًا جوهريًا من عمله».

أما Google-Extended فرمز لا روبوت: «لا يتضمّن Google-Extended سلسلة منفصلة لوكيل المستخدم خاصة بطلب HTTP»، فلن تراه في سجلات الزيارات. وهو يحدد هل يُستعمل محتواك لتدريب نماذج Gemini ولتحديد مصادر الإجابات في تطبيقات Gemini. وتضيف Google: «لا يؤثّر Google-Extended في ظهور موقع إلكتروني معيّن ضمن "بحث Google" ولا يتم استخدامه كمؤشر ترتيب».

وعن برامج الجلب التي يشغّلها المستخدم، ومنها Google-Agent، تكتب Google: «وتتجاهل عادةً برامج الجلب هذه قواعد robots.txt لأنّ المستخدم هو الذي طلب عملية الجلب».

Microsoft: روبوت Bingbot، ومساعد Copilot

لا تضم قائمة روبوتات Bing روبوتًا خاصًا بالذكاء الاصطناعي: Bingbot «handles most of our crawling needs each day»، أي يتولى معظم الزحف اليومي. ولـ Copilot تقرأ Microsoft اليوم وسمين: noarchive («Do not link in Chat and Copilot»، أي بلا رابط) وnocache («Display only URL/Snippet/Title in Chat or Copilot»، أي الرابط والمقتطف والعنوان فقط).

وفي 30 أكتوبر 2026 أعلنت Microsoft تفضيلين، للتدريب ولإسناد الإجابات إلى المصادر، تقرؤهما ابتداءً من 1 فبراير 2027، والسماح فيهما هو الافتراضي. وبعد 1 مارس 2027 لن يُقرأ noarchive وnocache تفضيلًا لهذين الاستخدامين. ولا خيار منهما «guarantees inclusion, traffic, or payment»: لا يضمن الظهور ولا الزيارات ولا المقابل.

Apple وCommon Crawl

يغذّي Applebot البحث في «الباحث وSiri وسفاري». أما Applebot-Extended فلا يزحف: تكتب Apple «لا يقوم Applebot-Extended بتتبع صفحات الويب». وهو للاعتراض على تدريب نماذج Apple، و«لا تؤخذ قواعد الموقع لـ Applebot-Extended في الاعتبار في ترتيب نتائج البحث»، بحسب صفحة Apple العربية المنشورة في 7 سبتمبر 2026. وCCBot روبوت Common Crawl، وهي مؤسسة غير ربحية تحتفظ بمستودع مفتوح لبيانات الزحف على الويب، وحظره يوقف جمعها.

جدول الروبوتات

ما لا يضمنه ملف robots.txt

ملف robots.txt ملف نصي في جذر الموقع، وضعت قواعده RFC 9309 في سبتمبر 2022. وله ثلاثة حدود:

1. ليس قفلًا: «These rules are not a form of access authorization»، فقواعده لا تتحكم في الدخول.
2. يكشف ما يخفيه: «Listing paths in the robots.txt file exposes them publicly»، فكل مسار تكتبه فيه يصبح معروفًا للجميع.
3. لا يمنع الفهرسة: تنبّه Google: «لا تستخدِم ملف robots.txt كوسيلة لإخفاء صفحاتك على الويب من نتائج البحث على Google».

ولإخراج صفحة من النتائج، استعمل وسم noindex على صفحة غير محظورة، وإلا «لن يتمكن الزاحف أبدًا من رؤية قاعدة noindex» (Google). وفخّ آخر: الروبوت الذي له مجموعة باسمه لا يتبع غيرها، ولا تسري عليه مجموعة User-agent: * إلا إن لم تكن له مجموعة باسمه (RFC 9309).

النبذات ووضع البحث بالذكاء الاصطناعي: ثلاث أدوات لدى Google

• روبوت Googlebot في ملف robots.txt: الوصول إلى البحث كله.
• وسوم المقتطف: الوسم nosnippet «سيؤدي إلى منع استخدام المحتوى كإدخال مباشر في» هاتين الميزتين (العلامة الوصفية لبرامج الروبوت)، لكنه يُلغي أيضًا المقتطف في النتائج العادية.
• إعداد Search Console، واسمه في العربية «عنصر التحكّم بميزات "بحث Google" المستندة إلى الذكاء الاصطناعي التوليدي». طرحته Google في 31 أغسطس 2026 «لجميع المواقع الإلكترونية في جميع أنحاء العالم»، بحسب مساعدة Search Console. وهو يشمل النبذات ووضع البحث بالذكاء الاصطناعي وميزات الذكاء الاصطناعي في Discover (اقتراحات من Google). وإن استبعدت موقعك، «لن تتلقّى أيّ زيارات أو مرات ظهور من هذه الميزات»، و«لا يؤثر عنصر التحكّم هذا في تدريب الذكاء الاصطناعي». والإدراج هو الإعداد التلقائي.

ملف llms.txt: اقتراح لا إعداد

ملف llms.txt اقتراح من Jeremy Howard، نُشر في 3 سبتمبر 2024 وعُدّل في 10 أغسطس 2026: ملف بصيغة Markdown في جذر الموقع يلخّصه، ليساعد الوكلاء على استعمال الموقع («use a website»).

• Google تضعه بين ما يمكن تجاهله في دليل تحسين المحتوى لميزات الذكاء الاصطناعي التوليدي، لأن بحثها «نفسه لا يستخدم ملفات أو ترميزًا مشابهَين». وإن احتفظت به، «لن يؤثر ذلك سلبًا في مستوى ظهور موقعك أو ترتيبه ضمن نتائج البحث على Google (ولن يساعد في تحسينهما)». وتكرر صفحة الميزات أنك لست بحاجة إلى «ملفات نصوص مستندة إلى الذكاء الاصطناعي».
• OpenAI وPerplexity وAnthropic وMicrosoft وApple: لا تقول صفحاتها عن الروبوتات إنها تقرأ ملف llms.txt في المواقع.

رأينا: ليس أولوية. إن كان موقعك يولّده دون جهد فاتركه، ولا تدفع ثمنه على أنه خدمة لتحسين الظهور.

الحظر الذي لم تختره الوكالة

في 1 يوليو 2025 أعلنت Cloudflare أنها تحظر افتراضيًا روبوتات الذكاء الاصطناعي غير المأذون لها، وأن كل نطاق جديد يُسأل عند التسجيل هل يسمح لها (البيان الصحفي).

ويعلن سجل تغييرات Cloudflare في 1 يوليو 2026 أن النطاقات الجديدة، ابتداءً من 15 سبتمبر 2026، تحظر روبوتات التدريب والوكلاء على الصفحات التي تعرض إعلانات، بينما تقول وثائقها، المحدَّثة في 2 نوفمبر 2026، إن البحث والوكلاء والتدريب مسموحة افتراضيًا للنطاقات الجديدة. لا تفترض شيئًا: انظر إلى الإعداد.

وتضيف سياسة Content Signals المنشورة في 24 سبتمبر 2025 سطر Content-Signal إلى ملف robots.txt (search وai-input وai-train): تفضيلات، «not technical countermeasures against scraping»، لم تقل أي جهة قرأناها إنها تقرؤها.

الخطوة العملية: اسأل مزوّد موقعك كتابةً هل يمر الموقع عبر جدار حماية، وأي روبوتات ذكاء اصطناعي يحظرها. قد تغيب وكالة عن ChatGPT دون أي دور لملف robots.txt.

ما يقوله القانون في الإمارات والسعودية

في الإمارات، صدر المرسوم بقانون اتحادي رقم (38) لسنة 2021 بشأن حقوق المؤلف والحقوق المجاورة، المنشور نصّه على موقع وزارة الاقتصاد والسياحة، في 20 سبتمبر 2021، «ويُعمل به اعتباراً من 02 يناير 2022م». النسخ فيه يشمل «التحميل أو التخزين الإلكتروني الدائم أو الوقتي» (المادة 1)، والمصنفات المحمية تشمل «المصنفات الفوتوغرافية وما يماثلها» (المادة 2). ولم نجد في المادة 22، «القيود والاستثناءات»، ولا في بقية النص، استثناءً للتنقيب في النصوص والبيانات ولا ذكرًا للذكاء الاصطناعي.

في السعودية، صدر نظام حقوق المؤلف الجديد بالمرسوم الملكي رقم (م/169) ونُشر في جريدة أم القرى في 13 فبراير 2026. تنص مادته التاسعة والخمسون على أنه «يحل النظام محل نظام حماية حقوق المؤلِّف»، والحادية والستون على أنه «يُعمل بالنظام بعد (مائة وثمانين) يوماً من تاريخ نشره في الجريدة الرسمية». وتجيز مادته السادسة والعشرون، «دون إذن المؤلِّف ودون تعويض»، حالات منها: «نسخ المصنَّف الأصلي لأغراض تطوير منتجات وخوارزميات الذكاء الاصطناعي بشرط أن يكون المصنَّف قد نشر بصورة مشروعة، وأن يكون الحصول على ملكية النسخة الأصلية بشكل مشروع، وأن يكون النسخ في حدود ما يلبي الغرض». وتشترط المادة السابعة والثلاثون ألا يتعارض هذا الاستعمال «مع الاستغلال العادي للمصنَّف ولا يُلحق ضرراً غير مبرر بالمصالح المشروعة لأصحاب الحقوق». ولا يذكر النص اعتراضًا يعلنه المؤلف بوسيلة مقروءة آليًا، ولا يقول كيف ينطبق شرط «ملكية النسخة الأصلية» على صفحة منشورة على الإنترنت. ووافق مجلس إدارة الهيئة السعودية للملكية الفكرية على لائحته التنفيذية، بحسب أم القرى في 31 يوليو 2026، ولم نقرأ نص اللائحة.

أما مبادئ أخلاقيات الذكاء الاصطناعي لدى سدايا (نسخة 2025)، فلم نجد فيها ذكرًا لحقوق المؤلف ولا لملف robots.txt، ومن أهدافها «حماية خصوصية أصحاب البيانات وحقوقهم فيما يتعلق بمعالجة بياناتهم الشخصية».

وفي الاتحاد الأوروبي، يسمح التوجيه 2019/790 بالتنقيب في النصوص والبيانات ما لم يحتفظ صاحب الحق بحقوقه بوسائل مقروءة آليًا («machine-readable means»)، وهي قاعدة أوروبية فقط.

وعن إعلاناتك: يذكر النصان الإماراتي والسعودي التصوير الفوتوغرافي بين المصنفات المحمية، دون أن يقولا هل صورة إعلان عقاري أو نصه مصنَّف محمي، ولا يذكران ملف robots.txt ولا ملف llms.txt. هذا ليس استشارة قانونية.

توصيتنا

1. اسمح لروبوتات البحث: Googlebot وBingbot وApplebot وOAI-SearchBot وPerplexityBot وClaude-SearchBot.
2. دع روبوتات المستخدمين تمرّ (ChatGPT-User وPerplexity-User وClaude-User): حين يطلب مشترٍ أو مستأجر من مساعد أن يقرأ إعلانك، فأحدها هو الذي يأتي.
3. قرّر بشأن التدريب (GPTBot وClaudeBot وGoogle-Extended وApplebot-Extended وCCBot): السماح لها يعني أن نصوصك قد تغذّي النماذج القادمة. وتكتب OpenAI وGoogle وApple أن رفضها لا يغيّر بحثها، لكن رفض Google-Extended يُخرج الموقع من تحديد المصادر في تطبيقات Gemini.
4. أبقِ خاصًّا بوابة العملاء وصفحات الحسابات والبحث الداخلي: كلمة المرور تحمي، وملف robots.txt يوفّر الزحف غير المفيد.
5. ابقَ مُدرَجًا في ميزات الذكاء الاصطناعي لدى Google (Search Console)، إلا لسبب محدد.

وللصورة الكاملة، راجع دليلنا لتحسين ظهور الوكالات العقارية في محركات البحث ومحركات الإجابة.

مثال على ملف robots.txt لوكالة وهمية في دبي

وكالة www.example.com غير موجودة: هي وكالة وهمية في دبي. تقبل البحث وترفض التدريب (للسماح بالتدريب احذف المجموعة 2).

# ملف robots.txt لموقع www.example.com (وكالة وهمية في دبي)

# المجموعة 1: كل الروبوتات التي ليس لها مجموعة باسمها
# (Googlebot وBingbot وOAI-SearchBot وPerplexityBot...).
User-agent: *
Disallow: /bawabat-al-omala/
Disallow: /hisabi/
Disallow: /bahth
# هذه المسارات تبقى قابلة للقراءة: بوابة العملاء تتطلب كلمة مرور.

# المجموعة 2: رفض التدريب (اختيار الوكالة).
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: CCBot
User-agent: __usage_ai-training
Disallow: /

Sitemap: https://www.example.com/sitemap.xml

روبوتات البحث، وهي غير مذكورة بالاسم، تتبع المجموعة 1. والسطر __usage_ai-training إشارة مشتركة قيد الإعداد، يصفها مشروع وثيقة مؤرَّخ في 30 أكتوبر 2026 «has no formal standing» في IETF، أي بلا صفة رسمية. وتقول Anthropic إنها تعترف منذ 30 أكتوبر 2026 بإشارة «no AI training» المبنية على أعمال IETF، وستقرؤها Microsoft ابتداءً من 1 فبراير 2027، وتعتزم Google دعمها «في أوائل عام 2027».

كيف تتحقق

1. افتح ملف robots.txt وابحث عن Disallow: / تحت User-agent: * أو تحت روبوت بحث. وإن لم يوجد ملف فلا بأس: عندها «محرّك بحث Google يستطيع الزحف إلى جميع عناوين URL على موقعك الإلكتروني».
2. تقرير ملفات robots.txt في Search Console يعرض الملفات التي عثر عليها Google «لأهم 20 مضيفًا على موقعك الإلكتروني» وأخطاءها، ويتيح طلب إعادة الزحف.
3. سجلات الزيارات: اطلب من مستضيف موقعك زيارات الشهر الأخير، مصفّاة بأسماء الجدول. غياب OAI-SearchBot أو PerplexityBot قد يدل على حظر.
4. هوية الروبوتات: تنبّه Google: «يمكن أن يتم انتحال صفة سلسلة وكيل مستخدم HTTP». وتنشر الجهات عناوين IP لروبوتاتها، مثل openai.com/searchbot.json وperplexity.ai/perplexitybot.json، ولدى Bing أداة Verify Bingbot.
5. جدار الحماية: روبوت مسموح له لا يصل أبدًا، هذا سؤال لمزوّد الموقع.

ما يقدّمه Cleemo

ما تقرؤه روبوتات البحث هو إعلاناتك، فالمهم أن تبقى محدَّثة. في البرنامج العقاري بوكلاء الذكاء الاصطناعي من Cleemo، «لكل وكالة مساعدها الخاص بالذكاء الاصطناعي. يعثر على المعلومة في ملفاتك، ويقرأ مستنداتك، ويُعدّ إعلانًا أو مسودة رد، ثم ينتظر موافقتك». ويطلب المساعد «تأكيدًا صريحًا قبل أي نشر أو حذف أو أي إجراء خارجي»، و«تُسجَّل جميع إجراءاته». ويعمل Cleemo AI داخل Cleemo App أو حول برنامجك الحالي «بحسب ما يتيحه من صلاحيات وصول». تعرّف أيضًا على موظفي الذكاء الاصطناعي لدى Cleemo.

الأسئلة الشائعة

هل يؤدي حظر GPTBot إلى اختفاء وكالتي من ChatGPT؟

لا، بحسب OpenAI: روبوت GPTBot للتدريب، وكل إعداد مستقل عن الآخر. حظر OAI-SearchBot هو ما يُخرج الموقع من إجابات البحث في ChatGPT.

هل يُخرجني حظر Google-Extended من النبذات باستخدام الذكاء الاصطناعي؟

لا، بحسب Google: لا يؤثر Google-Extended في ظهور الموقع في بحث Google، والنبذات جزء من هذا البحث. للخروج منها توجد أداتان: إعداد الذكاء الاصطناعي التوليدي في Search Console، أو الوسم nosnippet.

هل أحتاج إلى ملف llms.txt ليذكر الذكاء الاصطناعي وكالتي العقارية؟

ليس من أجل Google، التي تكتب أن بحثها يتجاهل هذه الملفات. ولم تقل أي جهة أخرى قرأنا صفحاتها إنها تقرأ ملف llms.txt في المواقع.

هل تحترم روبوتات الذكاء الاصطناعي ملف robots.txt؟

روبوتات التدريب والبحث المذكورة هنا تُضبط بملف robots.txt، بحسب الجهات التي تشغّلها. أما التي تقرأ صفحة لمستخدم، مثل ChatGPT-User، فقد تتجاهله، وتتيح Anthropic حظر Claude-User.

هل يمكن أن يُحظر موقعي دون علمي؟

نعم. جدار حماية مثل جدار Cloudflare قد يحظر روبوتات الذكاء الاصطناعي مهما كان ملف robots.txt، وقد تغيّرت إعداداته الافتراضية منذ 2025.

هل يحق لشركات الذكاء الاصطناعي نسخ محتوى موقعي في السعودية أو الإمارات؟

في السعودية، يجيز نظام حقوق المؤلف الصادر في 2026 نسخ المصنَّف لتطوير منتجات الذكاء الاصطناعي وخوارزمياته دون إذن ولا تعويض، بشروط منها أن يكون منشورًا بصورة مشروعة. وفي الإمارات لم نجد في المرسوم بقانون رقم 38 لسنة 2021 استثناءً من هذا النوع. هذا ليس استشارة قانونية.

كم يستغرق أخذ التعديل في الحسبان؟

نحو 24 ساعة لدى ChatGPT، وحتى 24 ساعة لدى Perplexity، وبضعة أيام لإعداد Search Console. والوسم الذي تقرؤه Google ينتظر الزحف التالي، وقد يستغرق «بين عدة أيام وعدة أشهر».

👉 اكتشف كيف يعمل وكلاء Cleemo للذكاء الاصطناعي لوكالتك