تحكم بالعناكب عن طريق ملف الربوت تكست robots.txt تحكم بمحركات البحث

أمير الهنوف

السلام عليكم
الكثير يسأل عن ملف robots.txt
الذي يجعلك تتحكم بطريقة تصفح محرك البحث لموقعك..
أنا أقول..
أولاً تفتح ملف جديد و تسميه بإسم robots.txt
و تضعه في المجلد الرئيسي لموقعك..
و لكن ماذا تضع داخله؟

إذا أردت كل محركات البحث أن تتصفح و تتبع جميع الروابط دون استثناء اكتب:
User-agent: *
Disallow:

إذا أردت محرك بحث معين مثل قوقل اكتب:
User-agent: googlebot

إذا أردت منع محركات البحث من تصفح صفحة معينة اكتب:
Disallow: email.htm

إذا أردتها أن تمنعها من مجلد كامل.. اكتب:
Disallow: /cgi-bin/

هذه تمنع كل المحركات من تصفح موقعك بالكامل:
User-agent: *
Disallow: /

هذه تمنع محرك بحث معين من تصفح موقعك:
User-agent: Roverdog
Disallow: /

آخر مثال... تمنع محرك بحث معين من تصفح صفحة معينة:
User-agent: googlebot
Disallow: cheese.htm

و إذا أردت أن تكتب كلام بجانب الكود و لا يفهمه محرك البحث (حتى تتعرف لماذا كتبت الكود) اكتب:
Disallow: bob #comment
لاحظ أن ما بعد # سيهملك محرك البحث (في نفس السطر)

كل ما عليك.. وضع الكود و حفظه! و أنا أفضل الذي يجعلك جميع المحركات يتصفحون كل الموقع..
بالتوفيق..
و السلام عليكم...

غير مسجل

مممممممممممممممممممممممششششششششششششششششششككككككككك ككككككككككككككوووووووووووووووووووووووررررررررررررر