فایل روبات چیست؟

          حمیدرضا 
            بازدید : 1774
          جمعه 30 مرداد 1394
           نظرات (0)
        

اگر در وب کاوش و در زمینه های وبلاگ نویسی و افزایش سئو مطالعه کرده باشید ، حتما کلمه ی روبات سایت به گوشتان خورده است. اسم خیلی جذاب و به نظر پیچیده ای دارد. اما آن طور که به نظر می رسد نیست. فایل روبات یک فایل بسیار ساده ی متنی با پسوند txt است که هر کسی می تواند آن را در notepad ویندوز خود ایجاد کند و در سایت خود قرار دهد. اما همین فایل ساده ی متنی بسیار مهم است. چرا که جستجوگر ها هنگامی که سایتی را می شناسند ، با استفاده از فایل robots.txt آن سایت ، آدرس نقشه ی سایت¹ را به دست می آورند. همچنین همین فایل روبات به جستجوگر می گوید که باید از کدام قسمت های سایت صرف نظر و به کدام قسمت ها توجه کند. مثلا شما صفحه ای دارید که مربوط به کاربران است و جز کسانی که در سایت عضو شده اند نباید آن را ببینند. مشخص است که ایندکس شدن² چنین صفحه ای در موتور های جتسجوگر اصلا جالب نیست. جدا از این موضوع ؛ شاید شما بخواهید تنها گوگل صفحات شما را کاوش کند و آن ها را در سامانه ی خود ایندکس کند.

1. نقشه ی سایت: موتور های جستجوگر توسط فایل هایی به نام نقشه ی سایت (فایل هایی با پسوند xml) ، صفحات ، تصاویر ، فیلم ها و ... را می شناسند. برای دیدن نقشه ی سایت ما اینجا کلیک کنید.

2. ایندکس کردن: این اصطلاح به این معنی است که ، موتور جستجوگر ، صفحه را در لیستی ذخیره می کند و هر گاه کسی کلمه ای منتاسب با آن صفحه جستجو کرد ، آن را نمایش می دهد. هر صفحه ای که در رتبه ای بالاتر از دیگر صفحات ایندکس شده باشد ، در صفحات اول جستجو نمایش داده می شود. (رقابت و تلاش بیشتر سایت ها بر سر همین مسئله است)

تمام این چیز هایی که گفتم توسط فایل روبات قابل انجام است. فایل روبات هیچ برنامه نویسی ای ندارد و به سادگی هر کسی با کم ترین سطح آگاهی می تواند آن را ایجاد کند. در این مطلب من می خواهم طرز ایجاد یک فایل روبات را آموزش دهم.

نکته: فایل روبات همیشه باید در آدرسی شبیه به این آدرس باشد: http://www.toolstheme.ir/robots.txt

در صورتی که فایل روبات در جایی به غیر از آدرس بالا باشد ، موتور های جستجوگر قادر به پیدا کردن آن نیستند.

آموزش نوشتن فایل robots.txt

به سادگی هر چه تمام تر یک نرم افزار ویرایش متن مثل notepad را باز کنید و این کد ها را درون آن بنویسید:

<<<code>>>

User-agent: *

Disallow: /apage

Disallow: /anotherpage

Allow: /

Allow: /posts

Crawl-delay: 1

Sitemap: [sitemapaddress.xml]

<<</code>>>

خط اول ، نشان می دهد که چه موتور هایی اجازه ی بررسی سایت را دارند. علامت ستاره (*) در هر جای این فایل روبات معنی کلمه ی "هر" را می دهد. مثلا اینجا یعنی هر موتور جستجوگری!

خط دوم و سوم ، نشان دهنده ی این است که چه آدرسی نباید توسط موتور جستجوگر بررسی شود. (از Disallow به تعداد نامحدود در خط های بعد می توان استفاده کرد)

خط چهارم و پنج ، نشان دهنده ی قسمت هایی هستند که جستوگر ها باید آن ها را بررسی کنند. در حالت پیشفرض هر صفحه ای که Disallow نشده باشد ، Allow به حساب می آید.

خط ششم ، نشان دهنده ی وقفه ای است که موتور های جستجوگر باید در میان درخواست های خود بیندازند. اگر این مقدار 0 باشد و سرور سایت شما امکان دریافت تعداد زیادی درخواست در یک لحظه را نداشته باشد ، ممکن است سایت شما برای مدتی از کار بیفتد.

خط هفتم ، نشان دهنده ی آدرس نقشه ی سایت شماست. این قسمت از تمام قسمت ها مهم تر است. چرا که اگر این خط نباشد ، جستجوگر قادر به شناسایی نقشه ی سایت شما نخواهد بود. از Sitemap به تعداد نامحدود می توان استفاده کرد. مثلا در فایل روبات سایت ما از 7نقشه ی سایت استفاده شده است. توجه داشته باشید که به جای [sitemapaddress.xml] باید آدرس نقشه ی سایت را بنویسید.

بعد از این که فایل robots.txt را ذخیره کردید باید آن را در آدرسی که گفته شد آپلود کنید. اگر از سیستم های وبلاگ نویسی هم استفاده می کنید ، به احتمال زیاد فایل روبات به صورت پیشفرض برای سایت یا وبلاگ شما وجود دارد. بعضی از سیستم های وبلاگ نویسی هم امکان تغییر دادن فایل روبات را دارند.

چند مثال دیگر

مثال 1: مثلا ما می خواهیم تمام تصاویر jpg سایت از دید جستجوگر ها مخفی بماند:

<<<code>>>

Disallow: /*.jpg

<<</code>>>

* یعنی هر. یعنی هر آدرسی که آخر آن .jpg است. کاراکتر / اولین کاراکتر بعد از آدرس اصلی سایت است.

مثال 2: برفرض ما می خواهیم تمام آدرس هایی که در زیر مجموعه ی /download/ هستند را از جستجو مخفی کنیم.

<<<code>>>

Disallow: /download/*

<<</code>>>

امیدوارم بتوانید از این فایل برای بالا بردن سئوی سایت خود استفاده کنید. موضوع بسیار ساده ای است اما می تواند خیلی کاربردی باشد.

ارسال نظر برای این مطلب

عنوان	پاسخ	بازدید	توسط
پنهان کردن عناصر صفحه در php	4	2560	snakeeye
طراحی باکس دانلود	6	2769	mary567
ارزیابی رایگان سایت ها و وبلاگ ها	25	9475	grimboy
انواع قالب اختصاصی	3	2313	ghraphic-home
بهترین افزونه های AMP وردپرس	2	2718	jack7788
کد پاپ اپ دو یا چند پنجره به طور همزمان پشت صفحه	23	9847	jack7788