نحوه تنظیم فایل robots.txt | چگونه فایل robots.txt بسازیم؟

تنظیم فایل robots.txt یکی از موارد مهم در بهینه سازی سئو وب سایت شماست. این فایل به موتورهای جستجو گوگل اطلاع می‌دهد که کدام بخش‌های وبسایت شما باید بررسی و اسکن شوند و کدام بخش‌ها باید از این فرآیند مستثنی شوند. در این مقاله، ما به شما نحوه تنظیم صحیح فایل robots.txt را آموزش می‌دهیم و راهکارهایی برای بهینه سازی سئو فنی وبسایتتان با استفاده از این فایل ربات سایت ارائه می‌دهیم.

در این مقاله، به توضیح مفهوم و کاربرد فایل robots.txt در سایت وردپرس، سی پنل، دایرکت ادمین و… می‌پردازیم. این فایل یکی از مهم ترین موارد در خدمات سئو سایت است. شما خواهید فهمید که این فایل چگونه موتورهای جستجو را هدایت می‌کند و تنظیم درست فایل ربات سایت و نقش آن در بهبود نتایج جستجوی وبسایت شما چیست.

در ادامه یاد میگیریم که چگونه فایل robots.txt بسازیم؟

فایل robots.txt چیست؟

فایل robots.txt یک فایل متنی است که در محل سایت خود public html قرار می‌دهید تا به ربات‌های جستجو اطلاع دهید که کدام بخش‌های وبسایت شما باید در نتایج جستجو نمایش داده شود و کدام بخش‌ها باید از نظر ربات‌های جستجو محدود شوند. تنظیم درست این فایل و بهینه سازی ان از موارد بسیار مهم در چک لیست سئو می باشد.

نکته: تنظیم فایل robots.txt در وردپرس، سی پنل، دایرکت ادمین و… تفاوت چندانی با هم ندارند و تقریبا روش های یکسان و کد های واحد دارند!

کنسئو

نحوه تنظیم فایل robots.txt

با این توضیحات به احتمال زیاد شاید بپرسید که چگونه فایل robots.txt را در سایت وردپرس، سی پنل هاست، یا هاست دایرکت ادمین باید تنظیم کنیم؟ در زیر توضیحات کامل و کدها یا دستورات رایج برای تنظیم فایل robots.txt آمده است:

قسمت User-agent:

این بخش برای تعیین ربات‌های مختلف استفاده می‌شود. می‌توانید از “*” استفاده کنید تا تنظیمات را برای همه ربات‌ها اعمال کنید، یا از نام ربات‌های خاصی مانند “Googlebot” یا “Bingbot” استفاده کنید. مثال:

User-agent: *

قسمت Disallow:

با استفاده از این دستور می‌توانید مشخص کنید که ربات‌های جستجو برخی از صفحات یا بخش‌های وبسایت شما را نبازند. برای این کار، مسیرهایی که نباید توسط ربات‌ها اسکن شوند را مشخص می‌کنید. مثال:

Disallow: /

اگر می‌خواهید یک بخش خاص از وبسایت را برای ربات‌ها غیرفعال کنید، می‌توانید مسیر آن بخش را مشخص کنید. برای مثال:

`

Disallow: /admin/

````

این دستورات می‌گویند که ربات‌ها بخش "/admin/" را نباید اسکن کنند.

```

بخش Allow در فایل robots.txt:

این دستور برای مشخص کردن بخش‌هایی استفاده می‌شود که در برابر Disallow همچنان باید در دسترس ربات‌های جستجو قرار بگیرند. مثال:

Allow: /public/
این مثال نشان می‌دهد که بخش "/public/" در دسترس ربات‌های جستجو است.

`

درج و تنظیم Sitemap در robots.txt:

با استفاده از این دستور می‌توانید لینک فایل sitemap خود را مشخص کنید. فایل sitemap حاوی لیست صفحات وبسایت شما است که می‌خواهید ربات‌ها آنها را بررسی کنند. مثال:

Disallow: /

اگر می‌خواهید یک بخش خاص از وبسایت را برای ربات‌ها غیرفعال کنید، می‌توانید مسیر آن بخش را مشخص کنید. برای مثال:

`

Disallow: /admin/

````

این دستورات می‌گویند که ربات‌ها بخش "/admin/" را نباید اسکن کنند.

```

نکته مهم در باره فایل ربات سایت!

مهم است که توجه داشته باشید که تنظیم فایل robots.txt تاثیری بر روی امنیت اطلاعات وبسایت شما ندارد. برخی ربات‌ها قبل از اسکن فایل robots.txt به وبسایت شما دسترسی دارند و ممکن است بخش‌هایی که در فایل مشخص شده است را دیده و بررسی کنند. بنابراین، اطمینان حاصل کنید که اطلاعات حساس خود را در بخش‌هایی قرار ندهید.

تنظیم فایل robots.txt یک فایل مهم است که به ربات‌های جستجو اطلاع می‌دهد که کدام بخش‌های وبسایت شما باید اسکن شوند و کدام بخش‌ها باید نادیده گرفته شوند.

در زیر مراحل ساده‌ای برای تنظیم و ساخت یا ایجاد یک فایل robots.txt به روش درست آمده است:

ایجاد فایل robots.txt: ابتدا باید یک فایل متنی با نام “robots.txt” ایجاد کنید.

مشخص کردن User-agent: در ابتدای فایل robots.txt، شما باید User-agent را مشخص کنید. User-agent به ربات‌ها می‌گوید که تنظیماتی که در ادامه می‌آیند برای کدام ربات اعمال شود. برای مثال، می‌توانید از “*” استفاده کنید تا تمام ربات‌ها را در نظر بگیرید یا از نام ربات‌های خاصی مانند “Googlebot” یا “Bingbot” استفاده کنید.

User-agent: *

مشخص کردن Disallow:

بعد از مشخص کردن User-agent، شما می‌توانید بخش‌هایی از وبسایت خود را که نمی‌خواهید ربات‌ها آنها را اسکن کنند، با استفاده از دستور Disallow مشخص کنید. برای مثال، اگر می‌خواهید تمام بخش‌های وبسایت را برای ربات‌ها غیرفعال کنید، می‌توانید از دستور زیر استفاده کنید:

Copy
Disallow: /

اگر می‌خواهید یک بخش خاص از وبسایت را برای ربات‌ها غیرفعال کنید، می‌توانید مسیر آن بخش را مشخص کنید. برای مثال:

`

Disallow: /admin/

````

این دستورات می‌گویند که ربات‌ها بخش "/admin/" را نباید اسکن کنند.

```

ذخیره فایل robots.txt:

پس از تنظیم فایل robots.txt، آن را در ریشه وبسایت خود (معمولاً در پوشه اصلی وبسایت) قرار دهید.

برای مثال، اگر وبسایت شما به آدرس “www.example.com” قابل دسترسی است، فایل robots.txt باید در آدرس “www.example.com/robots.txt” قرار گیرد.

توجه داشته باشید که فایل robots.txt باید در پوشه اصلی وبسایت قرار گیرد و نه در زیرپوشه‌ها.

این تنظیمات اجازه می‌دهند به ربات‌های جستجو دستور داده شود که بخش‌های خاصی از وبسایت را نادیده بگیرند. با این حال، برخی ربات‌ها ممکن است این تنظیمات را نادیده بگیرند و بخش‌ها.

Multiple User-agents:

می‌توانید دستورالعمل‌های مختلفی را برای عوامل کاربر مختلف (خزنده‌های موتور جستجو) با قرار دادن چندین بخش User-agent در فایل robots.txt خود تعیین کنید. مثلا:

User-agent: Googlebot
Disallow: /private/

User-agent: Bingbot
Disallow: /admin/
```

In this example, different instructions are provided for Googlebot and Bingbot. Googlebot is disallowed from accessing the "/private/" directory, while Bingbot is disallowed from accessing the "/admin/" directory.

معرفی مکان نقشه سایت و درج سایت مپ در تنظیم فایل robots.txt:

می توانید دستورالعمل نقشه سایت را در فایل robots.txt خود قرار دهید تا مکان نقشه سایت XML خود را مشخص کنید. قرار دادن لینک سایت مپ در فایل robots.txt و فوتر نقش مهمی در رفع مشکل ایندکس نشدن در گوگل دارد. درواقع قرار دادن sitemap.xml در فایل ربات سایت به خزنده‌های موتور جستجو کمک می‌کند تا صفحات وب‌سایت شما را به‌طور مؤثرتری کشف و فهرست‌بندی یا همون ایندکس کنند. مثلا:

Sitemap: [https://www.example.com/sitemap.xml](https://www.example.com/sitemap.xml)
```

This example specifies that the XML sitemap for your website is located at `https://www.example.com/sitemap.xml`.