فایل robots.txt چیست و چه کاربردی دارد؟ این رایج ترین سوال در زمینه سئو تکنیکال است. بسیاری از تازه واردان دنیای سئو، تصور می‌کنند که درج دستورالعمل‌های فایل  robots.txt دشوار است و تنها از عهده متخصصین با تجربه این حوزه بر می‌آید.

در حالی که با یکبار مطالعه‌ی دقیق این مقاله، به راحتی می‌توانید دستورات مورد نیاز سئو سایت را در فایل درج کنید. شاید جالب باشد که بدانید، از طریق دستوراتی که در این فایل درج می‌کنید، با ربات‌های گوگل به طور مستقیم در ارتباط خواهید بود.

فایل Robots.txt یک فایل متنی است و شامل دستورالعمل‌هایی می‌شود.

فایل robots.txt چیست؟

فایل Robots.txt یک فایل متنی است که دستورالعمل‌ها در آن درج می‌شود. هر کدام از دستورالعمل‌های درج شده در این فایل، کاربردهای متفاوتی با یکدیگر دارند. این فایل برای گوگل اهمیت زیادی دارد؛ چرا که پیش از شروع خزش سایت، ابتدا دستورات این فایل توسط ربات‌ها خوانده می‌شوند.

لازم به اشاره است که تمام کارشناسان، اعم از کارشناسان On-Page و Off-Page باید نحوه ساخت فایل ربات و درج دستورالعمل‌ها را به خوبی بدانند. نکته قابل توجه این است که، المان‌های بسیاری مانند سئو محتوا ، سئوی تصاویر و … وجود دارد که روی عملکرد سایت تاثیرگذار است، ساخت فایل robots.txt یکی از این المان‌‎ها به شمار می‌آید. بنابراین، پیش از شروع فرآیند سئو سایت حتما این فایل را بسازید و به سرچ کنسول متصل کنید.

دانش اینکه فایل Robots.txt برای چیست و در کدام قسمت CMS شما تعریف می‌شود؟ یا اینکه، نحوه اتصال آن به سرچ کنسول چگونه است؟ و چطور می‌توان در فایل دستور نویسی کرد؟ برای تمام کسانی که در این حوزه فعالیت می‌کنند، مهم و ضروری است. تفاوت میان کسانی که عملکرد حرفه‌ای در سئو دارند با افراد مبتدی، در رعایت همین نکات کوچک اما مهم مشخص می‌شود.

هدف از فایل robots.txt چیست؟

گوگل در خصوص تنظیمات فایل Robots مقاله های جذابی دارد که در بخش مقالات گوگل به آنها اشاره شده است.

A robots.txt file tells search engine crawlers which URLs the crawler can access on your site. This is used mainly to avoid overloading your site with requests; it is not a mechanism for keeping a web page out of Google. To keep a web page out of Google, block indexing with noindex or password-protect the page.

بیشتر بخوانید
سئو چیست؟

هدف از فایل robots.txt چیست؟

این فایل از با هدف زیر به وب‌سایت اضافه می‌شود:

  • جلوگیری از خزش در صفحات خاص (درباره ما – تماس با ما –  صفحه بندی و …) توسط روبات موتورهای جستجو
  • جلوگیری از خزش در کل سایت
  • کمک به پیدا کردن نقشه سایت (Sitemap)

اصطلاحات مربوط به فایل Robots.txt چیست؟

  • User-agent: برای معرفی موتور جستجوی مورد نظر.
  • Disallow: صفحاتی که موتور جستجو اجازه خزش آن را ندارد.
  • Allow: صفحاتی که موتور جستجو اجازه خزش آن را دارد.
  • Crawl-delay: نرخ خزیدن در گوگل را مشخص می‌کند.
  • Sitemap: برای معرفی نقشه سایت به ربات که البته انجام این کار با سرچ کنسول هم امکان پذیر است.
  • No-index: برخی از صفحات مانند صفحات تکراری اجازه ایندکس شدن را نمی‌دهید.
  • No-follow: برخی لینک‌هایی که از اعتبار سایت برخوردار نیستند را مشخص می کنید.

معرفی انواع ربات گوگل

ربات‌های گوگل به چند دسته تقسیم می‌شوند. هر کدام، مسئولیت‌هایی را بر عهده دارند. با توجه به اینکه چقدر وب سایت فعالی دارید، Crawl Budget متفاوت خواهد بود. ربات‌ها، میان وب سایت‌هایی که در طول روز فعالیت‌های مدوام دارند، نسبت به وب سایت‌هایی که فعالیت چندانی ندارند، تمایز قائل می‌شوند. در قسمت Crawl State سرچ کنسول می‌توانید دفعات بررسی صفحه‌های سایت را مشاهده کنید.

مهمترین ربات گوگل که باید بشناسید:

  1. AdSense: این ربات صفحات تبلیغاتی را مشاهده می‌کند.
  2. Google Bot Image: این ربات تصاویر را بررسی می‌کند.
  3. Google Bot News: این ربات سایت‌های خبری را ایندکس می‌کند
  4. Google Bot Video: این ربات ویدئوها را بررسی می‌کند.
  5. Google Bot: این ربات صفحات وب را ایندکس و کشف می‌کند.
چطور فایل Robots.txt را پیدا کنیم؟ احتمالا این پرسش به ذهن شما هم رسیده است.

فایل Robots.txt کجاست؟

چطور فایل Robots.txt را پیدا کنیم؟ احتمالا این پرسش به ذهن شما هم رسیده است. وارد صفحه اصلی سایت شوید، در انتهای آدرس URL سایت، عبارت /robots.txt را اضافه و دکمه Enter فشار دهید. حالا یک فایل متنی مقابل شما باز شده است. یکی از راه‌ها برای اینکه متوجه عملکرد بخشی از رفتار تکنیکال رقیب شوید، مشاهده فایل متنی Robots.txt سایت رقیب است.

در صورتی که نیاز به ویرایش فایل دارید، باید وارد اکانت هاستینگ شوید. فایل ربات در root قرار دارد و برای اعمال تغییرات، باید آن را باز کنید. اگر سایت تازه نفس دارید و این فایل را در Root پیدا نمی‌کنید، کافی است یک فایل متنی دقیقا با همین نام، بسازید و در اکانت هاستینگ خود آپلود کنید. هنگام ساخت اکانت، به اسم ربات و همچنین، بزرگ و کوچکی حروف توجه کنید.

چگونه فایل  Robots.txt بسازیم؟

ساختار فایل robots.txt متنی است؛ بنابراین، برای ساخت به یک Notepad ساده نیازمندید. شما در انتخاب ویرایشگر برای ساخت فایل هیچ محدودیتی ندارید. با هر ویرایشگری که خروجی TXT به شما بدهد، امکان ساخت، فایل ربات گوگل را دارید. اگر به این مقاله علاقه‌مند شدید احتمالا به مقاله ریجکس و نحوه نوشتن آن نیز علاقه‌مند شوید.

مراحل ساخت فایل Robots.txt:

  1. یک فایل Notepad یا ویرایشگر متنی که خروجی TXT می‌دهد را باز کنید.
  2. فرمت فایل را هنگام ذخیره به UTF-8 تغییر بدهید.
  3. فایل را باز کنید و دستورات دلخواه را درج کنید.
  4. برای درج دستورات مورد نیاز به انتهای همین صفحه بروید و از راهنمایی‌ها استفاده کنید.
  5. حالا فایل برای آپلود در ریشه یا root هاستینگ آماده است.

چگونه فایل robots.txt را در Root بارگذاری کنیم؟

وارد اکانت هاستینگ شوید. همانطور که گفته شد، فایل ربات باید در قسمت ریشه یا root قرار بگیرد. منظور از اینکه در Root قرار بگیرد، این است که، در پوشه اصلی میزبان هاست سایت باشد.

https://hparviz.ir/robots.txt

تست فایل robots.txt

اگر وب‌سایت یا وب سایت به سرچ کنسول متصل باشد، شما می‌توانید از طریق ابزارهای آن، فایل ربات‌های گوگل را راستی آزمایی کنید. اگر فایل را به درستی آپلود کرده باشید می‌توانید در ابزار سرچ کنسول مشاهده کنید.

  1. وارد سرچ کنسول سایت شوید.
  2. سرچ کنسول را در حالت domain property قرار دهید.
  3. فهرست فایلهای robots.txt می‌توانید مشاهده کنید.
  4. اگر فایل روبات به درستی آپلود نشده باشد، در این بخش خطا مشاهده می‌کنید.
  5. با کلیک بر روی آیکون سه نقطه در سمت راست می‌توانید به گوگل درخواست بدهید که مجددا فایل ربات را بررسی کند.

فایل Robots.txt چگونه کار می کند؟

اگر نمی‌خواهید، برخی از صفحات سایت شما توسط ربات بررسی شود، پس وقت آن رسیده که دستور نویسی در فایل ربات را شروع کنید. در فایل robots.txt ، منظور از ربات چیست؟ ربات گوگل یا موتور جستجوی خاصی را مد‌نظر دارید؟ یا اینکه تصمیم دارید دستورالعمل‌ها را به همه موتورهای جستجو اعلام کنید؟ ربات‌ها، همیشه از ابتدای فایل را می‌خوانند و براساس دستورات درج شده، عمل می‌کنند. به عنوان مثال، در صورتی که اجازه خواندن صفحات No-Index را ندهید، هیچ کدام از صفحاتی که هنوز توسط موتور جستجو Index نشدند، بررسی نخواهند شد.

اگر نمی‌خواهید، برخی از صفحات سایت شما توسط ربات بررسی شود، پس وقت آن رسیده که دستور نویسی در فایل ربات را شروع کنید.

بهینه سازی فایل  Robots.txt

با توجه به توضیحات ارائه شده در بالا، تمام سایت ارزیابی می‌شود. در سئو تکنیکال، بسیاری از مشکلات که سرچ کنسول گزارش می‌دهد، این فایل، قابل حل است. سرچ کنسول و گزارش‌های آن برای بهبود عملکرد سایت، یک راهنما به شمار می‌آید. به همین دلیل، هنگام مواجه با مشکلات باید بتوانید، درست تشخیص بدهید و برای آن‌ها برنامه ریزی کنید. شناخت برخی نکات ریز تاثیر زیادی روی عملکرد سایت دارد. اگر می‌خواهید یک متخصص سئو باشید، لازم است درباره تمام نکات ریز و درشت داخل سایت، اطلاعات کافی را دریافت کنید.

بیشتر بخوانید
دیجیتال مارکتینگ چیست؟

رفع ارور تکنیکال سئو با دستورات  Robots.txt

دستورات زیر به شما کمک می‌کند تا بسیاری از مشکلات تکنیکال سئو را رفع کنید. یادگیری آن‌ها ساده است، در زیر تمام دستورات را با توضیح ارائه دادیم.

دستور user-agent فایل  Robots.txt

این دستور را به شکل زیر می‌نویسیم:

User-agent:*

این دستور مشخص می‌کند که دستورات بعدی برای تمام موتورهای جستجو نوشته شده است.

User-agent: Googlebot

این دستور مشخص می‌کند که دستورات بعدی برای ربات گوگل نوشته شده است.

دستور disallow فایل  Robots.txt

همانطور که از اسم آن پیداست، مشخص می‌کند چه صفحاتی را نباید بررسی کند. در واقع فولدرهای غیر مجاز برای گوگل بات به این روش مشخص می‌شود.

User-agent:*

Disallow: /photos

این دستورات نشان می‌دهد که بررسی تصاویر توسط تمام ربات‌های تمام موتورهای جستجو غیر مجاز است. به بیان دیگر، فولدر تصاویر توسط هیچ موتورجستجو اجازه بررسی یا ایندکس را ندارد.

به دو دستور زیر توجه کنید:

User-agent:*

Disallow:

این دستور اجازه دسترسی یا بررسی تمام فایل‌ها را می‌دهد.

User-agent:*

Disallow:/

این دستور، تمام صفحات یا به عبارتی، تمام فایل‌ها را برای ربات، مسدود می‌کند.

دستور allow فایل Robots.txt 

User-agent:*

Disallow: /photos

Allow: /photos/x.jpg

این دستور بیان می کند که هیچ رباتی در هیچ موتور جستجویی اجازه دسترسی به فولد تصاویر را ندارد به جزء فایل x.jpg

دستور Crawl-delay فایل Robots.txt

این دستور به عنوان نرخ تاخیر روی درخواست‌ها ربات‌ها شناخته می‌شود. معمولا برای ایجاد نرخ تاخیر روی ربات گوگل از سرچ کنسول استفاده می‌شود. برای استفاده از این دستور باید شناخت کافی درباره سئو تکنیکال داشته باشید، زیر عدم شناخته و استفاده از دستورات ربات، گاهی باعث آسیب به سئو سایت می‌شود.

دستور site map فایل  Robots.txt 

Sitemap: https://hparviz.ir/sitemap.xml

این دستور مسیر سایت مپ را نشان می‌دهد.

جمع بندی فایل robots.txt چیست؟

در این مقاله به نکات مهم و ضروری و البته پر کاربرد اشاره کردیم. از این طریق سعی کردیم به بررسی و حل چند مثال بپردازیم تا موضوع برای شما شفاف سازی شود. هر چقدر ربات گوگل را از روند فعالیت سایت با خبر کنید، ارزیابی را برای آن ساده کرده و این امر روی رتبه بندی سایت شما تاثیر می گذارد. لازم است بدانید که اگر می‌خواهید یک متخصص سئو شوید باید درباره فایل ربات اطلاعات جامع و کاملی داشته و بتوانید از این اطلاعات به بهترین شکل استفاده کنید.

سوالات متداول

چرا فایل Robots.txt در سئو مهم است؟

مهم نیست، وب‌سایت شما بزرگ است یا کوچک، در هر حال فایل ربات همانطور که از اسم آن پیداست به شما امکان کنترل ربات موتورهای جستجو مخصوصا گوگل را می‌دهد.

چرا به فایل robots.txt نیاز دارید؟

برای بهینه سازی سایت، در هر زمینه‌ای اعم  از خارجی و داخلی و البته تکنیکال سایت لازم است.

عواقب عدم تعریف فایل Robots.txt چیست؟

ربات گوگل یا هر موتور جستجویی به تمام صفحات شما دسترسی دارد و همه صفحات را ایندکس می‌کند. برخی صفحات که ایندکس شدن آن‌ها باعث کاهش رتبه سایت می‌شود باید از دید گوگل حذف شده و در صورت نداشتن فایل Robots.txt با مشکل مواجه خواهید شد.