نمونه فایل robots.txt وردپرس برای مدیریت دسترسی ربات ها به قسمت های مختلف سایت و مسیر های اضافه جهت حفظ بودجه خزش و جلوگیری از ایندکس ناخواسته
User-agent: * # Block unnecessary directories and files Disallow: /cgi-bin/ Disallow: /readme.html Disallow: /license.txt # Block WordPress admin but allow AJAX requests Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php # Block feeds Disallow: /feed/ # Block search results Disallow: /search/ # Block author archives Disallow: /author/ # Block date archives Disallow: /archives/ # Block user accounts Disallow: /my-account/ # Block WooCommerce downloads Disallow: /downloads/ # Block WooCommerce filters, add to cart, and all parameters Disallow: */?* Allow: */?ver* # Block direct access to PHP and HTML files for added security Disallow: /*.php$ Disallow: /*.html$ # Block Aparat video embeds Disallow: /v/ # Define the location of your sitemap Sitemap: https://example.com/sitemap_index.xml
[alertbar type=”warning”]
نکته مهم :
توضیح هر قسمت در کد موجود است و شما باید مطابق با استراتژی سئو سایت بعضی از موارد را حذف یا اصلاح کنید. به هیچ عنوان این یک فایل عمومی برای استفاده در همه سایت ها نیست و باید توسط سئوکار متخصص ویرایش شود.
[/alertbar]
اگر سوالی درباره عملکرد این کد دارید لطفا در قسمت نظرات بپرسید تا پاسخگوی شما باشیم.