گام اول: خونسردی خود را حفظ کنید و تمرکز کنید.

اولین قدم این است که شما به عنوان یک متخصص سئو یا وبمستر، اوضاع را تحت کنترل بگیرید. نباید اجازه دهید که استرس وارد شده به کمپانی، شما را از تمرکز کردن روی موضوع، دور کند. چرا که در گام بعدی، باید به بررسی دلایل محتمل بپردازید.

گام دوم: به بررسی دلایل ممکن بپردازید

وجود ایراد در کد های سایت یا بخش هایی مربوط به سئو فنی Technical SEO

اشکال در فایل robots.txt

وجود هر گونه اشکال یا ایراد در محتوای فایل رباتس robots.txt باید اولین چیزی باشد که به بررسی آن می پردازید. نمونه فایل رباتس به شکل زیر است:

domain.com/robots.txt 

user-agent: *
Disallow: /example/
Disallow: /profile/*
Disallow: /my-analytics/*
Disallow: /plugins/
Allow: /plugins/*.css

sitemap: http://domain.com/sitemap.xml
sitemap: http://domain.com/image_sitemap.xml 

فرض کنید شما یه فایل دارید در آدرس /articles/image-1.png و کد زیر در فایل رباتس شما وجود داره.

Disallow: /articles

گوگل این عکس رو هیچوقت نمیبینه ! و ایندکسش هم نمیکنه. 

فرض کنید یه لینکی یه جای این کره خاکی به صفحه example.com/articles/seo.html وجود داره.

سوال: آیا این صفحه ایندکس میشه؟

جواب: بله ایندکس میشه !

چرا؟

چون این صفحه لینک داره و شما از ربات گوگل خواستید که اصلا به این مسیر نره ! نگفتید که ایندکسش نکن !

جا داره به معنی لغوی Disallow بپردازیم

Disallow: اجازه ندادن، مخالف Allow به معنی اجازه دادن

پس اینطوری میشه که اون صفحه کماکان ایندکس میشه ولی مثل فلجا !

هیچوقت سعی نکنید تا صفحاتی از سایت را با استفاده از تغییر فایل رباتس robots.txt از نتایج گوگل حذف کنید.

نمونه رباتس فایل مناسب برای وردپرس

User-agent: * 

در واقع برای وردپرس هیچ نیازی به گرفتن جلوی ربات های موتور های جستجو از دسترسی به بخشی از سایت وجود ندارد. در صورت وجود وسواس در این زمینه، می توانید تنها جلوی دسترسی ربات ها به بخش مدیریت سایت را بگیرید (که هیچ الزامی به انجام این کار وجود ندارد.)

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: http://domain.com/sitemap.xml 

همچنین یک فایل رباتس مناسب برای سایت جوملا، به صورت زیر است.

User-agent: *
Disallow: /administrator/
Disallow: /bin/
Disallow: /cli/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
Disallow: /tmp/

توجه داشته باشید که خطوط زیر را حتما از فایل رباتس سایت جوملا حذف کنید.

Disallow: /modules/
Disallow: /plugins/
Disallow: /components/ 

<meta name="robots" content="noindex" />
<meta name="googlebot" content="noindex" />

<meta name="robots" content="index" />

دلایل حذف شدن سایت از گوگل: پنالتی و سندباکس گوگل

در صورتی که سایت، بر اثر پنالتی شدن یا ورود به حالت سندباکس گوگل، از نتایج حذف شده باشد، تنها راه برگشتن صفحات به نتایج، حل کردن دلیل پنالتی یا سندباکس سایت می باشد. در این صورت می توانید از موارد زیر برای حل مشکل خود استفاده نمایید: