[p30mania]

سلام
امروز داشتم صفحه های 404 که گوگل شناسایی کرده از طریق وبمستر بررسی می کردم، با صفحاتی روبرو شدم که اصلا مشخص نیست گوگل این صفحات رو چطوری پیدا کرده.
بعضی از صفحات :

lastnews/page/57/index.php?do=search
lastnews/page/58/index.php?do=search
tags/%D8%AA%D8%A7%D9%86%DA%AF%D9%88+%D8%A8%D8%B1%D8%A7%D
B%8C+android/index.php?do=search
news/page/35/index.php?do=search
news/economy/index.php?do=search
و ...

این هم رباتی که برای سایت تنظیم کردم (robots.txt)

User-agent: *
Disallow: /engine/go.php
Disallow: /engine/download.php
Disallow: /user/
Disallow: /upgrade/
Disallow: /statistics.html
Disallow: /favorites/
Disallow: /login/
Disallow: /catalog/
Disallow: /topnews/
Disallow: /newposts/
Disallow: /ads.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /rules.html
Disallow: /*action=mobiledisable

از دوستان کسی تاحالا با این صفحات مواجه شده؟
از لطف دوستانی که در تاپیک شرکت می کنند، پیشاپیش تشکر می کنم.

[sahar5555]

من هم همین مشکل رو دارم

[IMP]

چیز خاصی نیستند این مشکلات. با تنظیم فایل robots مشکلات به مرور زمان برطرف میشه. برای مثال شما باید صفحه تگ ها رو هم داخل فایل robots قرار بدید. برای من هم صفحات اضافی پیدا میکرد قدیم ها، ولی به مرور مشکلات برطرف میشه.

[amirff]

IMP,
سلام دوست عزیز
من هم زیر سایتم ماژول نمایش تگ ها رو دارم
ولی ضاحرا این ماژول باعث پیدا کردن صفحات 404 توسط گوگل میشه!
برش دارم یا اینکه قابل حذف هست؟
و اینکه گوگل بعضی موقع ها سراغ فایل های فولدر engine میره! و 404 نشون میشه!!
این هم رفع میشه؟؟

[IMP]

شما اگر کد زیر رو توی فایل robots بزارید، مشکلتون برطرف میشه:

Disallow: /tags/

برای فولدر engine هم:

Disallow: /engine/

فقط انتظار نداشته باشید یک شبه همه مشکلات ایندکس شدن صفحات برطرف بشه. یک سری آموزش هم روی سایت هست برای بهینه کردن سیستم، اون ها رو هم یک نگاهی بکنید. با همین تغییرات ساده، گالری عکس من با نزدیک به 6500 صفحه، حتی یک دونه Not Found هم توی گوگل وبمستر نداره.

موفق باشید

[amirff]

IMP,
خیلی ممنونم به خاطر راهنمایی
حالا با این تغییرات ، اگر گوگل نتونه تگ ها رو نگاه کنه واسه سئو چه اتفاقی می افته؟ تاثیر منفی داره یا مثبت؟
من فکر کنم دی آلو انجین باید تو robots.txt به صورت پیش فرض باشه! شایدم پاکس کردم!

[p30mania]

IMP,
از اینکه در تاپیک شرکت کردید ممنونم.
فقط یک موردی من مخصوصا تگ رو در robots.txt قرار ندادم، چون هدفم این هست که تگ های سایت ایندکس بشن.
راهی نداره که این مورد بدون محدود کردن تگ ها از دسترس موتور جستجو خارج بشن؟

پ.ن: اگه برای مورد بالا راهی نیست، به این صورت می شه طوری ربات رو تنظیم کرد که تمام آدرس هایی که به index.php?do=search ختم می شن رو ایندکس نکنه؟
فکر کنم باید به این صورت نوشته بشه :

Disallow: /index.php?do=search
Disallow: */index.php?do=search

منبع

پ.ن2: موردی که در بالا گفتم درست هست یا نه؟ (یعنی توضیحاتی که در منبع قرار دادم رو درست متوجه شدم یا خیر؟)

با تشکر مجدد از دوستانی که در تاپیک شرکت می کنن (مخصوصا جناب IMP)

[IMP]

نقل قول: p30mania

راهی نداره که این مورد بدون محدود کردن تگ ها از دسترس موتور جستجو خارج بشن؟

فکر نمیکنم. شما یا باید به ربات اجازه دسترسی بدید و یا برعکس!

در مورد کد زیر:

Disallow: */index.php?do=search

فکر میکنم مشکلی پیش نیاد، البته باید تست کنید تا نتیجه معلوم بشه.