+- تالار گفتمان اسکریپت دات کام (https://forum.xn--mgbguh09aqiwi.com)
+-- انجمن: SEO - بهینه سازی وب سایت (https://forum.xn--mgbguh09aqiwi.com/Forum-SEO-%D8%A8%D9%87%DB%8C%D9%86%D9%87-%D8%B3%D8%A7%D8%B2%DB%8C-%D9%88%D8%A8-%D8%B3%D8%A7%DB%8C%D8%AA)
+--- انجمن: آموزش ها و مقالات SEO (https://forum.xn--mgbguh09aqiwi.com/Forum-%D8%A2%D9%85%D9%88%D8%B2%D8%B4-%D9%87%D8%A7-%D9%88-%D9%85%D9%82%D8%A7%D9%84%D8%A7%D8%AA-SEO)
+--- موضوع: پنالتی احتمالی و Robots.txt (/Thread-%D9%BE%D9%86%D8%A7%D9%84%D8%AA%DB%8C-%D8%A7%D8%AD%D8%AA%D9%85%D8%A7%D9%84%DB%8C-%D9%88-Robots-txt)
پنالتی احتمالی و Robots.txt - masterina - 1396/04/03
همانطور که در جریان هستید، بخش کثیری از نوشته‌های من بر اساس سوالاتی‌ست که کاربران بیش از دیگر سوالات از من می‌پرسند. همانطور که در نوشته چرا سایت من از نتایج جست‌وجو حذف شده گفتم، بخشی از این اشتباهات به خاطر فایل Robotss است. حال بهتر است این نکته را هم اضافه کنم که ممکن است سایت شما به خاطر اشتباهتان در آماده‌سازی این فایل پنالتی هم بشود! شاید پیش خودتان فکر کنید که چرا این اتفاق می‌افتد و یا اگر تازه با سئو و متعقلاتش آشنا شده باشید بخواهید بیشتر در موردش بدانید، پیشنهاد می‌کنم تا پایان این مقاله با من همراه باشید.
کاربردهای فایل Robots.txt
شاید ساده‌ترین تعریفی که می‌توانیم در مورد این فایل داشته باشیم این است که این فایل همانند یک کتاب قانون سفت و سخت عمل می‌کند؛ شما از طریق این فایل به موتورهای جست‌وجو و اکثر روبات‌ها و خزنده‌ها دستور می‌دهید که چه صفحاتی را نبینند و یا اگر در حال حاضر نمی‌توانند ببینند، ببینند.کاربردهای این فایل زمانی مشخص می‌شود که شما برروی سایتتان بخش‌هایی دارید که نمی‌خواهید خزنده‌ها ببینند و یا اصلا نیازی نمی‌بینید که آن بخش‌ها بخواهند در نتایج جست‌وجو دیده شوند.
بگذارید با تشریح این فایل شروع کنم. اصولا در ابتدای هر بخش دستوری ما مشخص می‌کنیم که این دستورات مختص چه خزنده‌ای است؛ پس:
user agent: google-image-search
حال می‌توانیم هر کدام از خزنده‌هایی که می‌خواهیم برای آنها قانون مشخص کنیم را روبروی user agent بنویسیم و در ابتدای فایل قرار دهیم. اکثر فایل‌های روبوت به صورت Universal نوشته می‌شوند؛ یعنی قوانین را برای تمامیی خزنده‌ها وضع لینک قابل نمایش نیست . لطفا ثبت نام کنید و یا وارد سایت شوید می‌کنند؛ برای این که بتوانیم قوانین را برای همه یکسان در نظر بگیریم می‌توانیم به‌جای دستور فوق از user agent: * استفاده کنیم. علامت * تمامی user agent ها را موظف به خواندن این دستورات وادار می‌کند.
سپس باید ببینیم که چه پوشه‌هایی (دایرکتوری‌ها) را می‌خواهیم از دید گوگل پنهان کنیم. در ادامه عبارت فوق همانند چند خط زیر این قوانین را مشخص می‌کنیم:
Disallow: /wp-includes/
disallow: /wp-content/plugins
با این دستورات ما پوشه wp-includes را کلا بستیم و حال خزنده‌ها به‌هیچ عنوان نمی‌توانند فایل‌ها و پوشه‌های زیرشاخه این فولدر را ببینند. حالا اگر بخواهیم در همین پوشه، دسترسی پوشه‌ای را باز کنیم می‌توانیم به شکل زیرر بنویسیمش:
allow: /wp-includes/js/
دقت کنید که وقتی پوشه‌ای را می‌بندید تمامی زیرشاخه‌هایش را نیز محدود کرده‌اید.
یکی از مواردی که می‌توانیم برای دسترسی سریع‌تر خزنده‌ها در فایل Robots.txt مشخص کنیم، نقشه سایت است. برای این کار کافیست صرفا از ساختار زیر پیروی کنید:
sitemap: لینک قابل نمایش نیست . لطفا ثبت نام کنید و یا وارد سایت شوید
حال این فایل به پنالتی شدن چه ارتباطی دارد؟
شاید اینی که می‌گویم خیلی اتفاق جدیدی نباشد اما گاهی می‌بینم که سایت‌ها به این خاطر پنالتی می‌شوند؛ راستش تا چندی پیش می‌گفتند که گوگل نمی‌تواند فایل‌های JS و CSS را اجرا کند تا ظاهر سایت را ببیند یا بر طبق آنها نیز سایت را بررسی کند. اما بهتر است بگویم که گوگل چنین کاری می‌کند و نسبت به این قضیه بسیار هم حساس است.اگر شما از طریق فایل Robots دسترسی به پوشه‌ای را بسته باشید (به طور مثال دسترسی به پوشه پلاگین‌های وردپرستان)، اما این پلاگین‌ها در سایت شما تاثیرگذار باشند و فایل بارگذاری کنند عملا گوگل نمی‌تواند آنها را ببیند وو به همین خاطر سایت شما به درستی آن چیزی که برای کاربران بارگذاری می‌شود، برای گوگل بارگذاری نمی‌شود. گوگل هم نمی‌تواند آن فایل را از نظر امنیتی بررسی کند و ممکن است شما را جریمه کند.