robots.txt checker

จะมันใจได้อย่างไรว่า ไฟล์ robots.txt ที่มีหน้าที่บอกให้บอทจากเสิร์ชเอนจินสำนักต่างๆทำตามระเบียบขอบเรา ว่าจะอนุณาตให้ค้นหาได้ที่ส่วนไหนของเว็บเราบ้างแต่เราจะมั่นใจได้แค่ไหนว่ามันทำงานถูกต้อง

มีวิธีง่ายๆครับ โดยเข้าไปที่เว็บไชต์ http://www.frobee.com/robots-txt-check กรอกข้อมูลในเว็บแล้วตรวจสอบกันดูได้เลย

กรณีมีปัญหาที่เจอ เช่น ระบบแจ้งสถานะกลับมาว่า 403 Forbidden ดังรูปอาจจมีปัญหามาจาก

robots.txt 403 forbinden

  1. ไฟล์ไม่อนุญาตให้อ่านได้ แก้ได้โดยเปลี่ยนโหมดเป็น 777
  2. หรือมีการเขียนไม่อนุญาตให้อ่านไฟล์นี้ไว้ใน .htaccess ตามที่ผมเจอวันนี้ ด้านล่าง


# For any support issues please visit: http://www.opencart.com

Options +FollowSymlinks

# Prevent Directoy listing
Options -Indexes

# Prevent Direct Access to files
<FilesMatch “\.(tpl|ini|log|txt)”>
Order deny,allow
Deny from all
</FilesMatch>

มีการระบุไม่ให้อ่านไฟล์ .txt ไว้ในบรรทัด

<FilesMatch “\.(tpl|ini|log|txt)”>

ให้แก้เป็น

<FilesMatch “\.(tpl|ini|log)”>

แค่นี้ก็เรียบร้อยตรวจสอบอีกทีก็จะได้ตามรูปข้างล่าง Google ก็ชอบเว็บคุณขึ้นมากอีกหน่อยล่ะ

robots.txt ok

อ้างอิง :

  1. ข้อมูลของกูเกิ้ลเอง https://support.google.com/webmasters/answer/156449?rd=1
  2. เว็บไซต์ตรวจสอบ robots.txt http://www.robotstxt.org/
แสดงความคิดเห็น