มือใหม่ควรรู้! Robots.txt คืออะไร
ใครที่เริ่มต้นทำ SEO ควรที่จะต้องทำความรู้จักกับคำว่า "Robots.txt" โดยวันนี้ผมจะมาอธิบายให้เพื่อนๆ เข้าใจได้ง่ายๆถึงความสำคัญของไฟล์นี้กันครับพร้อมตัวอย่างในการเขียนไฟล์ robots.txt ด้วยครับ ถ้าพร้อมแล้วเราไปดูกัน
Robots.txt คืออะไร?
Robots.txt เป็นไฟล์ที่สร้างขึ้นอยู่ภายในเว็ปไซต์ เพื่อเป็นการแจ้งให้บอท (bot) ของ search engine หลายๆเจ้า เข้ามาเก็บข้อมูลเพื่อนำไปจัดทำดัชนี (Indexing) ได้หรือไม่
โดยไฟล์นี้จะเป็นการเขียนเงื่อไขข้อกำหนดขึ้นมาอย่างเช่นว่า ให้บอทสามารถเข้ามาเก็บข้อมูลส่วนไหนได้บ้าง หรือส่วนไหนที่ห้ามไม่ให้เก็บเป็นต้นฯ
ลองนึกภาพง่ายๆ หากเพื่อนๆทำเว็ปไซต์ที่มีระบบสมาชิกฐานข้อมูลของลูกค้า แต่หากไม่ได้กำหนดเงื่อนไขห้ามให้บอทเข้ามาเก็บข้อมูลส่วนนี้จะเกิดอะไรขึ้นครับ? บอทก็จะนำข้อมูลฐานลูกค้าของเรา เช่น ชื่อ-นามสกุล , ที่อยู่อาศัย , อีเมล์ , เบอร์โทรศัพท์ หรือข้อมูลส่วนตัวอื่นๆ ไปแสดงผลในหน้า Google ไงหล่ะครับ
ตัวอย่างไฟล์ Robots.txt
มาถึงตรงนี้แล้วผมก็มีตัวอย่างการเขียนคำสั่งไฟล์ robots.txt อย่างๆง่ายๆ มาฝากกันครับ
1. อนุญาตให้บอททุกตัวเข้ามาเก็บข้อมูลได้ทั้งเว็ปไซต์
User-agent: * << คือคำสั่งให้บอททุกตัวที่มีในโลกนี้สามารถเข้ามาเก็บข้อมูลในเว็ปไซต์เราได้
Allow: << เป็นคำสั่งที่อนุญาติให้บอทเข้ามาทำอะไรบ้าง ซึ่งในที่นี้ไม่ได้ใส่อะไรลงไป จึงหมายความว่าไม่มีการกำหนดเงื่อนใดๆ นั่นเอง
2. ไม่อนุญาตให้บอทเข้ามาในเว็ปไซต์
User-agent: * << คือคำสั่งให้บอททุกตัวที่มีในโลกนี้สามารถเข้ามาเก็บข้อมูลในเว็ปไซต์เราได้
Disallow: / << ในที่นี้ได้มีการใส่ " / " เป็นเงื่อนไขลงไปว่าไม่อนุญาตให้บอทเข้ามาเก็บหน้าใดๆก็ตามหน้าที่ต่อท้าย Slash " / " เช่น https:seoveryeasy.blogspot.com/ นั่นเองครับ
3. เป็นการอนุญาตให้บอทบางชนิดเข้ามาเก็บ หรือไม่ให้เก็บข้อมูลได้
User agent: Googlebot << อนุญาตให้ Googlebot สามารถเข้ามาเก็บข้อมูลทั้งหมดได้
Allow: *
User agent: Bingbot <<ไม่อนุญาตให้ Bingbot เข้ามาเก็บข้อมูลในเว็ปไซต์
Disallow: *
นี้ก็เป็นตัวอย่างคำสั่งง่ายๆ ในการสร้าง robots.txt ครับ อ่อเกือบลืมๆ ไฟล์ robots.txt นี้เราสามารถสร้างบนโปรแกรม Notepad ได้เองง่ายๆเลยครับ โดยหลังจากสร้างไฟล์เสร็จแล้วก็โยนขึ้นหลังบ้านของเว็ปไซต์ได้เลย ง่ายสุดๆ
สรุป: ไฟล์ robots.txt สามารถช่วยในเรื่องของการจัดเก็บเว็ปไซต์โดยบอทจาก Search engine ทั้งหลายได้ง่าย และถูกต้องมากยิ่งขึ้น แถมยังเป็นการปกป้องข้อมูลที่ไม่ต้องการให้เผยแพร่ออกไปได้อีกด้วยครับ ใครที่ทำเว็ปไซต์ และทำ SEO ด้วยนั้นก็ไม่ควรที่จะลืมเรื่องนี้ด้วยนะครับ
ความคิดเห็น
แสดงความคิดเห็น