ด้วยเทคโนโลยีที่พัฒนาขึ้นอย่างไม่หยุดยั้ง การทำเว็บไซต์เพื่อให้ได้รับความนิยมติดอันดับหน้าแรกของ Search Engine อย่าง Google จึงต้องอาศัยเทคนิคอันแสนหลากหลาย และหนึ่งในวิธีที่กำลังถูกพูดถึงอย่างมากต้องยกให้กับ “Robots.txt” ซึ่งตรงนี้เชื่อว่าแม้เป็นคนที่อยู่ในแวดวงการทำ SEO มานานก็ยังอาจสงสัยว่า Robots.txt คืออะไร มีความสำคัญต่อการทำเว็บไซต์พร้อมช่วยเพิ่มอันดับ SEO ได้จริงหรือไม่ ลองมาหาคำตอบทั้งหมดกันได้เลยค่ะ
Robots.txt คืออะไร
Robots.txt คือ สคริปต์ (Script) หรือไฟล์ที่มีการระบุข้อความขึ้นมาเพื่อต้องการบอกต่อไปยัง Bot ของ Search Engine (ซึ่งในเมืองไทยคือ Google Bot) เพื่อให้พวกมันรู้ว่าควรเข้าไปเก็บรายละเอียดต่าง ๆ ของเว็บไซต์ หน้าเพจ คอนเทนต์ ไฟล์ดาวน์โหลดในหน้าใดบ้างเพื่อทำเป็นสถิติ รวมถึงยังสามารถกำหนดได้ว่าจะไม่ให้เก็บข้อมูลหรือทำดัชนี (Index) กับหน้าเว็บหรือคอนเทนต์ใด
ซึ่งต้องเข้าใจการทำงานของ Bot (ในภาษาคนทำเว็บไซต์จะเรียก Search Engine Crawler) จะทำหน้าที่เข้ามายังหน้าเว็บไซต์ต่าง ๆ เพื่อจัดเก็บข้อมูลและทำดัชนีแบบอัตโนมัติ หากไม่มีการกำหนดขอบเขตหรือทำป้ายห้ามใดเอาไว้เลย Bot เหล่านี้ก็ค้นหารายละเอียดทั้งหมดบนเว็บได้แบบ Non-Stop รวมถึงข้อมูลส่วนตัวบางอย่างที่ไม่ต้องการเผยแพร่สู่ผู้อื่นด้วย เช่น ข้อมูลส่วนตัวสมาชิก รหัสผ่าน เอกสารลับเฉพาะ รายชื่อสมาชิก เป็นต้น
ดังนั้นหากอธิบายให้เข้าใจง่ายขึ้น Robots.txt คือ ตัวที่จะกำหนดได้ว่า Google Bot สามารถเข้าไปเก็บข้อมูลหน้าใดบนเว็บไซต์ของเราได้บ้างนั่นเองค่ะ
ความสำคัญของ Robots.txt บนเว็บไซต์
จากคำอธิบายเกี่ยวกับไฟล์สคริปต์ตัวนี้ก็พอจะทำให้เข้าใจถึงหน้าที่กันอยู่พอสมควรเลยนะคะ ซึ่งความสำคัญของ Robots.txt เองมีด้วยกันหลายด้านมาก สิ่งแรกที่คนทำเว็บควรรู้คือ คุณต้องมี Robots.txt เพื่อบอกกับ Bot อย่างชัดเจนว่าหน้าไหนอนุญาตให้เข้ามาเก็บข้อมูลได้ หน้าไหนห้ามเข้ามาวุ่นวายเป็นอันขาด เป็นการปกป้องข้อมูลลับเฉพาะหรือข้อมูลสำคัญที่ไม่ต้องการแพร่งพรายไปยังบุคคลอื่น ซึ่งถ้าสรุปความสำคัญก็พอจะแบ่งออกได้ดังนี้ค่ะ
- ป้องกันการนำเอาเนื้อหาคอนเทนต์ที่ซ้ำกัน (Duplicate Content) ไปแสดงบนหน้าการค้นหาเดียวกัน
- ป้องกันหน้าที่ถูกสร้างขึ้นแบบอัตโนมัติโดยปลั๊กอินถูกเก็บดัชนีเพื่อนำไปแสดงบนหน้า SERPs เพราะหน้าเหล่านั้นส่วนใหญ่ไม่ได้มีข้อมูลอะไรน่าสนใจมาก และมักทำให้คะแนนอันดับ Performance ลดลง เนื่องจากถูกมองว่าเป็นเนื้อหาที่ไม่มีคุณภาพ
- ป้องกันไม่ให้ Bot เก็บดัชนีในบางหน้าที่คุณไม่ต้องการให้มีสถิติออกไป เช่น ไฟล์เอกสารดาวน์โหลด PDF ข้อมูลลับ ไฟล์รูปภาพ และอื่น ๆ ที่ไม่ต้องการให้ผู้คนค้นหาเจอ
- ป้องกันการเข้าถึงข้อมูลเฉพาะที่มีผลต่อความน่าเชื่อถือของเว็บไซต์ เช่น ข้อมูลส่วนตัวสมาชิก
- Bot สามารถเข้าถึงหน้าเว็บไซต์ได้ง่ายตามสคริปต์ที่กำหนดเอาไว้ชัดเจน ส่งผลโดยตรงต่อคะแนน Performance ของเว็บ และ Bot ยังเข้าถึง Sitemap หรือผังเว็บไซต์ (กรณีเขียนระบุ Sitemap ลงไปใน Robots.txt) จึงทำให้พวกมันรู้ที่อยู่เว็บชัดเจน มีผลต่อการทำคะแนนด้วยเช่นกันค่ะ
Robots.txt ส่งผลต่ออันดับ SEO อย่างไร
จากข้อมูลเรื่องความสำคัญของ Robots.txt ได้สังเกตอะไรมั้ยคะ? การระบุรายละเอียดต่าง ๆ ลงบนสคริปต์ว่า Bot สามารถเข้ามาดูข้อมูลหน้าไหนได้บ้างไม่ใช่แค่ป้องกันการรั่วไหลของเนื้อหาเฉพาะบางอย่างเท่านั้น แต่ยังมีผลโดยตรงต่อการทำอันดับ SEO อีกด้วย
คุณสามารถกำหนดได้ว่าจะให้ Bot เน้นเข้าไปทำดัชนีเก็บข้อมูลหน้าไหนเป็นหลัก เช่น หน้าคอนเทนต์ที่ถูกเขียนขึ้นด้วยเทคนิคเฉพาะ ความรู้ที่คนกำลังสนใจ การป้องกันไม่ให้พวกมันเข้าไปยังหน้าที่สร้างขึ้นโดยปลั๊กอิน หน้าที่ไม่ได้มีข้อมูลอะไรน่าสนใจ ไปจนถึงการเขียนสคริปต์เพื่อระบุให้ Bot เข้าไปยัง Sitemap และเกิดการจดจำที่อยู่เว็บ สิ่งเหล่านี้ล้วนส่งผลดีต่อการทำ SEO ทั้งสิ้น จึงไม่ใช่เรื่องแปลกที่คนทำ SEO ในยุคปัจจุบันต้องใส่ใจกับการใช้งาน Robots.txt มากขึ้น
คำสั่งเบื้องต้นที่นิยมเขียนลงบน Robots.txt
หากคุณพึ่งเริ่มใช้งาน Robots.txt จึงเป็นเรื่องปกติที่อาจยังไม่มีเทคนิคหรือแนวทางการเขียนสคริปต์ให้ถูกต้อง ลองนำเอาคำสั่งเบื้องต้นที่ผู้ใช้ส่วนใหญ่นิยมเขียนระบุลงไปเพื่อสร้างประโยชน์ให้กับหน้าเว็บไซต์ของตนเองกันได้เลยค่ะ
1. User-agent
นี่คือคำสั่งที่จะระบุไปยัง Bot ว่าหน้าไหน คอนเทนต์ใดสามารถเข้ามาเก็บข้อมูลเพื่อทำดัชนีได้หากมีการระบุเครื่องหมาย * ตัวอย่างคำสั่ง เช่น User-agent: *
2. Allow
คำสั่งนี้จะอนุญาตให้ Bot รู้ว่าสามารถเข้ามาเก็บข้อมูลบนหน้าไหนได้บ้าง ตัวอย่างคำสั่ง เช่น allow: /wp-admin/admin-ajax.php
3. Disallow
คำสั่งนี้จะไม่อนุญาตให้ Bot เข้าไปเก็บข้อมูลบนหน้านั้น ๆ ตัวอย่างคำสั่ง เช่น Disallow: /wp-admin/
4. Sitemap
คำสั่งนี้จะระบุแผนผังเว็บไซต์เพื่อแจ้งตำแหน่ง Sitemap ของเว็บให้กับ Bot ได้รู้และเข้าไปดูโครงสร้างพร้อมจดจำที่อยู่ การเขียนคำสั่งก็ให้ใช้คำว่า Sitemap: แล้วตามด้วย https ชื่อเว็บไซต์ตนเองได้เลยค่ะ
สิ่งที่ต้องระวังในการเขียนสคริปต์บน Robots.txt
เมื่อหน้าที่ของ Robots.txt คือ การทำให้ Bot เข้ามาอ่านแล้วทำตามคำสั่งทั้งการไปยังหน้าเว็บต่าง ๆ การป้องกันไม่ให้เข้าถึงข้อมูล สิ่งที่ต้องระวังจึงหนีไม่พ้นการเขียนคำสั่งผิดค่ะ หากคุณเขียนผิดหรือเขียนตกไปแค่ตัวเดียวก็มีผลต่อการเก็บดัชนีของ Bot ทันที โอกาสทำ SEO เพื่อติด อันดับในหน้าแรกก็น้อยลงตามไปด้วย อย่าลืมเช็กรายละเอียดให้ชัดเจนก่อนยืนยันข้อมูลนะคะ
ทั้งนี้การเช็กว่าสคริปต์ของคุณเขียนถูกหรือไม่ก็มีเครื่องมือดี ๆ อย่าง Robots Testing Tool ที่ช่วยได้ค่ะ ลองเอาไปใช้กันเลย
บทสรุป
นี่คือข้อมูลทั้งหมดเกี่ยวกับ Robots.txt ไม่ว่าจะเป็นคนทำ SEO หรือคนทำเว็บไซต์ก็ควรศึกษาข้อมูลเอาไว้เพื่อนำไปปรับใช้อย่างเหมาะสม เพิ่มโอกาสทำอันดับที่ดี ส่งผลบวกต่อธุรกิจมากขึ้น เป็นอีกเทคนิคที่นำเอาความทันสมัยเข้ามาช่วยสร้างประโยชน์ได้อย่างแท้จริง
