ตั้งค่า robots.txt ใน WordPress ให้ถูกต้อง ไม่บล็อก Google 2026

robots.txt เป็นไฟล์ที่ดูเหมือนเล็กน้อย แต่ถ้าตั้งค่าผิดสามารถทำให้ Google ไม่สามารถเข้าถึงเว็บ WordPress ได้ทั้งหมด ซึ่งหมายถึงการหายออกจาก Search Results เลย บทความนี้จะอธิบายหลักการ วิธีตั้งค่าที่ถูกต้อง และข้อผิดพลาดที่ต้องระวัง

1. robots.txt คืออะไร ทำงานยังไง

robots.txt คือไฟล์ Text ธรรมดาที่วางที่ Root ของเว็บ (เช่น yourdomain.com/robots.txt) ใช้บอก Web Crawler หรือ Bot ว่าส่วนไหนของเว็บที่อนุญาตหรือไม่อนุญาตให้เข้าถึง

โครงสร้างพื้นฐาน:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://yourdomain.com/sitemap.xml

• User-agent: * — ใช้กับทุก Bot
• Disallow: — บอกว่าห้ามเข้า URL นั้น
• Allow: — อนุญาตพิเศษสำหรับ URL ที่อยู่ใน Disallow
• Sitemap: — บอก URL ของ Sitemap

2. WordPress ใช้ robots.txt อย่างไร

WordPress 5.3+ สร้าง Virtual robots.txt อัตโนมัติโดยไม่มีไฟล์จริงบน Server ถ้าเปิด URL /robots.txt WordPress จะแสดงไฟล์ที่สร้างขึ้นมาใน Runtime

Virtual robots.txt เริ่มต้นของ WordPress:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://yourdomain.com/sitemap_index.xml

ปัญหาที่พบบ่อยที่สุดใน WordPress: เปิด Option "Discourage search engines from indexing this site" ใน Settings → Reading ซึ่งจะเปลี่ยน robots.txt เป็น:

User-agent: *
Disallow: /

3. วิธีแก้ไข robots.txt ใน WordPress

วิธีที่ 1: ใช้ Yoast SEO Plugin (แนะนำ)

1. ติดตั้งและ Activate Yoast SEO
2. ไปที่ Yoast SEO → Tools → File editor
3. แก้ไข robots.txt ในหน้านี้ได้เลย
4. กด Save เสร็จแล้ว

Yoast จะสร้างไฟล์ robots.txt จริงบน Server แทนที่ Virtual robots.txt ของ WordPress

วิธีที่ 2: สร้างไฟล์ robots.txt ด้วยตัวเอง

1. สร้างไฟล์ชื่อ robots.txt
2. Upload ไปที่ Root Directory ของเว็บ (เดียวกับ wp-config.php)
3. เมื่อมีไฟล์จริง WordPress จะใช้ไฟล์นี้แทน Virtual robots.txt

4. ตัวอย่าง robots.txt ที่ดีสำหรับ WordPress

WordPress ทั่วไป

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /?s=
Disallow: /search/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://yourdomain.com/sitemap_index.xml

WordPress + WooCommerce

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/
Disallow: /addons/
Disallow: /?add-to-cart=
Allow: /wp-admin/admin-ajax.php

Sitemap: https://yourdomain.com/sitemap_index.xml

5. สิ่งที่ควรและไม่ควร Disallow

ควร Disallow

• /wp-admin/ — หน้า Admin (แต่ Allow admin-ajax.php)
• /wp-includes/ — ไฟล์ Core ของ WordPress
• /wp-content/cache/ — Cache Files
• /?s= — ผลการค้นหาภายในเว็บ (Duplicate Content)
• /cart/, /checkout/ (WooCommerce) — หน้า Transaction

ไม่ควร Disallow (ข้อผิดพลาดที่พบบ่อย)

• /wp-content/uploads/ — รูปภาพต้องให้ Google Crawl
• /wp-content/themes/ — CSS ของ Theme ต้องให้ Google เข้าถึง
• /category/, /tag/ — หน้า Archive มีประโยชน์ต่อ SEO
• /page/ — หน้า Pagination

6. ตรวจสอบ robots.txt ผ่าน Google Search Console

Google Search Console มีเครื่องมือตรวจสอบ robots.txt โดยเฉพาะ:

1. Login เข้า Google Search Console
2. ไปที่ Settings → robots.txt
3. จะเห็น robots.txt ที่ Google อ่านได้และวันที่ดึงข้อมูลล่าสุด
4. ใช้ robots.txt Tester ทดสอบว่า URL ใดบ้างที่ถูกบล็อก

7. ตรวจสอบด้วย URL Inspection Tool

ถ้าสงสัยว่าหน้าไหนถูก Block โดย robots.txt ให้ใช้ URL Inspection ใน Google Search Console:

1. พิมพ์ URL ที่ต้องการตรวจสอบ
2. ดูส่วน "Indexing" ว่าระบุ "Blocked by robots.txt" ไหม
3. ถ้าถูกบล็อกจะเห็น Rule ที่ทำให้ถูกบล็อก