購物車

購物車內沒有任何商品。

快速、安全及穩定的主機空間能提升網站 SEO 排名與使用者體驗

什麼是 robots.txt?從概念、用途到撰寫規則一次掌握!

雖說 robots.txt「不是」決定 SEO 排名的關鍵因素,但卻能與搜尋引擎爬蟲建立溝通管道,以便告訴機器人要如何爬取你的網站。本篇文章將帶你深入了解什麼是 robots.txt,從基本概念、語法規則到設定與測試。

什麼是 robots.txt?

robots.txt 是一種含特定規則的文字檔案,位於網站的根目錄,用途是告訴搜尋引擎不要爬取網站上的哪些網址,避免因請求過多而浪費主機資源。

那麼要如何查看 robots.txt?方法很簡單,只需在你的網域後方輸入 robots.txt 便能找到。以本站來說,robots.txt 的路徑是 https://wpelectrinc.com/robots.txt

注意事項

robots.txt 無法阻止網頁出現在搜尋結果頁上,你必須使用 noindex 標籤或以密碼保護才能將其隱藏於 SERPs1

為什麼 robots.txt 很重要?

robots.txt 為什麼重要?主要的原因有以下幾點:

節省檢索預算

檢索預算是指搜尋引擎在一定時間內,能爬取多少網頁。使用 robots.txt 封鎖不重要的頁面後,就能讓 Googlebot 爬取更重要的內容。不過對於小型網站來說,並不用過於擔心會有檢索預算不足的問題發生。

封鎖不重要的頁面

並非每個頁面都要讓搜尋引擎檢索,進而出現在搜尋結果頁上,像是登入頁面、測試頁面、非公開頁面、臨時頁面、重複頁面、尚未完成的頁面等等。

提交 XML Sitemap

robots.txt 能告訴搜尋引擎 Sitemap 確切的位置,以便讓其爬取並了解網站整體的架構。

認識 robots.txt 語法

robots.txt 語法是由欄位、冒號與值所組成,由上至下一列一列呈現,每項規則建議以空格隔開以提升可讀性。

robots.txt 語法範例:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://yoursite.com/sitemap.xml

robots.txt 語法說明:

  1. User-agent:規定哪些檢索器可以爬取網址,「*」代表所有檢索器。
  2. Disallow:規定哪些目錄或網址禁止檢索
  3. Allow:規定哪些目錄或網址可以檢索
  4. Sitemap:Sitemap 檔案所在位置,必需使用絕對路徑,也就是完整的網址。

如何設定 robots.txt 檔案?

你可以使用文字編輯器設定 robots.txt 並上傳至網站的根目錄;或者透過 SEO 外掛處理 (WordPress 限定)。

設定路徑:[Yoast SEO]→[工具]→[檔案編輯器]。

如何確認 robots.txt 是否正確?

當你設定完並上傳 robots.txt 檔案後,可以透過 Robots.txt 測試工具確認;或者參考 Google 官方提供的 robots.txt 報表檢查是否有錯誤訊息,路徑是:[設定]→[robots.txt]。

注意事項
  1. 檔案名稱必須是 robots.txt,全部字母均為小寫。
  2. 每個網站只能有一個 robots.txt。
  3. robots.txt 檔案大小不能超過 500 KB,否則 Google 會忽略。
  4. robots.txt 檔案必須放在網站的根目錄而非子目錄。
  5. robots.txt 檔案必須採用 UTF-8 編碼。
  6. robots.txt 檔案僅供參考,搜尋引擎爬蟲不見得會遵守上面的指示。
  7. 一般來說,你不用主動提交 robots.txt,因為搜尋引擎會自動抓取該檔案。

robots.txt 與 Meta Robots Tag 比較

許多人經常將 robots.txt 與 Meta Robots Tag 混淆在一起,那麼兩者間的區別是什麼?可以參考以下比較表:

robots.txtMeta Robots Tag
類型純文字檔案。中繼資料標籤。
主要功能防止 Googlebot 檢索特定頁面。防止特定頁面出現在搜尋結果頁上。
新增方式上傳名為 robots.txt 檔案至網站的根目錄。在網頁 <head> 開始與結束標籤中間加入中繼資料標籤。
使用程式碼User-agent
Allow
Disallow
Crawl-delay
Sitemap
meta name
content
index
noindex
follow
nofollow
測試工具robots.txt 測試工具1. 官方:Search Console 網址檢查工具
2. 第三方:Ahrefs SEO Toolbar
加入 Facebook 社團
註腳
  1. SERPs 為 Search Engine Results Pages 的縮寫,中文的意思是搜尋結果頁面 ↩︎
瀏覽次數: 253
需要你的支持

如果你在本站有學習到東西,歡迎提供反饋,以便我們確認方向正確。當我們收到資料後,會另外幫你免費宣傳。你的支持是我們繼續創作的動力!

全方位學 Wordpress – 從架站到整合行銷 2.0
  • 講者 24 小時內親自回覆問題,安心有保障
  • 優先推薦免費工具,幫你省荷包
  • 只推自己正在用的付費工具,不會為了傭金讓你繞遠路,真實誠懇
  • 注重效能,畢竟這會影響使用者體驗與 SEO 排名
  • 數 10 種學習資料,非常豐富
  • N 個獨家資源
  • 定期分享最新資訊
  • 300+參考指引
  • 內容 & 範本資料庫 (獨創)
  • AI 驅動,有效提高工作效率
喜歡請分享!
wei
wei

協助中小企業提升網站在搜尋結果頁上的能見度,以便獲取更多流量進而增加成交機率。

開啟目錄