驅動數位行銷
協助中小企業提升網站在搜尋結果頁上的能見度,以便獲取更多流量進而增加成交機率。
雖說 robots.txt「不是」決定 SEO 排名的關鍵因素,但卻能與搜尋引擎爬蟲建立溝通管道,以便告訴機器人要如何爬取你的網站。本篇文章將帶你深入了解什麼是 robots.txt,從基本概念、語法規則到設定與測試。
robots.txt 是一種含特定規則的文字檔案,位於網站的根目錄,用途是告訴搜尋引擎不要爬取網站上的哪些網址,避免因請求過多而浪費主機資源。
那麼要如何查看 robots.txt?方法很簡單,只需在你的網域後方輸入 robots.txt 便能找到。以本站來說,robots.txt 的路徑是 https://wpelectrinc.com/robots.txt。
robots.txt 無法阻止網頁出現在搜尋結果頁上,你必須使用 noindex 標籤或以密碼保護才能將其隱藏於 SERPs1。
robots.txt 為什麼重要?主要的原因有以下幾點:
檢索預算是指搜尋引擎在一定時間內,能爬取多少網頁。使用 robots.txt 封鎖不重要的頁面後,就能讓 Googlebot 爬取更重要的內容。不過對於小型網站來說,並不用過於擔心會有檢索預算不足的問題發生。
並非每個頁面都要讓搜尋引擎檢索,進而出現在搜尋結果頁上,像是登入頁面、測試頁面、非公開頁面、臨時頁面、重複頁面、尚未完成的頁面等等。
robots.txt 能告訴搜尋引擎 Sitemap 確切的位置,以便讓其爬取並了解網站整體的架構。
robots.txt 語法是由欄位、冒號與值所組成,由上至下一列一列呈現,每項規則建議以空格隔開以提升可讀性。
robots.txt 語法範例:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://yoursite.com/sitemap.xml
robots.txt 語法說明:
你可以使用文字編輯器設定 robots.txt 並上傳至網站的根目錄;或者透過 SEO 外掛處理 (WordPress 限定)。
設定路徑:[Yoast SEO]→[工具]→[檔案編輯器]。
當你設定完並上傳 robots.txt 檔案後,可以透過 Robots.txt 測試工具確認;或者參考 Google 官方提供的 robots.txt 報表檢查是否有錯誤訊息,路徑是:[設定]→[robots.txt]。
許多人經常將 robots.txt 與 Meta Robots Tag 混淆在一起,那麼兩者間的區別是什麼?可以參考以下比較表:
robots.txt | Meta Robots Tag | |
---|---|---|
類型 | 純文字檔案。 | 中繼資料標籤。 |
主要功能 | 防止 Googlebot 檢索特定頁面。 | 防止特定頁面出現在搜尋結果頁上。 |
新增方式 | 上傳名為 robots.txt 檔案至網站的根目錄。 | 在網頁 <head> 開始與結束標籤中間加入中繼資料標籤。 |
使用程式碼 | User-agent Allow Disallow Crawl-delay Sitemap | meta name content index noindex follow nofollow |
測試工具 | robots.txt 測試工具 | 1. 官方:Search Console 網址檢查工具 2. 第三方:Ahrefs SEO Toolbar |
如果你在本站有學習到東西,歡迎提供反饋,以便我們確認方向正確。當我們收到資料後,會另外幫你免費宣傳。你的支持是我們繼續創作的動力!