搜索引擎是人們在網(wǎng)絡(luò)上搜索各種信息的寶貴工具。但是為了讓您的內(nèi)容出現(xiàn)在頂級搜索引擎結(jié)果中，它需要是可抓取的。在這篇文章中，我們將討論搜索引擎是如何工作的，抓取預(yù)算在 SEO 中的作用，以及如何最大化您的抓取預(yù)算。
了解搜索引擎
搜索引擎可以抓取數(shù)十億個頁面，并根據(jù)用戶的特定搜索查詢向用戶呈現(xiàn)最優(yōu)質(zhì)的搜索結(jié)果。簡單來說，搜索引擎包含多個進程，這些進程協(xié)同工作以獲取內(nèi)容。這是網(wǎng)站所有者使用 SEO（搜索引擎優(yōu)化）來提高其內(nèi)容的可見性并為他們的網(wǎng)站帶來流量的地方。
搜索引擎中涉及的機制是：
- 網(wǎng)絡(luò)爬行：機器人不斷掃描互聯(lián)網(wǎng)以發(fā)現(xiàn)新頁面并收集數(shù)據(jù)以幫助準確索引頁面。
- 索引：它是保存和記錄在爬取過程中收集的信息的過程。優(yōu)質(zhì)內(nèi)容存儲在搜索引擎的索引中。如果一個網(wǎng)站已被索引，它將作為特定查詢的結(jié)果顯示。
- 排名：從最相關(guān)到??最不相關(guān)對內(nèi)容進行排序，從而為每個用戶的查詢提供最佳答案。
您希望您的網(wǎng)站顯示在搜索引擎結(jié)果頁面上嗎？然后，您需要確保其內(nèi)容對搜索引擎可見。這是 SEO 的關(guān)鍵部分，忽視這一點可能會導(dǎo)致您對數(shù)字營銷服務(wù)的投資付諸東流。
為防止您的網(wǎng)站被忽視，請務(wù)必檢查您網(wǎng)站的抓取預(yù)算。大多數(shù)網(wǎng)主不需要擔心這個，除了滿足以下條件的人。這包括擁有一個擁有超過 100,000 個定期更新網(wǎng)頁的網(wǎng)站、一個每天更新網(wǎng)頁的中型網(wǎng)站或包含重定向鏈接的網(wǎng)站。
但首先，抓取預(yù)算是多少？
什么是抓取預(yù)算？
網(wǎng)絡(luò)可以被想象為一個永無止境的承載內(nèi)容的空間，因此它超過了谷歌等搜索引擎對每個網(wǎng)站進行抓取和索引的能力。因此，搜索引擎為花費時間在網(wǎng)站上爬行設(shè)定了限制。網(wǎng)站的抓取預(yù)算定義為搜索引擎用于抓取網(wǎng)站的時間和資源量。
據(jù)谷歌稱，有兩個主要因素有助于確定網(wǎng)站的抓取預(yù)算。兩者的定義如下：
抓取容量限制
Googlebot希望在不增加服務(wù)器負擔的情況下抓取您的網(wǎng)站。因此，它會計算抓取容量限制，這決定了 Googlebot 可以在您的網(wǎng)站上抓取的同時并行連接的最大數(shù)量，以及檢索數(shù)據(jù)所需的時間。這可以在您的網(wǎng)站上展示高質(zhì)量的內(nèi)容，而不會耗盡您的服務(wù)器。
影響爬網(wǎng)容量限制的因素包括您網(wǎng)站的響應(yīng)能力。短時間內(nèi)的響應(yīng)時間越快意味著爬取能力越高。否則，如果發(fā)生服務(wù)器錯誤，則抓取容量限制會下降，從而導(dǎo)致對您網(wǎng)站的抓取減少。網(wǎng)站所有者還可以通過搜索控制臺控制容量限制。
抓取需求
與其他網(wǎng)站相比，Google 在您網(wǎng)站上的抓取時間取決于該網(wǎng)站的頁面質(zhì)量、更新頻率、大小和相關(guān)性。影響抓取需求的因素有：
- URL 的放置：在抓取過程中，Google 將嘗試訪問放置在您網(wǎng)頁上的所有 URL 鏈接，除非已提供說明。如果存在重復(fù)或不需要的鏈接（不必要的），則會浪費更多的抓取時間。這可能會導(dǎo)致負面影響。
- 認可：網(wǎng)絡(luò)上的熱門網(wǎng)站被抓取的次數(shù)更多，以使索引保持最新。
- 更新頻率：搜索引擎越來越多地抓取做出一致更改的網(wǎng)站。
簡而言之，低抓取需求意味著谷歌將不那么頻繁地抓取您的網(wǎng)站。即使 Googlebot 保持在抓取容量限制內(nèi)，抓取需求低也會影響抓取速度。
提高爬行效率的方法
1.優(yōu)化你的 URL 清單
Google 建議網(wǎng)站所有者使用適當?shù)墓ぞ邅碇笇?dǎo) Googlebots 應(yīng)該或不應(yīng)該抓取的網(wǎng)站。如果 Googlebot 發(fā)現(xiàn)抓取時間較長且與索引無關(guān)的網(wǎng)址，Google 可能會停止抓取您的網(wǎng)站并減少抓取預(yù)算。
2.消除重復(fù)內(nèi)容
重復(fù)的內(nèi)容會浪費抓取時間并阻止您的網(wǎng)站被索引。因此，專注于創(chuàng)建原創(chuàng)和真實的內(nèi)容，這可以增加您的網(wǎng)站被索引的機會。
3.防止不必要的URL爬網(wǎng)
不應(yīng)出現(xiàn)在搜索結(jié)果中但對用戶很重要的頁面應(yīng)被阻止進行抓取。示例包括將內(nèi)容復(fù)制到不同鏈接的無限滾動頁面、頁面的過濾版本等。如果無法消除此類重復(fù)內(nèi)容，則通過 robots.txt 文件或 URL 參數(shù)工具阻止此類 URL（用于阻止重復(fù)內(nèi)容）。
Robots.txt：該文件可以在您網(wǎng)站的根目錄中找到。它們對于指示搜索引擎應(yīng)該或不應(yīng)該抓取您網(wǎng)頁上的哪些 URL 很有用。不應(yīng)在此文件中提及私人頁面的 URL，例如管理頁面和登錄頁面。它不僅可以防止它們出現(xiàn)在搜索結(jié)果中，還可以防止它們被黑客訪問。Google建議使用密碼保護或 noindex 標簽來防止重要的 URL 被抓取或編入索引。
URL 參數(shù)工具：此功能有助于防止搜索引擎抓取多個 URL 指出的重復(fù)內(nèi)容。例如，（example.com/shirts?style = 休閑、半袖和 example.com/shirts?style = 休閑 & style=half-sleeve）。由于使用了各種參數(shù)，此類 URL 與原始 URL 的差異可能可以忽略不計。如果它們存在于您的網(wǎng)站上并且直接指向相同的內(nèi)容，那么這些鏈接可能會花費寶貴的抓取時間。
此類 URL 的示例可以在各種電子商務(wù)商店中找到，因為它們使用不同參數(shù)的 URL 將網(wǎng)絡(luò)流量重定向到其產(chǎn)品推薦頁面。對于不同型號的產(chǎn)品，此類站點需要使用帶有一些通用參數(shù)的 URL。因此，使用 URL 參數(shù)工具來阻止包含通用 URL 參數(shù)的站點可能會導(dǎo)致各種重要頁面未出現(xiàn)在搜索結(jié)果中。
谷歌已經(jīng)建立了一組網(wǎng)站使用該工具需要滿足的要求。
- 該網(wǎng)站應(yīng)包含 1000 多個頁面。
- 如果您在索引覆蓋率報告中發(fā)現(xiàn)大量重復(fù)頁面被 Google 編入索引，它們僅在 URL 參數(shù)上有所不同。
4.對于已刪除的頁面，請?zhí)岣?404/410
404 表示 Google 不會抓取它熟悉的特定網(wǎng)址。被阻止的 URL 仍然是抓取過程的一部分，一旦解除阻止，就可以重新抓取。
5.修復(fù)軟404錯誤
當 URL 指向不存在的頁面時，會顯示 404 錯誤。搜索引擎會反復(fù)抓取此類網(wǎng)址，造成寶貴的抓取時間和預(yù)算的浪費。有時，索引所需的頁面會引發(fā) 404 錯誤。這可能是因為頁面已移至新站點。因此它需要被重定向到新的 URL。Google 提供了跟蹤和修復(fù)此類錯誤的深入指南。
如果網(wǎng)頁已永久重新定位到新 URL，請使用 301 重定向?qū)⑴f URL 與新 URL 連接起來。在臨時更改的情況下，首選 302 重定向，它通過特定路由將 Web 流量發(fā)送到目標頁面。
6.定期更新站點地圖
站點地圖提供有關(guān)您網(wǎng)站頁面的詳細信息，包括內(nèi)容，并且 Google 等搜索引擎每天都會對其進行掃描。因此，請?zhí)峒澳Ｍ?Google 抓取的站點地圖中的所有內(nèi)容。
7.使用更短的重定向鏈
如果您已將網(wǎng)站移至新 URL，請使用較小的鏈以加快加載時間，從而簡化重定向過程。否則，它會增加爬取次數(shù)并減少爬取預(yù)算。例如，如果您已將網(wǎng)站從其原始 URL 轉(zhuǎn)移到新 URL，并且必須再次轉(zhuǎn)移，請將原始 URL 直接與當前的新 URL 鏈接。
8.提高您網(wǎng)站的響應(yīng)能力
更快的加載和響應(yīng)時間意味著更多的抓取時間來掃描包含來自您網(wǎng)站的豐富內(nèi)容的 URL。
9.確保 Googlebot 在您的網(wǎng)站上不會遇到任何可用性問題
確保您的網(wǎng)站 24/7 全天候可用不會增加抓取預(yù)算。但是，它使 Google 能夠增加對您網(wǎng)站的抓取。為了查看 Googlebot 對您網(wǎng)站的抓取歷史記錄，Google 提供了抓取統(tǒng)計報告，其中顯示了所面臨的任何問題或錯誤的說明。
總結(jié)
SEO 的一個組成部分是使您的網(wǎng)站值得抓取。如果主網(wǎng)站以及其他 URL 處于正常工作狀態(tài)，則所有頁面被抓取的機會就越高。這需要改進和維護您網(wǎng)站的抓取預(yù)算。檢查任何重復(fù)的 URL 以消除重復(fù)的內(nèi)容并修復(fù)從抓取統(tǒng)計報告中確定的任何可用性問題。為您的 URL 使用較短的重定向鏈，同時將您的網(wǎng)站臨時或永久地轉(zhuǎn)移到新的網(wǎng)站鏈接。通過這些步驟，您可以提高網(wǎng)站的抓取預(yù)算。
