IndexNow並不完美,但它很直接

Photo of author
Written By CMO

對SEO來說,面對的首要問題是索引問題,而索引問題中的首要問題是URL的發現問題。因此讓頁面的產生、更改、刪除被搜索引擎發現是SEO的重中之重。讓網頁被高效率地發現和索引也是搜索引擎的基本追求。

一圖了解IndexNow
一圖了解IndexNow

但是,搜索引擎並不是什麼都吃的。所有的搜索引擎,包括Google,都對頁面的質量有所判斷,只收錄它們所認為的高質量內容的頁面。一些我們認為不怎麼樣的搜索引擎只不過在判斷質量上能力不足罷了。

我們今天要討論的不是內容質量,而是內容的發現問題。單這個問題,搜索引擎就需要花很多資源來解決。為了發現大型網站上新發布的頁面,搜索引擎往往需要爬行並渲染上萬個頁面。這種低效的工作方式還不如將資源用作挖礦來得實在。為了解決這個問題,Bing以及Yandex搞出一套通知搜索引擎頁面變動的解決方案——IndexNow。

什麼是IndexNow?

IndexNow 是一種協議,允許網站所有者將其網站上的新內容或修改內容通知多個搜索引擎。目前有Bing和Yandex加入。你只需要在網站頁面發生變更時去通過這個協議Ping一下搜索引擎,搜索引擎就會被成功通知到。

如果你是搜索引擎,你也可以參與到IndexNow協議中。只要滿足

採用IndexNow 協議的搜索引擎同意提交的URL 將自動與所有其他參與的搜索引擎共享。要參與其中,搜索引擎必須至少在一個市場中佔有一席之地。

IndexNow.org

如何使用IndexNow?

第一步是鑑權。你可以自定義一個密鑰,16進制長度為8到128個字符之間。比如:a4a4a-4a4a4。接下來以它命名一個txt文件,並把它放到你的網站的根目錄下。這樣就會有https://hubspot.one/a4a4a-4a4a4.txt 。這個txt文件的內容也必須包含這個密鑰。這裡你也可以不放在根目錄,但是以後每次都必須指出密鑰文件地址,這太麻煩了。

第二步是推送。推送一條URL很容易,直接GET https://www.bing.com/indexnow?url=[新鏈接或更改鏈接的URL]&key=[密鑰]。由於協議是共享的,因此推送到yandex.com也一樣。通知一家,其他家就都知道了。在這裡呢,你可以嘗試我不久前教你的Excel公式WebService()來完成幾條URL的手動提交。但如果你請求過多,你會收到429狀態碼。

要想一次提交多條URL或者提交一個XML Sitemap包含多條URL的,你可以使用POST方法。在此不再詳述,看官方文檔即可。想偷懶也可以使用indexnow.com的工具批量提交URL。

對於每個域,我們都需要建立一個密鑰文件。這個文件中的密鑰可以相同。也就是說如果有blog.hubspot.one,那麼也必須有https://blog.hubspot.one/a4a4a-4a4a4.txt

IndexNow有效嗎?

講到這裡,你或許已經覺得這個協議和Google的鏈接提交API很相似了。的確是這樣,而且提交後也不保證被爬行或收錄,只不過引擎會“被通知到”這個變化,並且這些URL的爬行優先級會更高一些。

最近谷歌新聞發言人已經確認將會測試IndexNow協議。這意味著IndexNow的效能將大幅上升。也正因為這點,它更值得我們關注。而且據稱,佔全球最大市場份額的CMS WordPress也會加入到支持IndexNow的隊伍中。

IndexNow除了可以提醒新頁面也可以提醒舊頁面的更改。如果你正在上新的301跳轉,你可以用源頁面作為提交URL,搜索引擎會發現跳轉後的新頁面從而更新索引。

相對於Sitemap,IndexNow有它的優勢。有了IndexNow,你就“不必”等待引擎來發現和爬取網站地圖,而是可以直接通知搜索引擎新的內容。

值得注意的是IndexNow帶來的爬取會佔用你的爬取配額。你要是用IndexNow提交URL把搜索引擎的任務塞滿了,可能它們就無法再爬其他它們發現的新頁面了。

最後,你可能問,需要在開始用IndexNow之後重新把所有的URL提交上去嗎?其實是沒必要的,不單這會佔用你的爬取配額,還會讓真正需要被關注的URL淹沒其中。