您可以真正找到您網站上的所有 URL

 

作為線上行銷人員，您可能熟悉尖叫青蛙計劃。該程式會抓取您的網站，並允許您模擬當 Google 嘗試在您的網站上執行相同操作時該過程的工作原理。閱讀本文後，該程式將對您變得更加強大，因為您將找到您網站上的所有 URL。

如果您想使用Screaming Frog檢查您的網站是否有技術錯誤，

程式可以抓取您網站上的所有頁

這是很好的選擇。透過這種方式，您可以防止程式無法找到且您無法解決的頁面錯誤。標準配置下，很多頁面沒有被抓取，真是可惜！

爬行網站可以比喻為圖書館員想要閱讀一位作者的所有書籍。將每本書視為一個頁面，並將書中的參考文獻視為其他頁面的連結。爬行檢索頁面內容並發現新鏈接，就像圖書館員對書籍所做的那樣。

標準配置與自訂配置

當您打開Screaming Frog時，程式具有預設配置。這將幫助 100% 活躍電話行銷名單 您找到很多 URL，但在調整配置之前您將無法釋放程式的真正威力。

將本文中的變更套用到 ZIGT 網站後，我發現與預設配置相比，URL 數量增加了 3900%。

尖叫青蛙自訂配置與普通配置

標準配置包含哪些未包含的內容？

網站地圖中未連結到網站的連結（舊新聞項目，例如+這些新聞項目中的圖像）
robots.txt 中封鎖了許多 Facebook/Twitter 的外部鏈接

中未連結至網站的 URL（通常是帶有 UTM 參數的 URL）

我可以在哪裡調整一切？

我們要調整的所有內容都可以在「配置」標題下找到，每個部分都指示可以準確調整的位置。

尖叫青蛙配置

1.蜘蛛
在第一個蜘蛛標題中，您可以根據您的意願調整網路中蜘蛛的行為。為了調整行為，我們查看三個選項卡：爬行、限制和進階。

爬行

我建議檢查所有被紅色包圍的東西。

尖叫青蛙爬行配置

「抓取」標籤的最大收穫是透過檢查「抓取行為」和「XML 網站地圖」下的附加功能。例如，這允許您 釋放快樂：享受更多樂趣的指南 抓取網站上意外設定為 nofollow 的 URL。或網站地圖中但未連結到網站的 URL。

網站地圖 URL 不在 robots.txt 中嗎？然後您也可以手動輸入網站地圖的 URL。

很高興知道，如果您檢查這些設置，數字可能會大幅增加。例如，如果有一個可存取的臨時網域，您會突然抓取兩倍的 URL。關注外部 nofollow 也可以確保你突然爬取更多。

提示！例如，如果您想排除外部 URL，請使用 Screaming Frog 中的排除功能。這可以透過 .* 來完成。排除中的網域名稱.*。例如.* .facebook.com.*

限制

尖叫青蛙限製配置

 

如果您的網站有超過 500 萬個連結並且電腦可以處理它，您可以停用抓取限制。實際上，永遠不會達到該限制，但它可能會限制您的爬行。

一個值得調整的地方是“尖叫青蛙”遵循的重定向數量。 Google 在 20 次重定向後停止抓取，因此最好針對特殊情況進行調整。一個重要的類別要經過18次重定向才能到達？然後尖叫青蛙也拿走了這個。