關於搜索引擎

  提到搜索引擎，不得不說到Google和百度，現如今，搜索引擎主要是通過兩種方法來獲取網頁內容，一個是由爬蟲去爬，也就意味着，如果你的網站沒有被外部引用，就不會被搜索引擎發現，這也就是友情鏈接的作用，幫助你的朋友被搜索到；另一個是主動去註冊，就是你主動向搜索引擎後臺提供你的鏈接，由它選擇將你收錄到什麼名下。   在使用爬蟲的情況下，你可以設置網站的robots.txt，規定是否允許被爬取，發現一

>>阅读原文<<