PHP爬蟲遇到incapsula

最近爬取一個國外的網站，一開始就各種不順。。。。。。 「Request unsuccessful」，這個請求沒有成功......；我注意到返回的這個HTML的頭文件中有一個<meta>屬性中出現了robots的字樣 以前沒有見過這個屬性，因此覺得問題的突破口可能就是這個，上網百度之後發現，NAME=ROBOTS和content=「noidex，nofollow」這兩個attribute就是用來屏蔽

>>阅读原文<<