分類目錄

贊助商

熱門標簽

搜索
    2017年6月17日
    • robots.txt Disallow和Allow上下級目錄或文件的寫法

    • 我們有時需要在 robots.txt Disallow和Allow某一目錄或文件，但是不知道該如何去寫。其實，對于有關聯(lián)的目錄來說，我們只需遵循一個原則，就好處理了，那就是：先寫Disallow再寫Allow。我們看看Google的 robots.txt ，如圖看到：先 Disallow /search 這個目錄，再 Allow /search/about 這個目錄或文件。

    2017年6月17日
    • robots.txt 語法詳解：*、$、?等字符的含義及用法

    • 創(chuàng)建 robots.txt 文件很簡單，您可以在任何文本編輯器中創(chuàng)建一個 robots.txt 文件，它是ASCII編碼的文本文件，而不是HTML文件。本文將詳細介紹 robots.txt 的語法及用法，以及各種注意問題。

    2017年6月10日
    • 屏蔽百度蜘蛛或某一爬蟲的四種方法

    • 今天看到群里有人說被一俄羅斯爬蟲一天內訪問網(wǎng)站幾千次，想屏蔽它，其實，類似這樣的問題解決方案網(wǎng)上有不少文章，屏蔽俄羅斯爬蟲跟屏蔽百度蜘蛛的原理是一樣的，可以通過如下四種方法來處理。

    2017年6月10日
    • 百度蜘蛛最新UA及各大搜索引擎蜘蛛爬蟲UA匯總

    • 了解各大搜索引擎蜘蛛爬蟲的UA，對我們進行某些程序編寫十分有用，例如網(wǎng)頁判斷客戶端來源時，UA是常用的標準之一。本文收集了各大搜索引擎的蜘蛛爬蟲UA，以便需要時查閱。

    2017年5月21日
    • 通過UA或反查IP兩種方法識別百度蜘蛛【官方說法】

    • 我們在分析訪問日志時，往往要判斷各種來路，包括各種搜索引擎來路、真實訪客來路、直接輸入來路、網(wǎng)頁推介來路、各種蜘蛛來路等，而對于蜘蛛來路而言，百度蜘蛛又尤為重要分析的部分。那么我們如何識別百度蜘蛛呢？近日，官方給出了兩種說法，一種是通過UA來識別，另一種是通過反查IP來識別。

    2015年6月4日
    • php/asp/asp.net判斷百度移動和PC蜘蛛的源代碼

    • 我們統(tǒng)計網(wǎng)站流量，遇到百度蜘蛛的時候，為了更好更細的統(tǒng)計，需要把百度蜘蛛的移動端和PC端分別來統(tǒng)計，這對網(wǎng)站分析有著非常重要的意義。本文提供判斷百度移動蜘蛛和百度PC蜘蛛的源代碼，有php、asp、asp.net三個版本。

分頁:«1»