一個(gè)合格的SEO工程師必須了解搜索引擎的工作原理如何，百度和谷歌的原則幾乎相同，其中只有一些細(xì)節(jié)不同，如Word，因?yàn)閲?guó)內(nèi)的搜索一般是百度，所以我們的未來(lái)將是百度，當(dāng)然，基類(lèi)是同樣適用于谷歌！

搜索引擎的工作原理其實(shí)很簡(jiǎn)單，首先，所有的搜索引擎，大致分為四個(gè)部分，第一部分是蜘蛛，第二部分是數(shù)據(jù)分析系統(tǒng)和索引系統(tǒng)的第三部分，第四是要查詢(xún)當(dāng)然，這四個(gè)基本部分組成的系統(tǒng)！

下面我們，搜索引擎的工作流程：

什么是搜索引擎蜘蛛和爬蟲(chóng)？

        搜索引擎蜘蛛，其實(shí)是搜索引擎自動(dòng)應(yīng)用，其作用是什么？其實(shí)很簡(jiǎn)單，就是在互聯(lián)網(wǎng)上瀏覽信息，然后抓住這個(gè)信息的搜索引擎服務(wù)器，然后索引庫(kù)，等等，我們可以為用戶搜索引擎的蜘蛛，然后用戶訪問(wèn)我們的網(wǎng)站，然后在我們的網(wǎng)站的內(nèi)容保存到您的計(jì)算機(jī)！更容易理解。

        如何在搜索引擎的蜘蛛抓取網(wǎng)頁(yè)？

        找到了一個(gè)鏈接→下載頁(yè)面→→循環(huán)添加到臨時(shí)圖書(shū)館網(wǎng)頁(yè)→提取→鏈接到下載頁(yè)面

        第一個(gè)搜索引擎蜘蛛找到發(fā)現(xiàn)如何通過(guò)鏈接的鏈接是鏈接。發(fā)現(xiàn)此鏈接，搜索引擎蜘蛛會(huì)從網(wǎng)站上下載下來(lái)，并存入一個(gè)臨時(shí)庫(kù)，當(dāng)然，在同一時(shí)間，它會(huì)在頁(yè)面中​​提取所有的鏈接，然后循環(huán)。

        搜索引擎蜘蛛幾乎是24小時(shí)不休息（在這種情況下，這是悲劇，沒(méi)有節(jié)假日。）蜘蛛下載頁(yè)如何做到這一點(diǎn)？這需要第二個(gè)系統(tǒng)，也就是搜索引擎的分析系統(tǒng)。

        一個(gè)普通的搜索引擎蜘蛛抓取網(wǎng)頁(yè)？

        這是一個(gè)很好的問(wèn)題，那么搜索引擎蜘蛛抓取網(wǎng)頁(yè)，定期在年底？答案是肯定的！

        如果這么多的蜘蛛隨機(jī)抓取頁(yè)面，然后在互聯(lián)網(wǎng)上的費(fèi)用死勁頁(yè)每一天，所以如此，蜘蛛爬過(guò)它？所以蜘蛛定期抓取網(wǎng)頁(yè)！

        蜘蛛抓取的網(wǎng)頁(yè)策略：深度優(yōu)先

        什么是深度優(yōu)先？簡(jiǎn)而言之，在一個(gè)頁(yè)面中找到搜索引擎蜘蛛爬下來(lái)，然后沿著這條連接，一個(gè)連接，然后在下一個(gè)頁(yè)面，并找到一個(gè)連接，然后再爬下來(lái)，抓取所有，這是深度優(yōu)先抓取政策。我們看到下圖



        在上面的圖片是深度優(yōu)先的原理，如果我們的頁(yè)面搜索引擎的權(quán)威是最高的，如果第D的權(quán)威是最低的，如果搜索引擎的蜘蛛抓取網(wǎng)頁(yè)，根據(jù)深度第一個(gè)策略，然后將反過(guò)來(lái)，成為d頁(yè)的程度，這是深度優(yōu)先的最高權(quán)力機(jī)構(gòu)

        蜘蛛抓取網(wǎng)頁(yè)策略：廣度優(yōu)先

        廣度優(yōu)先更好地了解它，是搜索引擎蜘蛛所有抓取的鏈接，再次整頁(yè)，然后獲取下一個(gè)頁(yè)面的鏈接。

        在地圖上，也就是說(shuō)，其實(shí)廣度優(yōu)先的原理，這是通常所說(shuō)的平面結(jié)構(gòu)，也許在一個(gè)神秘的角落文章，警告頁(yè)面不能太多，太多會(huì)導(dǎo)致難以收集，這是對(duì)付搜索引擎的蜘蛛，因?yàn)檫@個(gè)原因，其實(shí)廣度優(yōu)先戰(zhàn)略。

        蜘蛛抓取網(wǎng)絡(luò)戰(zhàn)略：優(yōu)先權(quán)利

        如果寬度比深度優(yōu)先次序，實(shí)際上，是不是絕對(duì)的，只能說(shuō)，每個(gè)人都有自己的利益，一般搜索引擎蜘蛛抓取策略，即深度優(yōu)先+廣度優(yōu)先和翻錄使用這兩個(gè)戰(zhàn)略要參考這個(gè)連接的權(quán)重，如果這方面的權(quán)重，然后深度優(yōu)先，如果這方面的權(quán)重低，那么廣度第一！

        搜索引擎蜘蛛如何知道連接權(quán)嗎？

        有兩個(gè)因素：多與少的水平; 2外鏈的連接和質(zhì)量;

        不會(huì)被抓取的鏈接太多的水平？這是不是絕對(duì)的，方的，要考慮很多因素，我們將先進(jìn)的邏輯戰(zhàn)略背后下降，當(dāng)我詳細(xì)的說(shuō)！

        蜘蛛抓取網(wǎng)頁(yè)策略4：重新抓取

        我想，如昨天，以便更好地了解，搜索引擎蜘蛛抓取的網(wǎng)頁(yè)，我們?cè)诖隧?yè)中添加新的內(nèi)容，然后再次搜索引擎蜘蛛抓取新的內(nèi)容，這是重新抓取！重新爬也分為兩種，如下：

        1，所有再訪

        所謂的重新指蜘蛛上次抓取的鏈接，然后從頭再來(lái)月的一天，訪問(wèn)抓取時(shí)間！

        2，單重溫

        單重溫頁(yè)面更新頻率更快，更穩(wěn)定的網(wǎng)頁(yè)一般，如果我們有一個(gè)網(wǎng)頁(yè)不更新每月一次。

        搜索引擎蜘蛛對(duì)你這樣，第二天，還是這樣的第一天，第三天，搜索引擎蜘蛛會(huì)不會(huì)來(lái)，會(huì)不時(shí)時(shí)間，如每一個(gè)在未來(lái)的時(shí)間。或等待重新更新所有的時(shí)間。

        以上，也就是說(shuō)，搜索引擎蜘蛛抓取網(wǎng)頁(yè)的戰(zhàn)略。我們上面所說(shuō)的，在搜索引擎的蜘蛛抓取網(wǎng)頁(yè)，開(kāi)始第二部分，這是這部分的數(shù)據(jù)分析。

        數(shù)據(jù)分析系統(tǒng)

        數(shù)據(jù)分析系統(tǒng)，數(shù)據(jù)分析處理與搜索引擎蜘蛛抓取頁(yè)面，這個(gè)人是分為幾個(gè)：

        1，網(wǎng)頁(yè)結(jié)構(gòu)

        簡(jiǎn)而言之，那些HTML代碼是刪除所有提取的內(nèi)容。

        2，去噪

        降噪是什么意思？在頁(yè)面的HTML代碼結(jié)構(gòu)，其余的文字已刪除，然后去噪指主體離開(kāi)網(wǎng)頁(yè)，刪除無(wú)用的，如版權(quán)的內(nèi)容。

        3，檢查重

        重新進(jìn)行調(diào)查，以便更好地理解，是搜索引擎來(lái)查找重復(fù)的網(wǎng)頁(yè)內(nèi)容，如果你找到一個(gè)重復(fù)的頁(yè)面刪除。

        4，分詞

        分割是，“神馬東西？搜索引擎蜘蛛在前面的步驟，然后提取文本的內(nèi)容，然后我們的內(nèi)容被劃分成N個(gè)字，然后安排存款索引庫(kù)！也算一個(gè)字此頁(yè)面上出現(xiàn)了多少次。

        5，鏈接分析

        這一步，​​我們通常不煩躁所做的工作，搜索引擎查詢(xún)，此頁(yè)面的反向鏈接的數(shù)量，導(dǎo)出鏈接多少內(nèi)鏈，然后到本頁(yè)面右側(cè)的多少重量。

 

        數(shù)據(jù)索引系統(tǒng)

        按照上述步驟，這些交易的良好的信息搜索引擎的索引數(shù)據(jù)庫(kù)的搜索引擎。然后大致分為以下兩種系統(tǒng)索引數(shù)據(jù)庫(kù)：

        正指標(biāo)體系

        什么是一個(gè)普通的指數(shù)？簡(jiǎn)而言之，搜索引擎與數(shù)字的所有URL，那么這個(gè)數(shù)字相當(dāng)于這個(gè)網(wǎng)址的內(nèi)容，包括這個(gè)網(wǎng)址外鏈，關(guān)鍵詞密度等數(shù)據(jù)。

        簡(jiǎn)單的搜索引擎工作原理概述

        搜索引擎蜘蛛找到連接→→→和分析系統(tǒng)的手交給爬行的蜘蛛爬行策略→分析索引庫(kù)頁(yè)