呼和浩特網(wǎng)絡(luò)推廣對于搜索引擎優(yōu)化， 做好優(yōu)質(zhì)內(nèi)容是必須的。但是只有優(yōu)質(zhì)內(nèi)容還不夠，如果搜索引擎抓取不到這個頁面，那你辛辛苦苦編寫的內(nèi)容不是白費(fèi)了嗎？
確保網(wǎng)站可抓取，首先要檢查robots.txt文件，這個文件是任何網(wǎng)絡(luò)爬行軟件到達(dá)站點(diǎn)時的一個調(diào)用點(diǎn)。
robots.txt文件會明確應(yīng)該被抓取的和不應(yīng)該被抓取的部分，表現(xiàn)為允許（allow）、禁止(disallow)某些用戶代理的行為。
通過將/robots.txt添加到根域末尾，可以公開使用robots.txt文件。我們看一下Hallam網(wǎng)站的示例：
可以看到，Hallam網(wǎng)站不允許以/ wp-admin（網(wǎng)站后端）開頭的URL被抓取。通過指明哪些地方禁止這些URL，可以節(jié)省帶寬、服務(wù)器資源和爬網(wǎng)預(yù)算。
與此同時，搜索引擎爬蟲抓取網(wǎng)站的重要部分時，不應(yīng)該受到禁止。
因為robots.txt是爬蟲在抓取網(wǎng)站時看到的一個文件，所以是將robots.txt指向站點(diǎn)地圖?？梢栽谂f版的Google Search Console中編輯和測試robots.txt文件。
在robots.txt的測試工具中，下面的網(wǎng)址欄輸入任何網(wǎng)址，就可以檢查這個網(wǎng)址能否被抓取，robots.txt文件中有沒有錯誤和警告。
因為舊版的Google Search Console功能要比新版本的功能多一些，在技術(shù)SEO方面舊版本會更好用一些。
比方說，舊版本可以查看站長工具上的抓取統(tǒng)計信息區(qū)域（Craw Stats），對于了解網(wǎng)站的抓取方式會更加的方便。
這個報告有3個圖表，顯示了近3個月的數(shù)據(jù)
每天抓取的網(wǎng)頁數(shù)量、每天下載的千字節(jié)數(shù)、下載網(wǎng)頁所花費(fèi)的時間（以毫秒為單位），能夠顯示網(wǎng)站的抓取速度及和搜索引擎爬蟲的關(guān)系。
搜索引擎爬蟲定期訪問某網(wǎng)站，并且這是一個快速而且容易被抓取的網(wǎng)站的話，這個網(wǎng)站就會有很高的抓取速度。
這些圖表數(shù)據(jù)如果能保持一致是好的，任何重大波動都會出問題，可能是HTML損壞，內(nèi)容陳舊或robots.txt文件阻止了太多URL。
如果加載一個頁面需要很長時間，表示爬蟲爬取時間太長，建立索引速度較慢。
還可以在新版的Google Search Console查看覆蓋率報告中的抓取錯誤。
呼和浩特網(wǎng)絡(luò)推廣這些地方都是有爬取問題的頁面，點(diǎn)擊可以顯示這些頁面。檢查這些頁面是什么原因?qū)е碌呐廊栴}，不是很重要的頁面，盡快解決這些問題。
如果你在Craw Stats或覆蓋率報告中，發(fā)現(xiàn)重大的抓取錯誤或波動，可以對日志文件進(jìn)行分析查看。
從服務(wù)器日志訪問原始數(shù)據(jù)可能會比較麻煩，因為分析是高級設(shè)置，但它有助于準(zhǔn)確理解哪些頁面可以被抓取、哪些不能抓取。
哪些頁面會被優(yōu)先處理，哪些區(qū)域出現(xiàn)了預(yù)算浪費(fèi)的情況，還有爬蟲在爬取網(wǎng)站的過程中收到哪些服務(wù)器響應(yīng)。
檢查站點(diǎn)可編入索引
檢查爬蟲是否可以抓取網(wǎng)站之后，還要搞清楚網(wǎng)站上的網(wǎng)頁有沒有編入Google索引。
有很多方法可以檢查這一問題，前面用到的Google Search Console覆蓋報告，就可以用來查看每個頁面的狀態(tài)。
從這個報告中我們看到四個數(shù)據(jù):
錯誤：404s重定向錯誤。
有效警告：已編制索引但附有警告的頁面。
有效：成功編制索引的頁面。
已排除：被排除在索引狀態(tài)之外的頁面及其原因，如重定向或被robots.txt阻止的網(wǎng)頁。
還可以使用URL檢查工具分析特定的URL。
如果某主頁的流量有所下降，就該檢查這個新加入的網(wǎng)站是不是已經(jīng)編入索引，或者對這個網(wǎng)址進(jìn)行問題排查。
還有一個好方法可用來檢查網(wǎng)站能否索引，就是使用爬取工具，推薦Screaming Frog。
Screaming Frog是強(qiáng)大、使用普遍的爬取軟件之一。它有付費(fèi)版本和免費(fèi)版本，可以根據(jù)網(wǎng)站的大小進(jìn)行選擇。
免費(fèi)版本的功能有限，抓取的數(shù)量限于500個URL。而付費(fèi)版本的年費(fèi)是149英鎊，有很多的功能和可用API，沒有抓取限制。
運(yùn)行爬取軟件之后，就可以看到和索引相關(guān)的兩列結(jié)果。
Indexability：可索引性，顯示URL能否被編入索引，是“可索引”還是“不可索引”。
Indexability Status：可索引性狀態(tài)，顯示URL不可索引的原因是什么，是不是被編為了另一個URL，或是帶有無索引標(biāo)簽。
這個工具是批量審核網(wǎng)站一種很好的方式，可以了解哪些網(wǎng)頁正在被編入索引，哪些網(wǎng)頁不可被編入索引，這些都會顯示在結(jié)果中。
對列進(jìn)行排序并查找異常的情況，使用Google Analytics API，能有效識別出可索引的重要頁面。
，還可以使用這個網(wǎng)站檢查你的頁面有多少是已經(jīng)索引的：domain Google Search parameter。
在搜索欄中輸入site：yourdomain并按Enter鍵，就可以看到網(wǎng)站上已被Google編入索引的每個網(wǎng)頁。
示例：
這里我們看到boots.com有大約95,000個已經(jīng)索引的URL，通過這個功能我們知道Google現(xiàn)在存儲了多少網(wǎng)頁。
如果你的網(wǎng)頁數(shù)量和被谷歌索引的數(shù)量差很多。
那么你應(yīng)該思考：
網(wǎng)站的HTTP版本是否仍在編入索引？
已被編入索引的頁面有沒有重復(fù)的，需要規(guī)范化的?
網(wǎng)站的大部分內(nèi)容是否應(yīng)該被編入索引？
通過這三個問題，了解谷歌如何將網(wǎng)站編入索引，以及如何做出相應(yīng)更改。
查看站點(diǎn)地圖
SEO還有一個不能忽略的重要方面：站點(diǎn)地圖。XML站點(diǎn)地圖是你的網(wǎng)站到Google和其它搜索引擎爬蟲的地圖。
實(shí)際上，站點(diǎn)地圖幫助這些爬蟲給你的網(wǎng)頁排名。
有效的站點(diǎn)地圖有幾點(diǎn)值得注意:
站點(diǎn)地圖要在XML文檔中正確格式化。
站點(diǎn)地圖應(yīng)該遵循XML站點(diǎn)地圖協(xié)議。
只包含規(guī)范版本的網(wǎng)址。
不包含沒有索引的網(wǎng)址。
更新或創(chuàng)建新頁面時，要包括所有新頁面。
關(guān)于站點(diǎn)地圖的小工具：
1. Yoast SEO插件，可以創(chuàng)建XML站點(diǎn)地圖。
2. Screaming Frog，它的站點(diǎn)地圖分析非常詳細(xì)。
另外，還可以在站點(diǎn)題圖上查看網(wǎng)址，遺失的網(wǎng)址或者是少見的網(wǎng)址。
確保站點(diǎn)地圖包含重要的頁面，排除不用編進(jìn)Google索引的頁面，并且結(jié)構(gòu)要正確。完成這些操作之后，你應(yīng)該將站點(diǎn)地圖重新提交到Google Search Console。
網(wǎng)站要適應(yīng)移動端設(shè)備
谷歌去年宣布了會優(yōu)先對移動端進(jìn)行索引。也就是說，網(wǎng)頁的移動端版本會優(yōu)先于電腦端版本，進(jìn)行排名和索引，因為大部分用戶主要使用移動設(shè)備進(jìn)行網(wǎng)頁訪問,所以網(wǎng)站排名也會給移動端優(yōu)先的權(quán)利。
谷歌的Mobile-Friendly Test是一款免費(fèi)工具，可以用來檢查網(wǎng)頁在移動端的響應(yīng)和適應(yīng)性。
在網(wǎng)址欄輸入域名，就可以顯示在移動設(shè)備上的呈現(xiàn)效果，是否適應(yīng)移動設(shè)備。
當(dāng)然也可以手動檢查網(wǎng)站在移動端的適應(yīng)情況，用手機(jī)瀏覽一個網(wǎng)站，檢查網(wǎng)站的主要轉(zhuǎn)化路徑有沒有錯誤。
網(wǎng)站上面的所有聯(lián)系表格、電話號碼、關(guān)鍵服務(wù)頁面，是否都正常運(yùn)行。如果你是在電腦端瀏覽網(wǎng)頁的話，就可以右鍵單擊頁面，再做檢查。
網(wǎng)頁速度
網(wǎng)頁速度現(xiàn)在是Google排名的一個很重要的因素，網(wǎng)頁響應(yīng)迅速也是提升用戶體驗度的一個很好的方式。
下面我給你們推薦一些測試網(wǎng)站速度的實(shí)用工具
Google PageSpeed Insights
這是谷歌的一款功能強(qiáng)大的工具，可以免費(fèi)使用。它可以在移動端和電腦端對網(wǎng)站進(jìn)行速度測試，進(jìn)行打分，并給出提高頁面速度的建議
對主頁和核心頁面進(jìn)行測試，可以知道你的網(wǎng)址速度如何，采取哪些措施可以提高網(wǎng)速。
還有一點(diǎn)要提醒一下：我們說的頁面速度，不僅是指某人打開網(wǎng)頁時，加載出一個頁面的速度，還包括搜索引擎抓取網(wǎng)頁的速度和難易度。
這也是縮小和捆綁CSS和Javascript文件的原因。所以依靠肉眼檢查頁面加載還不夠，還需要使用工具來全面地分析頁面是如何加載的。
谷歌還有一款工具可以測試移動設(shè)備的網(wǎng)速，專門針對移動設(shè)備提高網(wǎng)速。
它會根據(jù)測試給出一個結(jié)果報告：
1.網(wǎng)站在在3G和4G網(wǎng)絡(luò)上的速度，包括網(wǎng)站加載速度有多少秒，評級是多少，網(wǎng)站速度趨勢在加快還是減慢；
2.針對每個頁面的個性化修復(fù)方式；
3.網(wǎng)速和競爭對手的網(wǎng)速做對比的情況；
4.網(wǎng)站收入受到網(wǎng)速的影響情況。
Google Analytics
針對網(wǎng)速的問題，還可以使用Google Analytics，它可以給出提高網(wǎng)速的診斷建議。
打開Google Analytics，在Behaviour中找到Site Speed，可以查詢出很多關(guān)于網(wǎng)速的有用信息，包括特定網(wǎng)頁在不同瀏覽器和國家地區(qū)的加載效果。
你可以根據(jù)頁面瀏覽量進(jìn)行檢查，優(yōu)先處理重要的頁面。
頁面加載速度的因素有很多，如果你發(fā)現(xiàn)頁面加載有問題，可以通過檢查一些常規(guī)內(nèi)容去修復(fù)頁面:
優(yōu)化圖像，圖像有沒有壓縮過；
修復(fù)膨脹的javascript；
減少服務(wù)器請求；
確保緩存有效；
檢查服務(wù)器的速度快不快；
考慮使用內(nèi)容分發(fā)網(wǎng)絡(luò)（CDN）
重復(fù)內(nèi)容審核
一項是審核網(wǎng)站內(nèi)容有沒有重復(fù)。對于做SEO的人來說，內(nèi)容重復(fù)是一個很大的禁忌。
雖然說谷歌不會因為內(nèi)容重復(fù)就懲罰某個網(wǎng)站，但是谷歌不喜歡重復(fù)文案內(nèi)容，這一點(diǎn)是很明確的。
谷歌認(rèn)為重復(fù)內(nèi)容對用戶是沒什么用處的，所以它不會在搜索引擎排名中給有重復(fù)內(nèi)容的頁面很好的排名。
要檢查有沒有重復(fù)內(nèi)容，可以使用Google search parameters進(jìn)行快速查詢，輸入網(wǎng)址，在搜索結(jié)果的一頁，如果有重復(fù)內(nèi)容，就會出現(xiàn)以下文字：
如果這里出現(xiàn)了重復(fù)內(nèi)容，應(yīng)該再使用Screaming Frog抓取一下網(wǎng)站。然后按照頁面標(biāo)題進(jìn)行排序，就可以檢查網(wǎng)站上有哪些重復(fù)的頁面。
呼和浩特網(wǎng)絡(luò)推廣搜索引擎技術(shù)優(yōu)化讓你的網(wǎng)站更加優(yōu)化和健康。
以上是技術(shù)性SEO的六個方法，是網(wǎng)站結(jié)構(gòu)優(yōu)化相對基礎(chǔ)的東西。如果你們想要在技術(shù)上做得更好，還可以繼續(xù)深入。