在編程當(dāng)中有許多語(yǔ)言，有c語(yǔ)言，有C++語(yǔ)言，有basic語(yǔ)言，也有Pascal語(yǔ)言，這些語(yǔ)言都是比較常見(jiàn)的，而python也是編程語(yǔ)言當(dāng)中的一種，如果不是專業(yè)的人員，對(duì)于這一編程語(yǔ)言是不了解的。那么這一編程語(yǔ)言是什么？又是如何使用的呢？接下來(lái)我們就一起來(lái)好好的了解一下吧。

利用python進(jìn)行數(shù)據(jù)分析——python是什么

Python是一種開(kāi)放源代碼的腳本編程語(yǔ)言，這種腳本語(yǔ)言特別強(qiáng)調(diào)開(kāi)發(fā)速度和代碼的清晰程度。它可以用來(lái)開(kāi)發(fā)各種程序，從簡(jiǎn)單的腳本任務(wù)到復(fù)雜的、面向?qū)ο蟮膽?yīng)用程序都有大顯身手的地方。Python還被當(dāng)作一種入門(mén)程序員最適合掌握的優(yōu)秀語(yǔ)言，因?yàn)樗赓M(fèi)、面向?qū)ο?、擴(kuò)展性強(qiáng)同時(shí)執(zhí)行嚴(yán)格的編碼標(biāo)準(zhǔn)。

利用python進(jìn)行數(shù)據(jù)分析之抓取數(shù)據(jù)的方法

1. 正則表達(dá)式

當(dāng)我們使用正則表達(dá)式抓取國(guó)家面積數(shù)據(jù)時(shí)，首先要嘗試匹配元素中的內(nèi)容，如下所示:

從上述結(jié)果看出，多個(gè)國(guó)家屬性都使用了< td class=”w2p_fw” >標(biāo)簽。要想分離出面積屬性，我們可以只選擇其中的第二個(gè)元素，如下所示:

雖然現(xiàn)在可以使用這個(gè)方案，但是如果網(wǎng)頁(yè)發(fā)生變化，該方案很可能就會(huì)失效。比如表格發(fā)生了變化，去除了第二行中的國(guó)土面積數(shù)據(jù)。如果我們只在現(xiàn)在抓取數(shù)據(jù)，就可以忽略這種未來(lái)可能發(fā)生的變化。但是，如果我們希望未來(lái)還能再次抓取該數(shù)據(jù)，就需要給出更加健壯的解決方案，從而盡可能避免這種布局變化所帶來(lái)的影響。想要該正則表達(dá)式更加健壯，我們可以將其父元素< tr >也加入進(jìn)來(lái)。由于該元素具有ID屬性，所以應(yīng)該是唯一的。

這個(gè)迭代版本看起來(lái)更好一些，但是網(wǎng)頁(yè)更新還有很多其他方式，同樣可以讓該正則表達(dá)式無(wú)法滿足。比如，將雙引號(hào)變?yōu)閱我?hào)，< td >標(biāo)簽之間添加多余的空格，或是變更area_label等。下面是嘗試支持這些可能性的改進(jìn)版本。

雖然該正則表達(dá)式更容易適應(yīng)未來(lái)變化，但又存在難以構(gòu)造、可讀性差的問(wèn)題。此外，還有一些微小的布局變化也會(huì)使該正則表達(dá)式無(wú)法滿足，比如在< td >標(biāo)簽里添加title屬性。
從本例中可以看出，正則表達(dá)式為我們提供了抓取數(shù)據(jù)的快捷方式，但是，該方法過(guò)于脆弱，容易在網(wǎng)頁(yè)更新后出現(xiàn)問(wèn)題。幸好還有一些更好的解決方案，后期將會(huì)介紹。

2. Beautiful Soup

Beautiful Soup是一個(gè)非常流行的 Python 模塊。該模塊可以解析網(wǎng)頁(yè)，并提供定位內(nèi)容的便捷接口。如果你還沒(méi)有安裝該模塊，可以使用下面的命令安裝其最新版本(需要先安裝 pip，請(qǐng)自行百度):

使用 Beautiful Soup 的第一步是將已的 HTML 內(nèi)容解析為 soup 文檔。由于大多數(shù)網(wǎng)頁(yè)都不具備良好的 HTML 格式，因此 Beautiful Soup 需要對(duì)其實(shí)際格式進(jìn)行確定。例如，在下面這個(gè)簡(jiǎn)單網(wǎng)頁(yè)的列表中，存在屬性值兩側(cè)引號(hào)缺失和標(biāo)簽未閉合的問(wèn)題。

如果 Population 列表項(xiàng)被解析為 Area 列表項(xiàng)的子元素，而不是并列的兩個(gè)列表項(xiàng)的話，我們?cè)谧トr(shí)就會(huì)得到錯(cuò)誤的結(jié)果。下面讓我們看一下 Beautiful Soup 是如何處理的。

從上面的執(zhí)行結(jié)果中可以看出，Beautiful Soup 能夠正確解析缺失的引號(hào)并閉合標(biāo)簽?，F(xiàn)在可以使用 find() 和 find_all() 方法來(lái)定位我們需要的元素了。

3. Lxml

Lxml 是基于 libxml2 這一 XML 解析庫(kù)的 Python 封裝。該模塊使用 C語(yǔ)言 編寫(xiě)，解析速度比 Beautiful Soup 更快，不過(guò)安裝過(guò)程也更為復(fù)雜。和 Beautiful Soup 一樣，使用 lxml 模塊的第一步也是將有可能不合法的 HTML 解析為統(tǒng)一格式。下面是使用該模塊解析一個(gè)不完整 HTML 的例子:

同樣地，lxml 也可以正確解析屬性兩側(cè)缺失的引號(hào)，并閉合標(biāo)簽，不過(guò)該模塊沒(méi)有額外添加 < html > 和 < body > 標(biāo)簽。解析完輸入內(nèi)容之后，進(jìn)入選擇元素的步驟，此時(shí) lxml 有幾種不同的方法，比如 XPath 選擇器和類似 Beautiful Soup 的 find() 方法。不過(guò)，后續(xù)我們將使用 CSS 選擇器，因?yàn)樗雍?jiǎn)潔，并且能夠在解析動(dòng)態(tài)內(nèi)容時(shí)得以復(fù)用。此外，一些擁有 jQuery 選擇器相關(guān)經(jīng)驗(yàn)的讀者會(huì)對(duì)其更加熟悉。

以上就是有關(guān)利用python進(jìn)行數(shù)據(jù)分析的所有內(nèi)容，從這里我們就可以知道至于語(yǔ)言，在網(wǎng)站優(yōu)化的過(guò)程當(dāng)中是非常重要的，也是經(jīng)常會(huì)使用到的一種方法，所以如果你是網(wǎng)絡(luò)優(yōu)化的從業(yè)者，那么學(xué)習(xí)這一編程也是非常必要的。如果想了解更多的內(nèi)容，歡迎關(guān)注我們文軍營(yíng)銷的官網(wǎng)。

推薦閱讀

網(wǎng)絡(luò)輿情研究到底有多么的重要,到底如何做 | 文軍營(yíng)銷他們還有就是按照設(shè)置好的關(guān)鍵詞去某些特定的網(wǎng)址去爬數(shù)據(jù)。這樣的軟件看上去蠻好的,但是會(huì)漏掉非常多的數(shù)據(jù)。 還有些公司就是真的在做網(wǎng)絡(luò)輿情監(jiān)測(cè)軟件的開(kāi)發(fā),他們采用大數(shù)據(jù)離線功能,采用python爬出原理,把所有的數(shù)據(jù)采集到自己的離線數(shù)據(jù)庫(kù),然后去他們自己的大數(shù)據(jù)庫(kù)中去提取數(shù)據(jù)。就算他們程序做得再完美,還是有...