NLP Notes

如果要用python抓取網頁資料的話，建議使用requests、BeautifulSoup4的套件來進行網路爬蟲

首先，先用之前介紹的pip套件來裝requests、BeautifulSoup4

在你的cmd輸入：Python -m pip install requests 

:  Python -m pip install BeautifulSoup4

接著在你的python　環境裡，

輸入：

import requests
req　=requests.get('https://www.ptt.cc/bbs/HatePolitics/index.html')　
print req.text.encode('utf-8')

　上面這段就可以幫　我們把網頁上的資料全部抓下來，

但是光載下網頁的資料是不夠的，因為這樣還是沒辦法幫我們抓到所需資訊，(例如我們想抓的是標題、作者、時間)

這時候我們可以在任一標題的旁邊按右鍵，選擇檢查元件，發現class name為 r-ent ，我們可以從這個class name中抓到包含標題、時間、作者名稱的內容

import requests
from bs4 import BeautifulSoup
re=requests.get('https://www.ptt.cc/bbs/HatePolitics/index.html')
#  print re.text.encode('utf-8')
soup=BeautifulSoup(re.text.encode('utf-8'), "html.parser")
print soup.select('.r-ent'):

接著再進一步check 標題、作者、時間的class name, 分別為title, author, date

因此我們可以輸入以下的code爬到ptt的標題、作者、時間的資訊。

import requests
from bs4 import BeautifulSoup
re=requests.get('https://www.ptt.cc/bbs/HatePolitics/index.html')
#  print re.text.encode('utf-8')
soup=BeautifulSoup(re.text.encode('utf-8'), "html.parser")
for line in soup.select('.r-ent'):
    print line.select('.title')[0].text.encode('utf-8')
    print line.select('.date')[0].text.encode('utf-8'),line.select('.author')[0].text.encode('utf-8')

輸出結果入下：

耶～就這樣，我們就完成了ptt爬蟲的爬取了！！