Python 抓網頁

Version1

SITCA 的境內基金頁有台灣全部境內基金的各種統計資料,不幸的是它沒開放 API 讓人查詢,所以只好來硬的…。第一個要對付的叫做基金基本資料表,它長這樣:

簡單到不行的一個 form,起初我天真的以為用 urllib 來對付它即可,不管用,吐不出資料來,是 cookie 搞鬼嗎?不是,關掉 cookie 正常;是 Javascript 嗎?不是,關掉 Javascript 也正常。辛苦爬文之後找到 mechanize,它不只是抓抓網頁而已,它是更高階的模擬瀏覽器的行為,舉凡吃 cookie、騙 referrer、繞 robot.txt 都是拿手的。最後總算順利讓它吐資料出來:

#! /usr/bin/env python2.7

import mechanize

url = "http://www.sitca.org.tw/ROC/Industry/IN2105.aspx"

browser = mechanize.Browser()
browser.open(url)
browser.select_form(name="aspnetForm")
response = browser.submit().read()
print(response)

吐出來的資料是 HTML 碼,需要再配合 parser 把資料萃取出來。mechanize 也不是萬能的,它目前不相容於 Python3,而且沒有「良好的」文件只有範例。

下一步是萃取資料。

Version2

把它修改成用函式呼叫的方式,以及增加送出 select 表單的部分:

#! /usr/bin/eny python2.7

from __future__ import print_function
import mechanize
import lxml.html
import scraperwiki

def scrape(url, form_name):
browser = mechanize.Browser()
browser.open(url)
browser.select_form(name=form_name)
browser["ctl00$ContentPlaceHolder1$ddlQ_Comid"] = ["A0003"] # 暫時只抓A003第一金的資料簡化測試資料,測試後取消。
return browser.submit().read()

url = "http://www.sitca.org.tw/ROC/Industry/IN2105.aspx"
form_name = "aspnetForm"
html = scrape(url, form_name).decode('utf-8')
print(html)

看第 12 行,browser 的 form 裡面的每個控制項都可以用 dict 的方式存取,dict 的 key 來自於網頁中表單控制項的 name 屬性:

這裡的範例送出的是 A0003。

Comments