如何使用Python将数据输入到网页中以抓取结果输出？

Question

我熟悉BeautifulSoup和urllib2来从网页中抓取数据。但是，如果在返回要刮取的结果之前需要在页面中输入参数怎么办？

我正在尝试使用此网站获取两个地址之间的地理距离：http : //www.freemaptools.com/how-far-is-it-
between.htm

我希望能够转到该页面，输入两个地址，单击“显示”，然后提取“乌鸦飞行距离”和“陆路运输距离”值并将它们保存到词典中。

有什么方法可以使用Python将数据输入到网页中吗？

Answer 1

看一下机械化或刮擦之类的工具：

• http://pypi.python.org/pypi/mechanize
• http://stockrt.github.com/p/emulating-a-browser-in-python-with-mechanize/

• http://www.ibm.com/developerworks/linux/library/l-python-mechanize-beautiful-soup/

• http://zesty.ca/scrape/

Packt Publishing也对此发表了一篇文章：

• http://www.packtpub.com/article/web-scraping-with-python