Python用SGMLParser抓取网页连接的改进
在网上看见用Python用SGMLParser抓取网页连接的大部分都是用以下代码:
#!/usr/bin/env python
# -*- coding: utf-8 -*-
from sgmllib import SGMLParser
import urllib
import urllib2
import socket
socket.setdefaulttimeout(210)
class URLLister(SGMLParser):
def reset(self):
self.url = []
SGMLParser.reset(self)
def start_a(self, attrs):
href = [v for k, v in attrs if k == 'href']
if href:
self.url.extend(href)
parser = URLLister()
myurl=’http://www.gjjblog.com’
request = urllib2.Request(myurl) #网页请求
opener = urllib2.build_opener()
page = opener.open(request)
if page.code == 200:
predata = page.read()
parser.feed(predata)
print parser.url # 显示抓取到的url数组
但这程序抓取到的网页连接路径有些是没有包含http://的网页路径，那现在就要需要进一部处理改进了, 我增加了一些函数，改成以下:
#!/usr/bin/env python
# -*- coding: utf-8 -*-
from sgmllib import SGMLParser
import urllib
import urllib2
improt re
import string
import socket
socket.setdefaulttimeout(210)
class URLLister(SGMLParser):
def reset(self):
self.url = []
SGMLParser.reset(self)
def start_a(self, attrs):
href = [v for k, v in attrs if k == 'href']
if href:
self.url.extend(href)
# 分析主机头
def fenxiurl(xurl):
aa=[]
xurl=xurl.lower()
str=string.split(xurl,’http://’)
#print str,len(str)
if len(str)>1:
ss=str[1]
str=string.split(ss,’/’)
if len(str)>1:
#print str
if str[0] !=”:
aa.append(’http://’+str[0])
s1=’http://’
for r in range(len(str)-1):
s1=s1+str[r]+’/’
aa.append(s1)
else:
aa.append(xurl)
aa.append(xurl+’/’)
return aa
# 分析和合成
def ChuLiUrl(furlsz,xx):
newurllist=[]
s=re.compile(’^http://’)
y=re.compile(’^/’)
for x in range(len(furlsz)):
ssurl=furlsz[x].lower()
m=s.search(ssurl)
if m:
#print “Yes: “,furlsz[x]
newurllist.append(furlsz[x])
else:
#print “No: “,furlsz[x]
if ssurl.find(’mailto’)>-1:continue
#if ssurl.find(’ftp://’)>-1:continue
if ssurl.find(’://’)>-1:continue
if ssurl.find(’javascript:’)>-1:continue
n=y.search(ssurl)
if n:
newurllist.append(xx[0]+furlsz[x])
else:
newurllist.append(xx[1]+furlsz[x])
a1=set(newurllist)
a2=[i for i in a1]
return a2
parser = URLLister()
myurl=’http://www.gjjblog.com’
request = urllib2.Request(myurl) #网页请求
opener = urllib2.build_opener()
page = opener.open(request)
if page.code == 200:
predata = page.read()
parser.feed(predata)
urlsz=parser.url # 显示抓取到的url数组
fenxihost=fenxiurl(myurl)
print ChuLiUrl(urlsz,fenxihost)
现在的连接捉取的连接路径就算完整了，做这个都是为了我写的信息蜘蛛服务啊，不过还是不太完美，因为连接里最后的参数包含有?xxx=/usrl/xxxx的话，以上的函数出来就会出错了，因为现在的分析都是基于/做为分隔符号来分析的，暂时我想不到方法完美的去分析它，先做着这些先，想到什么方法分析再改.
Python用SGMLParser抓取网页连接的改进, 文章写得有点草，初学的菜鸟python, 请大家指教。
此篇为转载，原地址：http://www.lpfrx.com/archives/176/
Related posts: