http_banner获取2.0-创新互联

更新如下

目前创新互联公司已为上1000+的企业提供了网站建设、域名、虚拟空间、网站托管运营、企业网站设计、永胜网站维护等服务，公司将坚持客户导向、应用为本的策略，正道将秉承"和谐、参与、激情"的文化，与客户和合作伙伴齐心协力一起成长，共同发展。

1. 端口可自定义 默认80

2. 线程可自定义 默认10

3. 使用了队列存消息

#-*-coding=utf-8-*-
# __author__  = 'sanr'
# __email__   = '5754190@qq.com'
# __url__     = 'http://0x007.blog.51cto.com/'
# __version__ = '2.0'
import requests
import re
import sys
from threading import Thread,Lock
import Queue
import chardet
import netaddr
import socket
import struct
import optparse
import os
import time


lock = Lock()

q = Queue.Queue()

def ip2int(addr):
	return struct.unpack("!I", socket.inet_aton(addr))[0]
def int2ip(addr):
	return socket.inet_ntoa(struct.pack("!I", addr))
 
def int_dec(pagehtml):
    '''
	智能获取页面编码
	第一步查找charset
	第二步使用chardect智能匹配
	'''
	charset = None
	if pagehtml != '':
		# print 'use charset dect'
		enc = chardet.detect(pagehtml)
		# print 'enc= ', enc
		if enc['encoding'] and enc['confidence'] > 0.9:
			charset = enc['encoding']

		if charset == None:
			charset_re = re.compile("((^|;)\s*charset\s*=)([^\"']*)", re.M)
			charset=charset_re.search(pagehtml[:1000]) 
			charset=charset and charset.group(3) or None

		# test charset
		try:
			if charset:
				unicode('test',charset,errors='replace')
		except Exception,e:
			print 'Exception',e
			charset = None
	# print 'charset=', charset
	return charset


def http_banner():

	while True:
		try:
			if q.qsize() == 0:
				break;
			ip = q.get()
			
			url='http://%s:%s'%(ip,port)
			url=requests.get(url,timeout=2)	

			body = url.content
			
			charset = None
			if body != '':
				charset = int_dec(body)

			if charset == None or charset == 'ascii':
				charset = 'ISO-8859-1'

			if charset and charset != 'ascii' and charset != 'unicode':
				try:
					body = unicode(body,charset,errors='replace')
				except Exception, e:
					body = ''
			#获取状态码
			Struts=url.status_code
			#获取webserver信息
			Server=url.headers['server'][0:13]
			#获取title
			if Struts==200 or Struts==403 or Struts==401:
				title=re.findall(r"