Python双色球数据分析(1):数据爬取

  • A+

每个人都有一颗中双色球大奖的心,对于技术人员来说,通过技术分析,可以增加中奖几率,现使用Python语言收集历史双色球中奖信息,之后进行预测分析。

Python双色球数据分析(1):数据爬取

说明:采用2016年5月15日获取的双色球数据为基础进行分析,总抽奖数1940次。

初级代码,有些内容比较繁琐,有更好的代码,大家可以分享。

  1. #!/usr/bin/python
  2. # -*- coding:UTF-8 -*-
  3. #coding:utf-8
  4. #author:levycui
  5. #date:20160513
  6. #Description:双色球信息收集
  7. import urllib2
  8. from bs4 import BeautifulSoup   #采用BeautifulSoup
  9. import os
  10. import re
  11. #伪装成浏览器登陆,获取网页源代码
  12. def getPage(href):
  13.     headers = {
  14.         'User-Agent':'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6'
  15.     }
  16.     req = urllib2.Request(
  17.         url = href ,
  18.         headers = headers
  19.     )
  20.     try:
  21.         post = urllib2.urlopen(req)
  22.     except urllib2.HTTPError,e:
  23.         print e.code
  24.         print e.reason
  25.     return post.read()
  26. #初始化url 双色球首页
  27. url = 'http://kaijiang.zhcw.com/zhcw/html/ssq/list_1.html'
  28. #===============================================================================
  29. #获取url总页数
  30. def getPageNum(url):
  31.     num =0
  32.     page = getPage(url)
  33.     soup = BeautifulSoup(page)
  34.     strong = soup.find('td',colspan='7')
  35.     # print strong
  36.     if strong:
  37.         result = strong.get_text().split(' ')
  38.         # print result
  39.         list_num = re.findall("[0-9]{1}",result[1])
  40.         # print list_num
  41.         for i in range(len(list_num)):
  42.             num = num*10 + int(list_num[i])
  43.         return num
  44.     else:
  45.         return 0
  46. #===============================================================================
  47. #获取每页双色球的信息
  48. def getText(url):
  49.     for list_num in range(1,getPageNum(url)):   #从第一页到第getPageNum(url)页
  50.         print list_num  #打印下页码
  51.         href = 'http://kaijiang.zhcw.com/zhcw/html/ssq/list_'+str(list_num)+'.html' #调用新url链接
  52.         # for listnum in len(list_num):
  53.         page = BeautifulSoup(getPage(href))
  54.         em_list = page.find_all('em')   #匹配em内容
  55.         div_list = page.find_all('td',{'align':'center'})   #匹配 <td align=center>这样的内容
  56.         #初始化n
  57.         n = 0
  58.         #将双色球数字信息写入num.txt文件
  59.         fp = open("num.txt" ,"w")
  60.         for div in em_list:
  61.             emnum1 = div.get_text()
  62.             # print emnum1
  63.             text = div.get_text()
  64.             text = text.encode('utf-8')
  65.             #print title       
  66.             n=n+1
  67.             if n==7:
  68.                 text = text + "\n"
  69.                 n=0
  70.             else:
  71.                 text = text + ","
  72.             fp.write(str(text))
  73.         fp.close()
  74.         #将日期信息写入date.txt文件
  75.         fp = open("date.txt" ,"w")
  76.         for div in div_list:
  77.             text = div.get_text().strip('')
  78.             # print text
  79.             list_num = re.findall('\d{4}-\d{2}-\d{2}',text)
  80.             list_num = str(list_num[::1])
  81.             list_num = list_num[3:13]
  82.             if len(list_num) == 0:
  83.                 continue
  84.             elif len(list_num) > 1:
  85.                 fp.write(str(list_num)+'\n')
  86.         fp.close()
  87.         #将num.txt和date.txt文件进行整合写入hun.txt文件中
  88.         #格式如下:
  89.         #('2016-05-03', '09,12,24,28,29,30,02')
  90.         #('2016-05-01', '06,08,13,14,22,27,10')
  91.         #('2016-04-28', '03,08,13,14,15,30,04')
  92.         #
  93.         fp01 = open("date.txt","r")
  94.         a=[]
  95.         for line01 in fp01:
  96.             a.append(line01.strip('\n'))
  97.             # print a
  98.         fp01.close()
  99.         fp02 = open("num.txt","r")
  100.         b=[]
  101.         for line02 in fp02:
  102.             b.append(line02.strip('\n'))
  103.             # print b
  104.         fp02.close()
  105.         fp = open("hun.txt" ,"a")
  106.         for cc in zip(a,b): #使用zip方法合并
  107.             print cc
  108.             fp.write(str(cc) + '\n')
  109.         fp.close()
  110. #===============================================================================
  111. if __name__=="__main__":
  112.     pageNum = getPageNum(url)
  113.     print pageNum
  114.     getpagetext = getText(url)
  115.     print getpagetext

数据样例:

('2015-03-03', '09,11,16,18,23,24,10')

('2015-03-01', '08,09,10,13,29,30,01')

('2015-02-26', '04,07,10,16,23,25,10')

白起
深入浅出数据分析(中文版)
数学建模教材(包括十大算法、matlab、lingo、spss、exce以及多种实例模型)
误差分位数的默示有效估计与\ 自回归时间序列的预测区间
Excel数据可视化分析方法大全

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: