Python爬虫实战（2）——抓取知乎热门帖并存储到Mysql数据库

野性酷女 2023-10-17 09:16 145阅读 0赞

首先了解一些基础性的理解知识：

python基础知识——正则表达式,_MISAYAONE的博客-CSDN博客 正则表达式

Python基础知识——爬虫入门_MISAYAONE的博客-CSDN博客_python基础和网络爬虫 爬虫入门

http://blog.csdn.net/misayaaaaa/article/details/53079953mysql 数据库相关

样例代码(有详细注释)：

  1. #coding=utf-8
  2. import urllib2
  3. import re
  4. import MySQLdb
  6. conn = MySQLdb.connect(host='localhost', db='test', user='root', passwd='root1',charset='utf8')
  7. #connect()方法用于创建与数据库的连接，里面可以指定参数，这一步只是连接到了数据库，操作数据库还需要下面的游标
  8. cur = conn.cursor()#通过获取到的conn数据库的cursor方法创建游标
  10. url = 'http://www.zhihu.com/topic/19607535/top-answers'
  11. netthings= urllib2.urlopen(url).read()
  12. print netthings  #使用urllib2模块爬虫抓取了特定网页
  14. list = re.findall('<a class="question_link"(.*?)/a>', netthings, re.S)
  15. #re模块的findall方法可以以列表的形式返回匹配的字符串，re.S表示多行匹配
  16. print list  #使用re模块的正则表达式，将目标字符串存入list
  17. #正则表达式的匹配也是一个难点
  18. p = '>(.*?)<'
  19. for x in list:
  20.     title = re.search(p, x, re.S).group(1)
  21.     hot = "insert into test(title) values('%s')" % title
  22.     print hot
  23.     cur.execute(hot)
  24.     conn.commit()  #提交数据进数据库
  25. conn.close()  #关闭数据库连接

cmd中查看表单的结果：

Center

在这其中遇到了很多的问题，一一分享出来：

1、Mysql创建、查看、删除对应表单。

创建：create table命令用来创建数据表。

create table命令格式：create table <表名> (<字段名1> <类型1> [,..<字段名n> <类型n>]);

例如，建立一个名为MyClass的表：

















































字段名 数字类型 数据宽度 是否为空 是否主键 自动增加 默认值
id int 4 否 primary key auto_increment
name char 20 否
sex int 4 否 0
degree double 16 是

在这题中，创建了一个test表：create table test(title char(200)); (注意需要在use database之后)

查看表单内容 select * from test; 查询test数据表中的所有数据

删除表 DROP TABLE test; 将表单test删除

2、

  1. # -*- coding: utf-8 -*-       
  2. #mysqldb      
  3. import time, MySQLdb      
  5. #连接      
  6. conn=MySQLdb.connect(host="localhost",user="root",passwd="root",db="test",charset="utf8")    
  7. cursor = conn.cursor()      
  9. #删除表  
  10. sql = "drop table if exists user"  
  11. cursor.execute(sql)  
  13. #创建  
  14. sql = "create table if not exists user(name varchar(128) primary key, created int(10))"  
  15. cursor.execute(sql)  
  17. #写入      
  18. sql = "insert into user(name,created) values(%s,%s)"     
  19. param = ("aaa",int(time.time()))      
  20. n = cursor.execute(sql,param)      
  21. print 'insert',n      
  23. #写入多行      
  24. sql = "insert into user(name,created) values(%s,%s)"     
  25. param = (("bbb",int(time.time())), ("ccc",33), ("ddd",44) )  
  26. n = cursor.executemany(sql,param)      
  27. print 'insertmany',n      
  29. #更新      
  30. sql = "update user set name=%s where name='aaa'"     
  31. param = ("zzz")      
  32. n = cursor.execute(sql,param)      
  33. print 'update',n      
  35. #查询      
  36. n = cursor.execute("select * from user")      
  37. for row in cursor.fetchall():      
  38.     print row  
  39.     for r in row:      
  40.         print r      
  42. #删除      
  43. sql = "delete from user where name=%s"     
  44. param =("bbb")      
  45. n = cursor.execute(sql,param)      
  46. print 'delete',n      
  48. #查询      
  49. n = cursor.execute("select * from user")      
  50. print cursor.fetchall()      
  52. cursor.close()      
  54. #提交      
  55. conn.commit()  
  56. #关闭      
  57. conn.close()

一个简单的样例，学习python对mysql的操作。

3、运行出错： ERROR 1045 (28000): Access denied for user ‘mysql’@’localhost’ (using password: NO)

这个问题的话肯定是你把下面的给弄错了，也就是用户和密码，google一下怎么改密码就好了。

  1. user="root",passwd="root"

4、python连接mysql数据库，出现：(2003, “Can’t connect to MySQL server on ‘localhost’ (10061)”

  1. conn=MySQLdb.connect(host="localhost",user="root",passwd="root",db="test",charset="utf8")

将localhost改为127.0.0.1。

发表评论

表情：
评论列表 （有 0 条评论，145人围观）

还没有评论，来说两句吧...

相关阅读

    相关 scrapy抓取知乎全部用户信息

    先说一下核心思想，从一个大v开始，抓取他的关注和粉丝，然后再遍历这两个群体，再抓关注和粉丝，层层抓下去，就会覆盖知乎的所有用户。 好，让我们先分析分析知乎这个网站，提示一下知

    骑猪看日落骑猪看日落/ 0 赞/ 510 阅读