手把手带你入门Python爬虫(五、CSDN论坛之模型设计)
生活随笔
收集整理的這篇文章主要介紹了
手把手带你入门Python爬虫(五、CSDN论坛之模型设计)
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
CSDN論壇之模型設計
- 一、CSDN論壇分析
- 二、模型設計與數據表設計
一、CSDN論壇分析
論壇主題列表頁:
詳情頁:
博主個人詳情頁:
我們根據以上頁面分析我們需要抓取的數據,然后設計模型。
二、模型設計與數據表設計
from peewee import *db = MySQLDatabase("py_spider", host="localhost", port=3307, user="root", password="root")class BaseModel(Model):class Meta:database = dbclass Topic(BaseModel):title = CharField() # 標題content = TextField(default="") # 內容id = IntegerField(primary_key=True) # idauthor = CharField() # 作者create_time = DateTimeField() # 創建時間answer_nums = IntegerField(default=0) # 回復數量click_nums = IntegerField(default=0) # 查看數量parised_nums = IntegerField(default=0) # 點贊數量jtl = FloatField(default=0.0) # 結帖率score = IntegerField(default=0) # 賞分status = CharField() # 狀態class Answer(BaseModel):topic_id = IntegerField()author = CharField()content = TextField(default="")create_time = DateTimeField()parised_nums = IntegerField(default=0) # 點贊數量class Author(BaseModel):name = CharField()id = IntegerField(primary_key=True)click_nums = IntegerField(default=0) # 訪問數original_nums = IntegerField(default=0) # 原創數forward_nums = IntegerField(default=0) # 轉發數rate = IntegerField(default=-1) # 排名answer_nums = IntegerField(default=0) # 評論數parised_nums = IntegerField(default=0) # 獲贊數desc = TextField(null=True) # 個人描述簽名industry = CharField(null=True) # 行業location = CharField(null=True) # 所在地區follower_nums = IntegerField(default=0) # 粉絲數following_nums = IntegerField(default=0) # 關注數if __name__ == "__main__":db.create_tables([Topic, Answer, Author])運行后生成的數據表:
總結
以上是生活随笔為你收集整理的手把手带你入门Python爬虫(五、CSDN论坛之模型设计)的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: linux的i o模型,I/O模型的分类
- 下一篇: Linux基础学习五:软件的相关安装(J