卷積神經網絡&&爬蟲實現網易新聞自動爬取并分類

項目地址

采用THUCnews全部數據集進行訓練，效果如下。 詳細實現見./text_classification

部署步驟如下：

---

運行環境

服務器：Ubuntu 16.04
數據庫：Mysql 5.6
python：Anaconda 5.1
Tensorflow-CPU：1.7
額外的包：參考requirements.txt,有則忽略,無則安裝。

certifi==2018.1.18 chardet==3.0.4 Django==2.0.4 docopt==0.6.2 idna==2.6 mysql-connector==2.1.6 pipreqs==0.4.9 pytz==2018.4 requests==2.18.4 SQLAlchemy==1.2.6 urllib3==1.22 yarg==0.1.9

---

首先安裝mysql到數據庫，執行text_classification.sql創建數據庫。更改數據庫配置./text_classification/connect_mysql.py

服務器安裝Anaconda(清華大學鏡像站自行下載安裝),安裝TensorFlow-CPU版

將本項目部署至/home/www目錄下

安裝其他依賴包

pip install -r requirements.txt 服務器部署Django環境(apache2.4)
參考：https://code.ziqiangxuetang.com/django/django-deploy.html 關于本項目部署中的Django配置請看以下操作
安裝 apache2 和 mod_wsgi
sudo apt-get install apache2
sudo apt-get install libapache2-mod-wsgi-py3
新建網站配置文件
vim /etc/apache2/sites-available/text_classification.conf
輸入以下內容 <VirtualHost classify.i-ll.cc:80>ServerName classify.i-ll.ccServerAlias classify.i-ll.ccServerAdmin dandanv5@hotmail.comAlias /static /home/www/text_classification/static<Directory /home/www/text_classification>Require all granted</Directory>WSGIScriptAlias / /home/www/text_classification/myweb/wsgi.py<Directory /home/www/text_classification/myweb><Files wsgi.py>Require all granted</Files></Directory> </VirtualHost>

激活新網站

sudo a2ensite sitename.conf
7. 啟動項目
cd /home/www/text_classification/text_classification && sh startproject.sh
項目運行日志在./log下

最后本項目使用的THUCNews中文新聞數據集,可以去官網下載。我對數據集進行了整合處理,下載地址見./text_classification/data/cnews/README.md
關于本項目中模型和爬蟲部分,詳見./text_classification/README.md

代碼有問題請直接提issues。

部署有疑問請直接聯系：

QQ：447600334
Email：dandanv5@hotmail.com

參考：CNN字符級中文文本分類-基于TensorFlow實現

轉載于:https://www.cnblogs.com/Chizhao/p/10439733.html

創作挑戰賽新人創作獎勵來咯，堅持創作打卡瓜分現金大獎

總結

以上是生活随笔為你收集整理的卷积神经网络爬虫实现新闻在线分类系统的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。