字符级CNN分类模型的实现

最新推荐文章于 2026-03-15 00:30:33 发布
原创 最新推荐文章于 2026-03-15 00:30:33 发布 · 730 阅读 · 2 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
该博客介绍了如何实现字符级CNN分类模型，基于论文1509.01626，包括模型结构、数据集处理、配置、训练和测试过程。作者分享了项目的GitHub链接，提供了一个包含6个卷积层和3个全连接层的网络结构，并展示了训练和测试的结果，准确率达到0.8789。

上次发了一条字符级分类模型的推文，

这两天在家里就是对字符级CNN分类论文进行了代码实现：1509.01626 Character-level Convolutional Networks for Text Classification

项目代码见：https://github.com/howie6879/charcnntext_classification

项目环境：

  • Python3.6

  • Anaconda+Pipenv管理

使用

# 下载代码	
git clone https://github.com/howie6879/char_cnn_text_classification.git	
# 利用anaconda建立Python3.6环境 	
conda create -n python36 python=3.6	
# 进入项目 	
cd char_cnn_text_classification	
# --python 后面的路径是上面conda创建的路径地址	
pipenv install --python  ~/anaconda3/envs/python36/bin/python3.6	
# 如果出错 否则跳过这段	
pipenv run pip install pip==18.0	
# 安装依赖 具体以来可查看Pipenv文件	
pipenv install	
# 进入代码目录	
cd char_cnn_text_classification

模型

模型结构和论文中介绍的一样：

640?wx_fmt=jpeg

论文中设计了 large和 small两种卷积网络，分别对应不同大小的数据集，且都由6个卷积层和3个全连接层共9层神经网络组成

对于英文数据，如果数据集不大，可以考虑使用包含大小写的字母表

数据集

agnewscsv：新闻数据

对于英文数据，包含在[ag_news_csv]文件夹里面，信息如下：

  • 训练集：120000

  • 测试集：7600

  • 类别：4

数据集处理类[DataUtils]，这里以训练集 shape为例：

  • Input实例：(120000, 1014)

  • Label：(120000, 4)

配置

关于配置，请参考[Config]类：

# 字母表	
alphabet = "abcdefghijklmnopqrstuvwxyz0123456789-,;.!?:'\"/\\|_@#$%^&*~`+-=<>()[]{}"	
alphabet_size = len(alphabet)	
# 输入大小，即论文中的l0	
input_size = 1014	
# 训练集类别	
num_of_classes = 4	
batch_size = 128	
epochs = 1000	
checkpoint_every = 100	
evaluate_every = 100	
# 激活函数的 threshold 值	
threshold = 1e-6	
# 防止过拟合 dropout保留比例	
dropout_p = 0.5	
# 损失函数	
loss = 'categorical_crossentropy'	
# 优化器 rmsprop adam	
optimizer = 'adam'
训练

配置好环境之后，可以直接进行训练：

python run_model.py

可以在测试集分出20000条作为验证集进行训练

Data loaded from datasets/ag_news_csv/train.csv	
CharCNN model built success:	
......	
Training Started ===>	
Train on 100000 samples, validate on 20000 samples	
Epoch 1/10	
......	
100000/100000 [==============================] - 4338s 43ms/step - loss: 0.9999 - acc: 0.5329 - val_loss: 0.6755 - val_acc: 0.7290	
Epoch 2/10	
......	
100000/100000 [==============================] - 4265s 43ms/step - loss: 0.5044 - acc: 0.8204 - val_loss: 0.4582 - val_acc: 0.8405	
Epoch 3/10	
......	
100000/100000 [==============================] - 4268s 43ms/step - loss: 0.3593 - acc: 0.8799 - val_loss: 0.4177 - val_acc: 0.8522	
......

迭代了三轮，就达到了论文中所说的效果 0.8522

准确率和误差图示：

640?wx_fmt=jpeg640?wx_fmt=jpeg

可以看到，迭代6、7轮后的结果挺不错，也可以利用 Tensorboard进行可视化：

tensorboard --logdir=char_cnn_text_classification/logs
测试
char_cnn_model.model.evaluate(test_inputs, test_labels, batch_size=Config.batch_size, verbose=1)

可以得到结果输出：

128/7600  [..............................] - ETA: 1:51	
......	
7600/7600 [==============================] - 110s 15ms/step	
[0.41680785787732977, 0.8789473684210526]

其中：

  • loss: 0.41

  • acc: 0.8789

说明

感谢论文作者 XiangZhang,JunboZhao,YannLeCun，以及下面这些开源项目：

  • GitHub - mhjabreel/CharCNN

  • GitHub - mhjabreel/CharCnn_Keras: The implementation of text classification using character level convoultion neural networks using Keras

模型源码请点击阅读原文

往期推荐：

基于字符的cnn：基于字符的卷积神经网络的实现
02-03
基于字符的CNN 此存储库包含用于文本分类的字符级卷积神经网络的PyTorch实现。 该模型的体系结构来自本文： : 有两种变体：大型和小型。 您可以通过更改配置文件在两者之间切换。 该架构具有6个卷积层： 层 大型功能 小功能 核心 泳池 1个 1024 256 7 3 2 1024 256 7 3 3 1024 256 3 不适用 4 1024 256 3 不适用 5 1024 256 3 不适用 6 1024 256 3 3 和2个完全连接的层： 层 输出单位大 输出单位小 7 2048 1024 8 2048
CharCnn_Keras:使用基于Keras的字符级卷积神经网络实现文本分类
05-03
Keras中的字符级CNN 该存储库包含用于字符级卷积神经网络的Keras实现，用于AG新闻主题分类数据集上的文本分类。 已实现以下模型： 张翔，赵俊波，严乐村。 。 NIPS 2015 Yoon Kim，Yacine Jernite，David Sontag，Alexander M.Rush。 。 AAAI 2016 白少杰，齐科·科特尔（J. Zico Kolter），弗拉德·科特（Vladlen Koltun）。 。 ArXiv预印本（2018） Kim的CharCNN最初是经过端到端训练的语言建模管道的一部分，但已被改编为文本分类。 用法 安装依赖项（Tensorflow 1.3和Keras 2.1.3）： $ pip install -r requirements.txt 在config.json文件中指定训练和测试数据源以及模型超参数。 运行main.py文件，
字符级的CNN文本分类器
KionWong的Python历程
01-29 2356
本篇博客是基于“Character-level Convolutional Networks for Text Classification”论文的模型创作的，同时也参考了同模型其他人的代码，经过个人的一些修改，希望能够更python，如果有不足的地方欢迎指点。（由于显示问题，个别代码的缩进可能会异常） 首先，为了方便统一管理参数，本人把目录路径、文件路径、提示信息、全局变量、超参放在一个xml
第一阶段：文本分类经典模型综述之CNN篇
青柠space
05-05 2050
随着互联网技术的快速发展与智能终端的不断普及，网购、网聊、网课、远程办公已是人们生活的新常态、新模式，由此产生了大量的短文本数据。如何从这些文本数据中挖掘有价值的信息？例如，在许多短信、邮件等文本数据中需要剔除垃圾信息，把有价值的短信或邮件自动臻别出来；在众多的评论性文本数据中需要对文本的情感特征进行分析，把有价值的评论自动挖掘出来；在海量的社交网络用户文本数据中需要监测谣言与舆情，把有价值的特征用户自动分析出来等等。
字符级卷积神经网络（Char-CNN）实现文本分类--模型介绍与TensorFlow实现
热门推荐
呜呜哈的博客
04-29 4万+
本篇博客主要用于记录“Character-level Convolutional Networks for Text Classification”论文的模型架构和仿真实现方法。这是一篇2016年4月份刚发的文章，在此之前，原作者还发表过一篇“Text Understanding from Scratch”的论文，两篇论文基本上是一样的，不同之处在于后者从写了Introduction部分，然后又补充
CharCNN论文笔记
qq_42791848的博客
01-10 801
CharCNN 之前看了TextCNN，也就是基于词级别的CNN，卷积的时候是对多个词向量（window size）进行卷积。Character-level Convolutional Networks for Text Classification 这篇文章从一个新的视角来看待文本数据，那就是字符（character），本文通过实现字符级别的卷积神经网络来做文本分类任务，与传统文本分类方法和深度神经网络如CNN、RNN相比，在多个数据集上取得了不错的效果。 Background CharCNN主要针对的还
Char-CNN模型学习及实现
潘多拉星系的专栏
10-23 3682
文章目录一、Char-CNN模型结构1，字符编码2，模型卷积-池化层二、使用同义词扩充数据集三、该模型的结论四、基于tensorflow的实现1、数据集及数据处理2、模型构建3、训练和测试参考资料   今天学习了发表在NIPS2015的论文：Character-level Convolutional Networks for Text Classification基于CNN的字符级文本分类。现将模...
python cnn模型_字符级CNN分类模型的实现
weixin_39952937的博客
12-11 674
项目环境：Python3.6Anaconda+Pipenv管理使用# 下载代码git clone https://github.com/howie6879/char_cnn_text_classification.git# 利用anaconda建立Python3.6环境conda create -n python36 python=3.6# 进入项目cd char_cnn_text_classif...
基于PyTorch的字符级卷积神经网络文本分类项目教程
gitblog_00012的博客
09-24 341
基于PyTorch的字符级卷积神经网络文本分类项目教程 1. 项目介绍 本项目是基于PyTorch实现的**字符级卷积神经网络（Char-CNN）**用于文本分类的实现。该项目是根据Zhang等人在2015年提出的论文《Character-level Convolutional Networks for Text Classification》进行实现的，并在此基础上进行了一些改进。 主要特点： ...
pytorch-captcha-recognition核心原理：揭秘CNN模型如何实现字符级多标签分类
gitblog_00145的博客
03-15 693
pytorch-captcha-recognition是一套基于CNN（卷积神经网络）训练的端到端验证码识别模型，通过深度学习技术结合大量训练数据，实现了纯数字99.99%、数字+字母96%的识别精度。本文将深入解析其核心技术原理，帮助新手理解CNN如何解决字符级多标签分类问题。 ## 🧩 验证码识别的技术挑战 验证码识别本质是**多标签分类问题**：每张验证码图片通常包含4-6个字符（数字
【亲测免费】 探索字符级卷积神经网络：Character-Based CNN
gitblog_00045的博客
05-25 482
探索字符级卷积神经网络：Character-Based CNN 在自然语言处理的世界里，创新从未止步。今天，我们要向您介绍一个令人兴奋的开源项目——Character-Based CNN，这是一个基于PyTorch实现的字符级卷积神经网络，专门用于文本分类任务。 项目简介 该项目由Ahmed Besbes开发，灵感来源于论文 "Character-level Convolutional ...
如何构建一个简单的CNN模型？CNN简明指南
njhhuuuby的博客
06-21 3082
构建一个简单的卷积神经网络（CNN）模型并不复杂。下面是一个简明指南，帮助你快速构建一个基本的CNN模型，并进行图像分类任务。数据集准备：收集并准备一个带有标签的图像数据集，确保数据集包含训练集和测试集。导入所需库：使用Python导入深度学习库（如TensorFlow或PyTorch）以及其他必要的数据处理和模型构建库。定义模型结构：选择适当的模型结构，一个简单的CNN模型通常包含卷积层、激活函数、池化层和全连接层。
CNN字符级中文文本分类-基于TensorFlow实现
一蓑烟雨
08-30 2万+
本章旨在使用TensorFlow API实现卷积神经网络文本分类。 代码地址：Github转载请注明出处：Gaussic - 写干净的代码基于CNN的文本分类问题已经有了一定的研究成果，CNN做句子分类的论文可以参看: Convolutional Neural Networks for Sentence Classification。以及字符级CNN的论文：Character-level Convo
基于字符的卷积神经网络实现文本分类（char-level CNN）-论文详解及tensorflow实现
Irving_zhang的专栏
07-21 2万+
卷积神经网络从ImageNet做起，后来自然语言处理领域开始觉察到CNN对于文本处理可能会有用，因此也开始自觉使用CNN。专栏前三篇文章讲了文本相似度方向的论文，本文实现论文为Text Understanding from Scratch和Character-level Convolutional Networks for Text Classification 这两篇文章作者都是纽约大学Yann
基于Tensorflow实现cnn字符级中文分类
weixin_43346864的博客
07-15 524
代码地址：https://github.com/gaussic/text-classification-cnn-rnn 数据集 采用了清华NLP组提供的THUCNew新闻文本分类数据集的一个子集。数据集可在此链接http://thuctc.thunlp.org/下载。 本次训练有十个分类，每个分类6500条，总共65000条新闻数据。 具体类别如下 体育、财经、房产、家具、教育、科技、时政、游戏、...
中文短文本分类实例四-charCNN-zhang（Character-level Convolutional Networks for Text Classification）
大漠帝国的博客
08-15 1536
一.概述 charCNN by XiangZhang，2015，得到了state-of-the-art 在当时。论文地址:Character-level Convolutional Networks for Text Classification 该方案的突出特点在于 1. 使用char作为最基本的粒子而不是大火的word，...
【NLP】TensorFlow实现CNN用于中文文本分类
widiot的博客
02-04 8811
代码基于 dennybritz/cnn-text-classification-tf 及 clayandgithub/zh_cnn_text_classify 参考文章 了解用于NLP的卷积神经网络（译） 及 TensorFlow实现CNN用于文本分类（译） 本文完整代码 - Widiot/cnn-zh-text-classification 项目结构 以下是完整的...
CharTextCNN：使用字符级别的卷积神经网络来做文本分类任务
qq_40316280的博客
10-19 2093
文章目录文章目录论文《**Character-level Convolutional Networks for Text Classification**》论文总览学习目标第一课：论文导读卷积神经网络的发展论文背景研究成果及意义研究成果研究意义第二课:论文精读摘要CharTextCNN模型卷积神经网络公式CharTextCNN Model实验结果分析论文总结代码实现 文章目录 论文《Character-level Convolutional Networks for Text Classification》
【双层鲸鱼算法求解】基于非合作博弈的居民负荷分层调度模型（Matlab代码实现）
最新发布
06-29
内容概要：本文提出了一种基于非合作博弈理论的居民负荷分层调度模型，并结合双层鲸鱼优化算法（Two-level Whale Optimization Algorithm）进行高效求解，模型与算法均通过Matlab代码实现。研究针对电力系统中居民侧用电负荷的复杂调度问题，引入非合作博弈机制刻画各用户之间的利益竞争关系，实现负荷的分层优化分配；同时设计双层优化架构，上层优化资源配置，下层模拟用户自主决策行为，提升了模型的实用性与合理性。通过智能优化算法求解多层级、非凸非线性的博弈模型，有效提高了调度方案的收敛性与全局寻优能力，适用于现代智能电网中的需求侧管理与能源优化场景。; 适合人群：具备电力系统基础理论知识和Matlab编程能力，从事智能电网、能源优化调度、需求侧管理、博弈论应用等方向的科研人员、高校研究生及工程技术人员。; 使用场景及目标：①应用于居民区电力负荷的分层优化调度系统设计与仿真分析；②为非合作博弈在多主体能源系统建模中的应用提供方法论支持；③利用双层鲸鱼算法解决具有嵌套结构的复杂双层优化问题，提升求解效率与调度方案的可行性。; 阅读建议：建议读者结合提供的Matlab代码深入理解模型构建逻辑与算法实现流程，重点关注博弈模型的效用函数设计、纳什均衡求解思路以及双层优化结构的迭代机制，宜配合实际用电数据开展复现实验以验证模型有效性与鲁棒性。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值