基于CNN-LSTM的手写数字识别与应用实现（附tensorflow代码讲解）

一时失言乱红尘 2022-10-07 15:50 260阅读 0赞

# 摘要 #

CNN卷积神经网络是图像识别和分类等领域常用的模型方法。由于CNN模型训练效果与实际测试之间存在较大的差距，为提高自由手写数字的识别率，尝试使用TensorFlow搭构CNN-LSTM网络模型，在完成MNIST数据集训练的基础上，基于python的flask框架实现对自由手写数字的识别，并展示线性回归模型、CNN模型及CNN-LSTM模型在手写数字上的识别结果。

# CNN-LSTM模型代码实现 #

CNN-LSTM的tensorflow版本实现：

def cnn_lstm(x):
        # 以正太分布初始化weight
        def weight_variable(shape):
            initial = tf.truncated_normal(shape, stddev=0.1)
            return tf.Variable(initial)
        # 以0.1这个常量来初始化bias
        def bias_variable(shape):
            initial = tf.constant(0.1, shape=shape)
            return tf.Variable(initial)
        def conv2d(x, W):
            return tf.nn.conv2d(x, W, strides=[1, 1, 1, 1], padding='SAME')
        # 池化
        def max_pool_2x2(x):
            return tf.nn.max_pool(x, ksize=[1, 2, 2, 1],strides=[1, 2, 2, 1], padding='SAME')
        with tf.variable_scope('input'):
            x = tf.reshape(x, [-1, 28, 28, 1])
        with tf.variable_scope('conv_pool_1'):
            W_conv1 = weight_variable([5, 5, 1, 32])
            b_conv1 = bias_variable([32])
            h_conv1 = tf.nn.relu(conv2d(x, W_conv1) + b_conv1)
            h_pool1 = max_pool_2x2(h_conv1)
        with tf.variable_scope('conv_pool_2'):
            W_conv2 = weight_variable([5, 5, 32, 64])
            b_conv2 = bias_variable([64])
            h_conv2 = tf.nn.relu(conv2d(h_pool1, W_conv2) + b_conv2)
            h_pool2 = max_pool_2x2(h_conv2)
        X_in = tf.reshape(h_pool2, [-1, 49, 64])
        X_in = tf.transpose(X_in, [0, 2, 1])
        with tf.variable_scope('lstm'):
            lstm_cell = tf.contrib.rnn.BasicLSTMCell(
                128, forget_bias=1.0, state_is_tuple=True)
            outputs, states = tf.nn.dynamic_rnn(
                lstm_cell, X_in, time_major=False, dtype=tf.float32)
            W_lstm = weight_variable([128, 10])
            b_lstm = bias_variable([10])
            outputs = tf.unstack(tf.transpose(outputs, [1, 0, 2]))
            y = tf.nn.softmax(tf.matmul(outputs[-1], W_lstm) + b_lstm)
        train_vars = tf.trainable_variables()
        return y, train_vars

上面已经定义好了CNN-LSTM整个完整的模型，下面我们将在另一个.py文件下调用他。

from model import cnn_lstm

接着开始调用（下载）MNIST数据集，其中one\_hot=True，该参数的功能主要是将图片向量转换成one\_hot类型的张量输出。

data = input_data.read_data_sets('MNIST_data', one_hot=True)

在调用CNN-LSTM模型后，需要在训练模型的这个.py文件定义模型，其中x = tf.placeholder为输入变量占位符，在训练前就要指定。

with tf.variable_scope('cnn_lstm'):
        x = tf.placeholder(tf.float32, [None, 784], name='x')
        y, variables = cnn_lstm(x)

接着为了训练模型，需要首先进行添加一个新的占位符用于输入正确值，接着定义交叉熵损失函数、学习速率等。

y_ = tf.placeholder('float', [None, 10])
    cross_entropy = tf.reduce_mean(
        tf.nn.softmax_cross_entropy_with_logits(logits=y, labels=y_))
    train_step = tf.train.AdamOptimizer(1e-4).minimize(cross_entropy)
    correct_pred = tf.equal(tf.argmax(y, 1), tf.argmax(y_, 1))
    accuracy = tf.reduce_mean(tf.cast(correct_pred, tf.float32))

开始训练模型之前，在Session里面启动模型，其中accuracy.eval(feed\_dict=\{x: batch\[0\], y\_: batch\[1\]\})计算所学习到的模型的正确率。

#saver = tf.train.Saver(variables)
    with tf.Session() as sess:
        merged_summary_op = tf.summary.merge_all()
        summary_write = tf.summary.FileWriter('tmp/mnist_log/1', sess.graph)
        summary_write.add_graph(sess.graph)
        sess.run(tf.global_variables_initializer())
        for i in range(20000):
            batch = data.train.next_batch(50)
            if i % 100 == 0:
                train_accuracy = accuracy.eval(feed_dict={x: batch[0], y_: batch[1]})
                print("Step %d, training accuracy %g" % (i, train_accuracy))
            sess.run(train_step, feed_dict={x: batch[0], y_: batch[1]})
        result = []
        for i in range(2000):
            batch = data.test.next_batch(50)
            result.append(sess.run(accuracy, feed_dict={x: batch[0], y_: batch[1]}))
        print(sum(result)/len(result))

训练代码完整如下：

data = input_data.read_data_sets('MNIST_data', one_hot=True)
    # 定义模型
    with tf.variable_scope('cnn_lstm'):
        x = tf.placeholder(tf.float32, [None, 784], name='x')
        y, variables = cnn_lstm(x)
    # 训练
    y_ = tf.placeholder('float', [None, 10])
    cross_entropy = tf.reduce_mean(
        tf.nn.softmax_cross_entropy_with_logits(logits=y, labels=y_))
    train_step = tf.train.AdamOptimizer(1e-4).minimize(cross_entropy)
    correct_pred = tf.equal(tf.argmax(y, 1), tf.argmax(y_, 1))
    accuracy = tf.reduce_mean(tf.cast(correct_pred, tf.float32))
    saver = tf.train.Saver(variables)
    with tf.Session() as sess:
        merged_summary_op = tf.summary.merge_all()
        summary_write = tf.summary.FileWriter('tmp/mnist_log/1', sess.graph)
        summary_write.add_graph(sess.graph)
        sess.run(tf.global_variables_initializer())
        for i in range(20000):
            batch = data.train.next_batch(50)
            if i % 100 == 0:
                train_accuracy = accuracy.eval(feed_dict={x: batch[0], y_: batch[1]})
                print("Step %d, training accuracy %g" % (i, train_accuracy))
            sess.run(train_step, feed_dict={x: batch[0], y_: batch[1]})
        result = []
        for i in range(2000):
            batch = data.test.next_batch(50)
            result.append(sess.run(accuracy, feed_dict={x: batch[0], y_: batch[1]}))
        print(sum(result)/len(result))

训练结束后，将CNN-LSTM模型的训练参数进行保存，其实现代码如下：

path = saver.save(sess,os.path.join(os.path.dirname(__file__), 'data', 'cnn_lstm.ckpt'),  write_meta_graph=False,write_state=False )

# 手写数字应用实现 #

在信息化飞速发展的时代，光学字符识别是一个重要的信息录入与信息转化的手段。其中，手写体数字的识别有着非常广泛的应用(如:邮政编码,统计报表,财务报表,银行票据等等)。因此,手写数字的识别研究有着重大的现实意义，一旦研究成功并投入应用，将产生巨大的社会和经济效益。本部分在训练完十个阿拉伯数字的模型参数后，将手写数字识别的TF模型部署到Web中，前端负责获取用户在页面上手写数字图像并预处理，再向服务器发出AJAX请求，请求内容为待识别的图像。服务器端程序生成TF会话并加载训练好的模型，调用相应的视图函数将请求数据送入TF会话中计算，最后将识别结果异步回传到前端。其实现界面如下：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDY1MTUxNQ_size_16_color_FFFFFF_t_70][]

左边的绘制画布是一个用canvas标签实现的320×320像素的画布。使用canvas对象的getContext()方法可得到一个绘图环境，该环境提供了在画布上绘图的方法和属性。绘制画布绑定鼠标事件的监听器，当用户按下并拖动鼠标时，可将鼠标移动的路径(经过的像素点)呈现到绘制画布上，这样用户可在绘制画布上使用鼠标书写数字。手写数字图像存储为uint8类型的像素矩阵，每一个位置的像素点包括R、G、B、A四个通道值。输入处理框为输入图像为尺寸为320×320像素原始手写数字图像应在前端完成尺寸调整和灰度化等预处理，再发送给服务器，以便减少向服务器传输的图像数据量。右边模型输出结果为三个模型预测输出的结果。

其实现输出的结果如下：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDY1MTUxNQ_size_16_color_FFFFFF_t_70 1][]

# 结论 #

节省人力,物力,财力,以提高数字信息的处理效率，应用新型计算机技术进行自动识别数字成为了一个热门研究方向。本文针对基于TensorFlow深度学习框架完成手写体数字的识别方法的研究与实现，首先建立了基于TensorFlow深度学习框架的CNN-LSTM模型结构,针对手写体数据集MNIST的训练数据集进行训练之后，基于flask框架实现了一款手写数字识别Web应用程序，为TF模型在Web中部署和开发应用提供参考。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDY1MTUxNQ_size_16_color_FFFFFF_t_70]: /images/20221005/6cf3c864bf044167b1bc692856055e50.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDY1MTUxNQ_size_16_color_FFFFFF_t_70 1]: /images/20221005/3dbaf1dc09dd462380acb8a616d82689.png