Python TensorFlow，神經網絡案例，驗證碼識别

captcha_input.py（讀取驗證碼圖檔檔案以及目标标簽并儲存到tfrecords檔案中，圖檔與目标标簽要一一對應）：

import tensorflow as tf
import os
os.environ['TF_CPP_MIN_LOG_LEVEL'] = '2'  # 設定警告級别

# 讀取驗證碼圖檔以及目标标簽資料，并存放到tfrecords檔案中(圖檔驗證碼與目标标簽一一對應)

# 自定義指令行參數
FLAGS = tf.app.flags.FLAGS
tf.app.flags.DEFINE_string("tfrecords_dir", "./tfrecords/captcha.tfrecords", "驗證碼tfrecords檔案")
tf.app.flags.DEFINE_string("captcha_dir", "../data/Genpics/", "驗證碼圖檔路徑")
tf.app.flags.DEFINE_string("letter", "ABCDEFGHIJKLMNOPQRSTUVWXYZ", "驗證碼字元的種類")


def dealwithlabel(label_str):
	# [b'NZPP', b'WKHK', b'WPSJ', ...] ---> [[13, 25, 15, 15], [22, 10, 7, 10], [22, 15, 18, 9], ...]
    
    # 建構字元索引 {0：'A', 1:'B'......}
    num_letter = dict(enumerate(list(FLAGS.letter)))

    # 鍵值對反轉 {'A':0, 'B':1......}
    letter_num = dict(zip(num_letter.values(), num_letter.keys()))

    print(letter_num)

    # 建構标簽的清單
    array = []

    # 給标簽資料進行處理  label_str:[b'NZPP', b'WKHK', b'WPSJ', ...]
    for string in label_str:

        letter_list = []  # [13, 25, 15, 15]

        # b'FVQJ'解碼成字元串，并且循環找到每張驗證碼的字元對應的數字标記
        for letter in string.decode('utf-8'):
            letter_list.append(letter_num[letter])

        array.append(letter_list)

    # [[13, 25, 15, 15], [22, 10, 7, 10], [22, 15, 18, 9], [16, 6, 13, 10], [1, 0, 8, 17], [0, 9, 24, 14].....]
    print(array)

    # 将array轉換成tensor類型
    label = tf.constant(array)

    return label


def get_captcha_image():
    """
    擷取驗證碼圖檔資料
    :param file_list: 路徑+檔案名清單
    :return: image
    """
    # 構造檔案名
    filename = []

    for i in range(6000):
        string = str(i) + ".jpg"
        filename.append(string)

    # 構造路徑+檔案
    file_list = [os.path.join(FLAGS.captcha_dir, file) for file in filename]

    # 構造檔案隊列
    file_queue = tf.train.string_input_producer(file_list, shuffle=False)

    # 構造閱讀器
    reader = tf.WholeFileReader()

    # 讀取圖檔資料内容
    key, value = reader.read(file_queue)

    # 解碼圖檔資料
    image = tf.image.decode_jpeg(value)

    image.set_shape([20, 80, 3])  # 圖檔尺寸 20*80*3

    # 批處理資料 [6000, 20, 80, 3]
    image_batch = tf.train.batch([image], batch_size=6000, num_threads=1, capacity=6000)

    return image_batch


def get_captcha_label():
    """
    讀取驗證碼圖檔标簽資料(CSV)
    :return: label
    """
    file_queue = tf.train.string_input_producer(["../data/Genpics/labels.csv"], shuffle=False)

    reader = tf.TextLineReader()

    key, value = reader.read(file_queue)

    records = [[1], ["None"]]

    number, label = tf.decode_csv(value, record_defaults=records)

    # [b'NZPP' b'WKHK' b'WPSJ' ..., b'FVQJ' b'BQYA' b'BCHR']
    label_batch = tf.train.batch([label], batch_size=6000, num_threads=1, capacity=6000)

    return label_batch


def write_to_tfrecords(image_batch, label_batch):
    """
    将圖檔内容和标簽寫入到tfrecords檔案當中
    :param image_batch: 特征值
    :param label_batch: 标簽紙
    :return: None
    """
    # 轉換類型  label_batch：[[13, 25, 15, 15], [22, 10, 7, 10], [22, 15, 18, 9], ...]
    label_batch = tf.cast(label_batch, tf.uint8)

    print(label_batch)

    # 建立TFRecords 存儲器
    writer = tf.python_io.TFRecordWriter(FLAGS.tfrecords_dir)

    # 循環将每一個圖檔上的資料構造example協定塊，序列化後寫入
    for i in range(6000):  # 建構一個有序的檔案名清單。 os.listdir()建構的檔案名清單是無序的。
        # 取出第i個圖檔資料，轉換相應類型,圖檔的特征值要轉換成字元串形式
        image_string = image_batch[i].eval().tostring()

        # 标簽值，轉換成整型
        label_string = label_batch[i].eval().tostring()

        # 構造協定塊
        example = tf.train.Example(features=tf.train.Features(feature={
            "image": tf.train.Feature(bytes_list=tf.train.BytesList(value=[image_string])),
            "label": tf.train.Feature(bytes_list=tf.train.BytesList(value=[label_string]))
        }))

        writer.write(example.SerializeToString())

    # 關閉檔案
    writer.close()

    return None


if __name__ == "__main__":

    # 擷取驗證碼檔案當中的圖檔
    image_batch = get_captcha_image()

    # 擷取驗證碼檔案當中的标簽資料
    labels = get_captcha_label()

    print(image_batch, labels)

    with tf.Session() as sess:

        coord = tf.train.Coordinator()

        threads = tf.train.start_queue_runners(sess=sess, coord=coord)

        # [b'NZPP' b'WKHK' b'WPSJ' ..., b'FVQJ' b'BQYA' b'BCHR']
        label_str = sess.run(labels)

        print(label_str)

        # 處理字元串标簽到數字張量
        label_batch = dealwithlabel(label_str)

        print(label_batch)

        # 将圖檔資料和内容寫入到tfrecords檔案當中
        write_to_tfrecords(image_batch, label_batch)

        coord.request_stop()

        coord.join(threads)

captcha_train.py（神經網絡訓練驗證碼）：

import tensorflow as tf

FLAGS = tf.app.flags.FLAGS

tf.app.flags.DEFINE_string("captcha_dir", "./tfrecords/captcha.tfrecords", "驗證碼資料的路徑")
tf.app.flags.DEFINE_integer("batch_size", 100, "每批次訓練的樣本數")
tf.app.flags.DEFINE_integer("label_num", 4, "每個樣本的目标值數量")  # 驗證碼4位
tf.app.flags.DEFINE_integer("letter_num", 26, "每個目标值取的字母的可能個數")  # 隻有26個大寫字母


# 定義一個初始化權重的函數
def weight_variables(shape):
    w = tf.Variable(tf.random_normal(shape=shape, mean=0.0, stddev=1.0))
    return w


# 定義一個初始化偏置的函數
def bias_variables(shape):
    b = tf.Variable(tf.constant(0.0, shape=shape))
    return b


def read_and_decode():
    """
    從tfrecords檔案中讀取驗證碼資料
    :return: image_batch, label_batch
    """
    # 1、建構檔案隊列
    file_queue = tf.train.string_input_producer([FLAGS.captcha_dir])

    # 2、建構閱讀器，讀取檔案内容，預設一個樣本
    reader = tf.TFRecordReader()

    # 讀取内容
    key, value = reader.read(file_queue)

    # tfrecords格式example,需要解析
    features = tf.parse_single_example(value, features={
        "image": tf.FixedLenFeature([], tf.string),
        "label": tf.FixedLenFeature([], tf.string)
    })

    # 解碼内容，字元串内容
    # 1、先解析圖檔的特征值
    image = tf.decode_raw(features["image"], tf.uint8)
    # 2、再解析圖檔的目标值
    label = tf.decode_raw(features["label"], tf.uint8)

    # print(image, label)

    # 改變形狀
    image_reshape = tf.reshape(image, [20, 80, 3])

    label_reshape = tf.reshape(label, [4])

    print(image_reshape, label_reshape)

    # 進行批處理,每批次讀取的樣本數 100, 也就是每次訓練時候的樣本
    image_batch, label_batch = tf.train.batch([image_reshape, label_reshape], batch_size=FLAGS.batch_size, num_threads=1, capacity=FLAGS.batch_size)

    print(image_batch, label_batch)
    return image_batch, label_batch


def fc_model(image):
    """
    進行預測結果
    :param image: 100張圖檔特征值 [100, 20, 80, 3]
    :return: y_predict預測值 [100, 4 * 26]
    """
    with tf.variable_scope("model"):
        # 将圖檔資料形狀轉換成二維的形狀
        image_reshape = tf.reshape(image, [-1, 20 * 80 * 3])

        # 1、随機初始化權重偏置
        # matrix[100, 20 * 80 * 3] * [20 * 80 * 3, 4 * 26] + [104] = [100, 4 * 26]
        weights = weight_variables([20 * 80 * 3, 4 * 26])
        bias = bias_variables([4 * 26])

        # 進行全連接配接層計算 [100, 4 * 26]
        y_predict = tf.matmul(tf.cast(image_reshape, tf.float32), weights) + bias

    return y_predict


def predict_to_onehot(label):
    """
    将讀取檔案當中的目标值轉換成one-hot編碼
    :param label:  [[13, 25, 15, 15], [19, 23, 20, 16]......]
    :return: one-hot   [-1, 4, 26]
    """
    # 進行one_hot編碼轉換，提供給交叉熵損失計算，準确率計算[100, 4, 26]
    label_onehot = tf.one_hot(label, depth=FLAGS.letter_num, on_value=1.0, axis=2)

    print(label_onehot)

    return label_onehot


def captcharec():
    """
    驗證碼識别程式
    :return:
    """
    # 1、讀取驗證碼的資料檔案 label_batch [100 ,4]
    image_batch, label_batch = read_and_decode()

    # 2、通過輸入圖檔特征資料，建立模型，得出預測結果
    # 一層，全連接配接神經網絡進行預測
    # matrix [100, 20 * 80 * 3] * [20 * 80 * 3, 4 * 26] + [104] = [100, 4 * 26]
    y_predict = fc_model(image_batch)

    #  [100, 4 * 26]
    print(y_predict)

    # 3、把真實目标值轉換成one-hot編碼  [100 ,4] --> [100, 4, 26]
    y_true = predict_to_onehot(label_batch)

    # 4、softmax計算, 交叉熵損失計算
    with tf.variable_scope("soft_cross"):
        # 求平均交叉熵損失 ,y_true [100, 4, 26]--->[100, 4*26]
        loss = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(
            labels=tf.reshape(y_true, [FLAGS.batch_size, 4 * 26]),
            logits=y_predict))

    # 5、梯度下降優化損失
    with tf.variable_scope("optimizer"):
        train_op = tf.train.GradientDescentOptimizer(0.01).minimize(loss)

    # 6、求出樣本的每批次預測的準确率是多少 三維比較
    with tf.variable_scope("acc"):

        # 比較每個預測值和目标值是否下标位置一樣(每個樣本有4個位置，位置下标的清單)  y_predict [100, 4 * 26]---->[100, 4, 26]
        equal_list = tf.equal(tf.argmax(y_true, 2), tf.argmax(tf.reshape(y_predict, [FLAGS.batch_size, 4, 26]), 2))

        # equal_list  100個樣本   [1, 0, 1, 0, 1, 1,..........]
        accuracy = tf.reduce_mean(tf.cast(equal_list, tf.float32))

    # 定義一個初始化變量的op
    init_op = tf.global_variables_initializer()

    # 開啟會話訓練
    with tf.Session() as sess:
        sess.run(init_op)

        # 定義線程協調器和開啟線程（有資料在檔案當中讀取提供給模型）
        coord = tf.train.Coordinator()

        # 開啟線程去運作讀取檔案操作
        threads = tf.train.start_queue_runners(sess, coord=coord)

        # 訓練識别程式
        for i in range(5000):

            sess.run(train_op)

            print("第%d批次的準确率為：%f" % (i, accuracy.eval()))

        # 回收線程
        coord.request_stop()

        coord.join(threads)

    return None


if __name__ == "__main__":
    captcharec()

Python TensorFlow，神經網絡案例，驗證碼識别

繼續閱讀

XGBoost Plotting API以及GBDT組合特征實踐 XGBoost Plotting API以及GBDT組合特征實踐

解碼器用于語義分割：資料依賴的解碼可以實作靈活的特征聚合

YAML簡介和PyYAML安全操作YAML支援的類型YAML的優點：yaml的基本文法python操作

2021-2025年中國運動療法（KT）帶行業市場供需與戰略研究報告

Small tricks

libsvm for python 安裝

學習軟體測試基礎測試第七天

Zeppelin 配置通路 REST APIApache Zeppelin Configuration REST API

【Torch】最簡潔logging使用指南

27. Remove Element(清單)題目代碼

Cloud Studio初體驗

使用 ctypes 進行 Python 和 C 的混合程式設計

【python】【資料處理】畫多元資料分布圖

【python】netconf協定對接管理裝置

「Python 網絡自動化」NETCONF —— Python 使用 NETCONF 管理配置 H3C 網絡裝置

在python中建立excel并寫入