挑战杯 基于机器视觉的银行卡识别系统 - opencv python
1 前言
🔥 优质���赛项目系列，今天要分享的是
基于深度学习的银行卡识别算法设计
该项目较为新颖，适合作为竞赛课题方向，学长非常推荐！
🧿 更多资料, 项目分享：
https://gitee.com/dancheng-senior/postgraduate
2 算法设计流程
银行卡卡号识别技术原理是先对银行卡图像定位，保障获取图像绝对位置后，对图像进行字符分割，然后将分割完成的信息与模型进行比较，从而匹配出与其最相似的数字。主要流程图如图
1.银行卡号图像
由于银行卡卡号信息涉及个人隐私，作者很难在短时间内获取大量的银行卡进行测试和试验，本文即采用作者个人及模拟银行卡进行卡号识别测试。
2.图像预处理
图像预处理是在获取图像后必须优先进行的技术性处理工作，先对银行卡卡号图像进行色彩处理，具体做法与流程是先将图像灰度化，去掉图像识别上无用的信息，然后利用归一化只保留有效的卡号信息区域。
3.字符分割
字符分割是在对图像进行预处理后，在获取有效图像后对有效区域进行进一步细化处理，将图像分割为最小识别字符单元。
4.字符识别
字符识别是在对银行卡卡号进行字符分割后，利用图像识别技术来对字符进行分析和匹配，本文作者利用的模板匹配方法。
2.1 颜色空间转换
由于银行卡卡号识别与颜色无关，所以银行卡颜色是一个无用因素，我们在图像预处理环节要先将其过滤掉。另外，图像处理中还含有颜色信息，不仅会造成空间浪费，增加运算量，降低系统的整体效率，还会给以后的图像分析和处理带来干扰。因此，有必要利用灰度处理来滤除颜色信息。
灰度处理的实质是将颜色信息转化为亮度信息，即将原始的三维颜色信息还原为一维亮度信息。灰度化的思想是用灰度值g来表示原始彩色图像的R（绿色）、g（红色）和B（蓝色）分量的值，具体的流程设计如图
2.2 边缘切割
对于采集到的银行卡号图像，由于背景图案的多样性和卡号字体的不同，无法直接对卡号图像进行分割。分割前要准确定位卡号，才能得到有效区域。数字字符所在的区域有许多像素。根据该特征，通过设置阈值来确定原始图像中卡号图像的区域。银行卡图像的切边处理设计如图
2.3 模板匹配
模板匹配是一种将需要识别的字符与已有固定模板进行匹配的算法技术，该技术是将已经切割好的字符图像逐个与模板数字图像进行对比分析，其原理就是通过数字相似度来衡量两个字符元素，将目标字符元素逐个与模板数字图像进行匹配，找到最接近的数字元素即可。匹配计算量随特征级别的增加而减少。根据第一步得到的特征，选择第二种相关计算方法来解决图像匹配问题。银行卡模板匹配流程设计如图
2.4 卡号识别
银行卡卡号识别有其独有的特性，因为目前市面上大多数银行卡卡号是凹凸不平的数字形式，如果使用传统的计算机字符识别技术已显然不适用，本文针对银行卡此类特点，研究了解决此类问题的识别方案。从银行卡待识别的凸凹字符进行预处理，然后根据滑块算法逐个窗口对银行卡字符进行匹配识别，卡号识别一般从切割后的图像最左端开始，设定截图选定框大小为64*48像素，因为银行卡所需要识别的字符一般为45像素左右。故而以此方式循环对卡片上所有数字进行匹配、识别，如果最小值大于设置的阈值，我们将认为这里没有字符，这是一个空白区域，并且不输出字符。同时，窗口位置J向下滑动，输出f'vgg16': ('vgg16_faster_rcnn_iter_70000.ckpt',), 'res101': ('res101_faster_rcnn_iter_110000.ckpt',)} DATASETS = {'pascal_voc': ('voc_2007_trainval',), 'pascal_voc_0712': ('voc_2007_trainval+voc_2012_trainval',)} def vis_detections(im, class_name, dets, thresh=0.5): """Draw detected bounding boxes.""" inds = np.where(dets[:, -1] = thresh)[0] if len(inds) == 0: return im = im[:, :, (2, 1, 0)] fig, ax = plt.subplots(figsize=(12, 12)) ax.imshow(im, aspect='equal') sco=[] for i in inds: score = dets[i, -1] sco.append(score) maxscore=max(sco) # print(maxscore)成绩最大值 for i in inds: # print(i) score = dets[i, -1] if score==maxscore: bbox = dets[i, :4] # print(bbox)#目标框的4个坐标 img = cv2.imread("data/demo/"+filename) # img = cv2.imread('data/demo/000002.jpg') sp=img.shape width = sp[1] if bbox[0]20 and bbox[2]+20 'image' : tf.FixedLenFeature([], tf.string), 'label0': tf.FixedLenFeature([], tf.int64), }) # 获取图片数据 image = tf.decode_raw(features['image'], tf.uint8) # 没有经过预处理的灰度图 image_raw = tf.reshape(image, [224, 224]) # tf.train.shuffle_batch必须确定shape image = tf.reshape(image, [224, 224]) # 图片预处理 image = tf.cast(image, tf.float32) / 255.0 image = tf.subtract(image, 0.5) image = tf.multiply(image, 2.0) # 获取label label0 = tf.cast(features['label0'], tf.int32) return image, image_raw, label0 # 获取图片数据和标签 image, image_raw, label0 = read_and_decode(TFRECORD_FILE) # 使用shuffle_batch可以随机打乱 image_batch, image_raw_batch, label_batch0 = tf.train.shuffle_batch( [image, image_raw, label0], batch_size=BATCH_SIZE, capacity=50000, min_after_dequeue=10000, num_threads=1) # 定义网络结构 train_network_fn = nets_factory.get_network_fn( 'alexnet_v2', num_classes=CHAR_SET_LEN * 1, weight_decay=0.0005, is_training=False) with tf.Session() as sess: # inputs: a tensor of size [batch_size, height, width, channels] X = tf.reshape(x, [BATCH_SIZE, 224, 224, 1]) # 数据输入网络得到输出值 logits, end_points = train_network_fn(X) # 预测值 logits0 = tf.slice(logits, [0, 0], [-1, 10]) predict0 = tf.argmax(logits0, 1) # 初始化 sess.run(tf.global_variables_initializer()) # 载入训练好的模型 saver = tf.train.Saver() saver.restore(sess, '../Cmodels/model/crack_captcha1.model-6000') # saver.restore(sess, '../1/crack_captcha1.model-2500') # 创建一个协调器，管理线程 coord = tf.train.Coordinator() # 启动QueueRunner, 此时文件名队列已经进队 threads = tf.train.start_queue_runners(sess=sess, coord=coord) for i in range(6): # 获取一个批次的数据和标签 b_image, b_image_raw, b_label0 = sess.run([image_batch,image_raw_batch,label_batch0]) # 显示图片 img = Image.fromarray(b_image_raw[0], 'L') plt.imshow(img) plt.axis('off') plt.show() # 打印标签 print('label:', b_label0) # 预测 label0 = sess.run([predict0], feed_dict={x: b_image}) # 打印预测值 print('predict:', label0[0]) # 通知其他线程关闭 coord.request_stop() # 其他所有线程关闭之后，这一函数才能返回 coord.join(threads)