卷积神经网络增强数据
import tensorflow as tf
（）import numpy as np
import matplotlib.pyplot as plt
（）import scipy
import keras
# 设置GPU设备
gpus = tf.config.experimental.list_physical_devices('GPU')
try:
if gpus:
tf.config.experimental.set_visible_devices(gpus[0], 'GPU')
tf.config.experimental.set_memory_growth(gpus[0], True)
print("GPU set successfully!")
except Exception as e:
print(e)
import os,shutil
# basedir是我要建的文件夹根目录,下面要有train,test,yz三个文件夹
#train,test,yz文件夹下有cats,dogs文件夹,cats,dogs装猫狗图片
basedir='E:\jupyter_rgzn\datasets\cats_dogs_s'
#这个是下载的猫狗图片,很多张,我们要取的是train,2000,1000张猫,1000张狗
#,yz,1000,test,1000
src='E:\\jupyter_rgzn\\深度学习\\cat_dog\\train'
# 创建文件夹
def make_dirs(f_dir,c_dir):
path_=os.path.join(f_dir,c_dir)
os.makedirs(path_)
train_dir=os.path.join(basedir,'train')
test_dir=os.path.join(basedir,'test')
yz_dir=os.path.join(basedir,'yz')
#E:\\jupyter_rgzn\\datasets\\cats_dogs_s\\train\\cats
train_cats_dir=os.path.join(basedir+'\\train','cats')
test_cats_dir=os.path.join(basedir+'\\test','cats')
yz_cats_dir=os.path.join(basedir+'\\yz','cats')
train_dogs_dir=os.path.join(basedir+'\\train','dogs')
test_dogs_dir=os.path.join(basedir+'\\test','dogs')
yz_dogs_dir=os.path.join(basedir+'\\yz','dogs')
#复制文件
def copy_file(src,dst,names):
for name in names:
src_=os.path.join(src,name)
dst_=os.path.join(dst,name)
shutil.copyfile(src_,dst_)
from keras import layers
from keras import models
model=models.Sequential()
#过滤层,抓取一些简单的图形,3x3的卷积核扫描,会少两行两列,所以过滤后
#size-2,补padding的话要补一圈0,一圈0就包含两行两列,是在扫描前补0
model.add(layers.Conv2D(32,(3,3),activation='relu',input_shape=(150,150,3)))
#抓大放小,2x2的扫描器,只抓取区域内的最大值,2x2变成1x1,而且步长是2,扫描区域不重复
#所以最后图片变成之前一半,学名,池化层
model.add(layers.MaxPooling2D((2,2)))
#通常滤镜的个数会越弄越大
model.add(layers.Conv2D(64,(3,3),activation='relu'))
model.add(layers.MaxPooling2D((2,2)))
model.add(layers.Conv2D(128,(3,3),activation='relu'))
model.add(layers.MaxPooling2D((2,2)))
model.add(layers.Conv2D(128,(3,3),activation='relu'))
model.add(layers.MaxPooling2D((2,2)))
# 这个flatten是把高维弄成一维,其实很简单,循环遍历,
# 之后把每个元素都装进一个-维的ndarray
model.add(layers.Flatten())
# 密集连接层
model.add(layers.Dense(512,activation='relu'))
# 二分类问题,sigmoid,输出层
model.add(layers.Dense(1,activation='sigmoid'))
# 要估计的参数
#(3*3*3+1)*32,(3*3*32+1)*64,(3*3*64+1)*128,
#(3*3*128+1)*128,flatten:7*7*128
#(6272+1)*512,(512+1)*1
model.summary()
from keras import optimizers
# 优化器,损失函数,指标
model.compile(optimizer=optimizers.RMSprop(learning_rate=1e-4),\
loss='binary_crossentropy',metrics=['accuracy'])
# 图片转化为数据
from keras.preprocessing.image import ImageDataGenerator
# rescale,缩放因子,将图片(ndarray)中每个数字*rescale的值
train_gen=ImageDataGenerator(rescale=1./255)
vald_gen=ImageDataGenerator(rescale=1./255)
#生成器,训练数据里既有猫,又有狗,而且被自动设置了标签,二分类
train_generator=train_gen.flow_from_directory(
train_dir,#目标图片文件夹,这个文件夹内有几个,就被归结为几类
target_size=(150,150),#要设置的图片大小,对应model接收
batch_size=20,#每个批次
class_mode='binary'#二分类
)
vald_generator=vald_gen.flow_from_directory(
yz_dir,
target_size=(150,150),
batch_size=20,
class_mode='binary'
)
import keras as ks
import scipy
cnt=0
# batch_size=20是之前设置的
#data_batch是小批次的20个样本图片,labels_batch是对应的是猫还是狗的标签
for data_batch,labels_batch in train_generator:
print(type(data_batch),type(labels_batch),data_batch.shape,labels_batch.shape)
print('labels:',labels_batch)
plt.imshow(data_batch[-1])
if cnt>3:
break
cnt+=1
print(cnt)
his=model.fit_generator(train_generator,
epochs=30, # 训练轮数
verbose=2, # 日志显示模式
steps_per_epoch=len(train_generator), # 每个epoch需要完成的步数，通常设置为训练集的总样本数除以批次大小
validation_data=vald_generator, # 如果有验证集的话，这里也应该是另一个DirectoryIterator实例
validation_steps=len(vald_generator), # 验证集的步数
shuffle=True
)
len(vald_generator),验证loss在第9次epoch最小
np.argmin(his.history['val_loss'])
xl_loss=his.history['loss']
yz_loss=his.history['val_loss']
xl_acc=his.history['accuracy']
yz_acc=his.history['val_accuracy']
plt.rcParams['font.size'] = 22
plt.figure(figsize=(20,9),dpi=100)
plt.subplot((121))
x=range(1,len(xl_loss)+1)
plt.plot(x,xl_loss,'b',label='xl_loss')
plt.plot(x,yz_loss,'bo',label='yz_loss')
plt.legend()
plt.subplot((122))
plt.plot(x,xl_acc,'r',label='xl_acc')
plt.plot(x,yz_acc,'ro',label='yz_acc')
plt.legend()
plt.show()
#得到训练文件夹下的所有猫图片的路径,listdir是顺序打乱的
train_cats_path=[os.path.join(train_cats_dir,name) for name in os.listdir(train_cats_dir)]
from keras.preprocessing import image
import numpy as np
from PIL import Image
im_path=train_cats_path[8]#获得索引8的那个图片
# 把图片加载进来,变成4个维度的张量
img=Image.open(im_path)
img=img.resize((150,150))
x=image.image_utils.img_to_array(img)
x=x.reshape((1,)+x.shape)# 前面增加个维度,是样本数
x.shape
#改变图片的方式
data_gen=ImageDataGenerator(
rotation_range=40,#旋转角度
width_shift_range=0.2,#水平平移
height_shift_range=0.2,#上下平移,高度乘以0.2当成我们平移的距离
shear_range=0.2,#拉的斜一些
zoom_range=0.2,#变大变小
horizontal_flip=True,#有些图片会被随机的翻转过来
fill_mode='nearest'#用临近的像素填充被移出的区域
)
查看data_gen作用在图片上的效果,图片发生了一些平移之类的变化
i=0
for batch in data_gen.flow(x,batch_size=1):
# 如果已经存在具有该标识符的图形，那么这个图形会被设为当前活动图形并返回。
plt.figure(i)
plt.imshow(image.image_utils.array_to_img(batch[0]))
i+=1
if i%4==0:
break
plt.show()
from keras import optimizers
model=models.Sequential()
#过滤层,抓取一些简单的图形,3x3的卷积核扫描,会少两行两列,所以过滤后
#size-2,补padding的话要补一圈0,一圈0就包含两行两列,是在扫描前补0
model.add(layers.Conv2D(32,(3,3),activation='relu',input_shape=(150,150,3)))
#抓大放小,2x2的扫描器,只抓取区域内的最大值,2x2变成1x1,而且步长是2,扫描区域不重复
#所以最后图片变成之前一半,学名,池化层
model.add(layers.MaxPooling2D((2,2)))
model.add(layers.Conv2D(64,(3,3),activation='relu'))
model.add(layers.MaxPooling2D((2,2)))
model.add(layers.Conv2D(128,(3,3),activation='relu'))
model.add(layers.MaxPooling2D((2,2)))
model.add(layers.Conv2D(128,(3,3),activation='relu'))
model.add(layers.MaxPooling2D((2,2)))
# 这个flatten是把高维弄成一维,其实很简单,循环遍历,
# 之后把每个元素都装进一个-维的ndarray
model.add(layers.Flatten())
model.add(layers.Dropout(0.5))#加了一个dropout层
#输出层
model.add(layers.Dense(512,activation='relu'))
# 二分类问题,sigmoid
model.add(layers.Dense(1,activation='sigmoid'))
model.summary()
model.compile(optimizer=optimizers.RMSprop(learning_rate=1e-4),loss='binary_crossentropy',metrics=['acc'])
from keras.preprocessing.image import ImageDataGenerator
#因为训练准确率高,所以给训练增加难度,又是旋转
#又是平移,让电脑能抓住本质
train_datagen=ImageDataGenerator(
#图片数据*rescale设定值
rescale=1./255,
#旋转角度
rotation_range=40,
#平移
width_shift_range=0.2,
height_shift_range=0.2,
shear_range=0.2,
zoom_range=0.2,#变大变小
#水平翻转
horizontal_flip=True
)
#验证资料就不要旋转平移
yz_datagen=ImageDataGenerator(rescale=1./255)
train_generator=train_datagen.flow_from_directory(
train_dir,
target_size=(150,150),
batch_size=20,
class_mode='binary'
)
vald_generator=yz_datagen.flow_from_directory(
yz_dir,
target_size=(150,150),
batch_size=20,
class_mode='binary'
)
his_=model.fit(train_generator,
epochs=80, # 训练轮数
verbose=2, # 日志显示模式
steps_per_epoch=100, # 每个epoch需要完成的步数，通常设置为训练集的总样本数除以批次大小
validation_data=vald_generator, # 如果有验证集的话，这里也应该是另一个DirectoryIterator实例
validation_steps=50, # 验证集的步数
shuffle=True
)
np.argmin(his_.history['val_loss'])# 第80次迭代验证loss最小,还没出现overfiting
xl_loss=his_.history['loss']
yz_loss=his_.history['val_loss']
xl_acc=his_.history['acc']
yz_acc=his_.history['val_acc']
plt.rcParams['font.size'] = 22
plt.figure(figsize=(20,9),dpi=100)
plt.subplot((121))
x=range(1,len(xl_loss)+1)
plt.plot(x,xl_loss,'b',label='xl_loss')
plt.plot(x,yz_loss,'g',label='yz_loss')
plt.legend()
plt.subplot((122))
plt.plot(x,xl_acc,'r',label='xl_acc')
plt.plot(x,yz_acc,'b',label='yz_acc')
plt.legend()
plt.show()
test_datagen=ImageDataGenerator(rescale=1./255)
test_generator=test_datagen.flow_from_directory(
test_dir,
target_size=(150,150),
batch_size=20,
class_mode='binary'
)
loss_,acc_=model.evaluate(test_generator)
model.save('../data/cats_and_dogs_small2.h5')