keras股票数据

A. 关于keras构建的神经网络的输出结果解释

from keras.datasets import mnist
from keras.utils import np_utils
from keras.models import Sequential
from keras.layers import Dense, Activation, Conv2D, MaxPooling2D, Flatten
from keras.optimizers import Adam

# 加载数据集
(X_train, y_train), (X_test, y_test) = mnist.load_data()

# 数据集预处理
X_train = X_train.reshape(-1, 1, 28, 28)
X_test = X_test.reshape(-1, 1, 28, 28)

# 将label变为向量

B. keras中accuracy是怎么算出来的，为什么loss下降，accuracy不变甚至减小

accuracy是在test的数据上得到的，train和test的数据的分开的。
loss下降而accuracy不变说明已经过拟合了，可以考虑使用BN、Dropout之类的方法消除过拟合的影响，或者修改网络结构。

C. 如何从零使用 Keras + TensorFlow 开发一个复杂深度学习模型

最近刚开始使用theano, 经验不多，连个基本的模型都跑不通，于是去看了下Keras，源码比较简洁，可以当作theano的示例教程来看，感受如下：
文档看似很全，每个layer是干啥的，每个参数是啥都写了，但是不去读代码，实际很多人是无法从文档理解其具体用法的。这点看issue里的讨论里可以看出。同样，example似乎很多，而且都能直接run，还都是real world的数据集，看似很好，但是实际上，对于新手，如果需要的模型跟example里的不完全一样，不容易搞懂到底需要把输入输出的数据搞成啥格式。举个例子，example都是做的classification的，没有做sequence labeling的例子，如果想拿来做个pos tagging，不知道数据如何组织。当然，这些其实花一天读下代码或者好好翻翻issue讨论就可以解决了，但我相信不少人不会去认真读代码或者看讨论，而是直接换个工具。我感觉目前的doc只有懂了代码的人才能看懂，不懂得看文档还是没啥用。
2.项目很简单所以开发者不多，但是很活跃，每天都有新东西加进去。今天增加了一个新的分支后端可以用theano或者tensorflow了，不过貌似由于不支持scan，backend用tensorflow的没实现recurrent layer。他们也意识到文档的问题，觉得需要为小白用户多加点tutorial而不是光给develop看。
我没用过其他的framework，仅说keras
拿来学习theano基本用法，很不错
库本身的代码，比较简单易读，我作为python菜鸟，也能看懂。目前model有sequential和grapgh两种，前者并不是指recurrent而是说网络是一层层堆的（也包括recurrent）.其他的主要概念包括layer，regularizer, optimizer,objective都分离开。layer用于build每层的输出函数，model会用最后一层的输出，根据objective和每个layer的regularizer来确定最终的cost，然后在update时用optimizer来更新参数。把这四个看下加上model里的fit函数，就会用theano啦。
很多模型都能cover，seq2seq这种也有现成的可用。建议不要光看example，多看看github上的 issues讨论，实在找不到，直接提问。
效率方面，我不懂theano怎么优化，感觉keras的这种封装，没什么成本，跟自己用原生theano是一样的。当然，theano本身就好慢啊。。估计是我不懂用吧。。

D. keras输入怎么把2维数据怎么变为3维，送到lstm

np.reshape(x,(9000,16,48))

x是你的数据 确保加粗的两个参数乘积是768就行了，这里16是时间步数，48是每个时间步特征向量的长度。

E. keras怎么读取每层网络的输出

输入以下编码：

fromkeras.modelsimportModel

model=...#createtheoriginalmodel

layer_name='my_layer

intermediate_layer_model=Model(input=model.input,

output=model.get_layer(layer_name).output)

intermediate_output=intermediate_layer

F. Python课程内容都学习什么啊

这里整理了一份Python全栈开发的学习路线，要学习以下内容：

第一阶段：专业核心基础

阶段目标：

1. 熟练掌握Python的开发环境与编程核心知识

2. 熟练运用Python面向对象知识进行程序开发

3. 对Python的核心库和组件有深入理解

4. 熟练应用SQL语句进行数据库常用操作

5. 熟练运用Linux操作系统命令及环境配置

6. 熟练使用MySQL，掌握数据库高级操作

7. 能综合运用所学知识完成项目

知识点：

Python编程基础、Python面向对象、Python高级进阶、MySQL数据库、Linux操作系统。

1、Python编程基础，语法规则，函数与参数，数据类型，模块与包，文件IO，培养扎实的Python编程基本功，同时对Python核心对象和库的编程有熟练的运用。

2、Python面向对象，核心对象，异常处理，多线程，网络编程，深入理解面向对象编程，异常处理机制，多线程原理，网络协议知识，并熟练运用于项目中。

3、类的原理，MetaClass，下划线的特殊方法，递归，魔术方法，反射，迭代器，装饰器，UnitTest，Mock。深入理解面向对象底层原理，掌握Python开发高级进阶技术，理解单元测试技术。

4、数据库知识，范式，MySQL配置，命令，建库建表，数据的增删改查，约束，视图，存储过程，函数，触发器，事务，游标，PDBC，深入理解数据库管理系统通用知识及MySQL数据库的使用与管理。为Python后台开发打下坚实基础。

5、Linux安装配置，文件目录操作，VI命令，管理，用户与权限，环境配置，Docker，Shell编程Linux作为一个主流的服务器操作系统，是每一个开发工程师必须掌握的重点技术，并且能够熟练运用。

第二阶段：PythonWEB开发

阶段目标：

1. 熟练掌握Web前端开发技术，HTML，CSS，JavaScript及前端框架

2. 深入理解Web系统中的前后端交互过程与通信协议

3. 熟练运用Web前端和Django和Flask等主流框架完成Web系统开发

4. 深入理解网络协议，分布式，PDBC，AJAX，JSON等知识

5. 能够运用所学知识开发一个MiniWeb框架，掌握框架实现原理

6. 使用Web开发框架实现贯穿项目

知识点：

Web前端编程、Web前端高级、Django开发框架、Flask开发框架、Web开发项目实战。

1、Web页面元素，布局，CSS样式，盒模型，JavaScript，JQuery与Bootstrap掌握前端开发技术，掌握JQuery与BootStrap前端开发框架，完成页面布局与美化。

2、前端开发框架Vue，JSON数据，网络通信协议，Web服务器与前端交互熟练使用Vue框架，深入理解HTTP网络协议，熟练使用Swagger，AJAX技术实现前后端交互。

3、自定义Web开发框架，Django框架的基本使用，Model属性及后端配置，Cookie与Session，模板Templates，ORM数据模型，Redis二级缓存，RESTful，MVC模型掌握Django框架常用API，整合前端技术，开发完整的WEB系统和框架。

4、Flask安装配置，App对象的初始化和配置，视图函数的路由，Request对象，Abort函数，自定义错误，视图函数的返回值，Flask上下文和请求钩子，模板，数据库扩展包Flask-Sqlalchemy，数据库迁移扩展包Flask-Migrate，邮件扩展包Flask-Mail。掌握Flask框架的常用API，与Django框架的异同，并能独立开发完整的WEB系统开发。

第三阶段：爬虫与数据分析

阶段目标：

1. 熟练掌握爬虫运行原理及常见网络抓包工具使用，能够对HTTP及HTTPS协议进行抓包分析

2. 熟练掌握各种常见的网页结构解析库对抓取结果进行解析和提取

3. 熟练掌握各种常见反爬机制及应对策略，能够针对常见的反爬措施进行处理

4. 熟练使用商业爬虫框架Scrapy编写大型网络爬虫进行分布式内容爬取

5. 熟练掌握数据分析相关概念及工作流程

6. 熟练掌握主流数据分析工具Numpy、Pandas和Matplotlib的使用

7. 熟练掌握数据清洗、整理、格式转换、数据分析报告编写

8. 能够综合利用爬虫爬取豆瓣网电影评论数据并完成数据分析全流程项目实战

知识点：

网络爬虫开发、数据分析之Numpy、数据分析之Pandas。

1、爬虫页面爬取原理、爬取流程、页面解析工具LXML，Beautifulfoup，正则表达式，代理池编写和架构、常见反爬措施及解决方案、爬虫框架结构、商业爬虫框架Scrapy，基于对爬虫爬取原理、网站数据爬取流程及网络协议的分析和了解，掌握网页解析工具的使用，能够灵活应对大部分网站的反爬策略，具备独立完成爬虫框架的编写能力和熟练应用大型商业爬虫框架编写分布式爬虫的能力。

2、Numpy中的ndarray数据结构特点、numpy所支持的数据类型、自带的数组创建方法、算术运算符、矩阵积、自增和自减、通用函数和聚合函数、切片索引、ndarray的向量化和广播机制，熟悉数据分析三大利器之一Numpy的常见使用，熟悉ndarray数据结构的特点和常见操作，掌握针对不同维度的ndarray数组的分片、索引、矩阵运算等操作。

3、Pandas里面的三大数据结构，包括Dataframe、Series和Index对象的基本概念和使用，索引对象的更换及删除索引、算术和数据对齐方法，数据清洗和数据规整、结构转换，熟悉数据分析三大利器之一Pandas的常见使用，熟悉Pandas中三大数据对象的使用方法，能够使用Pandas完成数据分析中最重要的数据清洗、格式转换和数据规整工作、Pandas对文件的读取和操作方法。

4、matplotlib三层结构体系、各种常见图表类型折线图、柱状图、堆积柱状图、饼图的绘制、图例、文本、标线的添加、可视化文件的保存，熟悉数据分析三大利器之一Matplotlib的常见使用，熟悉Matplotlib的三层结构，能够熟练使用Matplotlib绘制各种常见的数据分析图表。能够综合利用课程中所讲的各种数据分析和可视化工具完成股票市场数据分析和预测、共享单车用户群里数据分析、全球幸福指数数据分析等项目的全程实战。

第四阶段：机器学习与人工智能

阶段目标：

1. 理解机器学习相关的基本概念及系统处理流程

2. 能够熟练应用各种常见的机器学习模型解决监督学习和非监督学习训练和测试问题，解决回归、分类问题

3. 熟练掌握常见的分类算法和回归算法模型，如KNN、决策树、随机森林、K-Means等

4. 掌握卷积神经网络对图像识别、自然语言识别问题的处理方式，熟悉深度学习框架TF里面的张量、会话、梯度优化模型等

5. 掌握深度学习卷积神经网络运行机制，能够自定义卷积层、池化层、FC层完成图像识别、手写字体识别、验证码识别等常规深度学习实战项目

知识点：

1、机器学习常见算法、sklearn数据集的使用、字典特征抽取、文本特征抽取、归一化、标准化、数据主成分分析PCA、KNN算法、决策树模型、随机森林、线性回归及逻辑回归模型和算法。熟悉机器学习相关基础概念，熟练掌握机器学习基本工作流程，熟悉特征工程、能够使用各种常见机器学习算法模型解决分类、回归、聚类等问题。

2、Tensorflow相关的基本概念，TF数据流图、会话、张量、tensorboard可视化、张量修改、TF文件读取、tensorflow playround使用、神经网络结构、卷积计算、激活函数计算、池化层设计，掌握机器学习和深度学习之前的区别和练习，熟练掌握深度学习基本工作流程，熟练掌握神经网络的结构层次及特点，掌握张量、图结构、OP对象等的使用，熟悉输入层、卷积层、池化层和全连接层的设计，完成验证码识别、图像识别、手写输入识别等常见深度学习项目全程实战。

G. 如何把自己数据转化成keras的rnn需要的数据

就一个abcd作为一条样本即可，a b c d 的每一步都会计算loss的，所以拆开也没啥用
另外你这个不是序列标注，因为你是要预测下一个，而不是给整体一个最佳序列

H. keras sequential 预测值为什么输出后半部分为恒定值

近刚始使用theano, 经验连基本模型都跑通于看Keras源码比较简洁作theano示例教程看受：
文档看似全每layer干啥每参数啥都写读代码实际文档理解其具体用点看issue讨论看同example似乎且都能直接run都real world数据集看似实际于新手需要模型跟example完全容易搞懂底需要输入输数据搞啥格式举例example都做classification没做sequence labeling例想拿做pos tagging知道数据何组织些其实花读代码或者翻翻issue讨论解决我相信少认真读代码或者看讨论直接换工具我觉目前doc懂代码才能看懂懂看文档没啥用
2.项目简单所发者跃每都新东西加进今增加新支端用theano或者tensorflow貌似由于支持scanbackend用tensorflow没实现recurrent layer意识文档问题觉需要白用户加点tutorial光给develop看
我没用其framework仅说keras拿习theano基本用错
库本身代码比较简单易读我作python菜鸟能看懂目前modelsequentialgrapgh两种前者并指recurrent说网络层层堆（包括recurrent）.其主要概念包括layerregularizer, optimizer,objective都离layer用于build每层输函数model用层输根据objective每layerregularizer确定终costupdate用optimizer更新参数四看加modelfit函数用theano啦模型都能coverseq2seq种现用建议要光看example看看github issues讨论实找直接提问效率面我懂theano优化觉keras种封装没本跟自用原theanotheano本身慢啊估计我懂用吧

I. keras训练完模型，为什么对训练集进行evaluate和训练时的loss完全不一样白训练了吗

问题简述：
在keras框架下使用model.fit得到的训练准确率和损失表现都非常好，但是在相同的训练集上使用model.evaluate得到的准确率和损失都非常差
keras中的model.fit和model.evaluate在同样的数据集上的准确率acc和损失值loss存在巨大的差异
https://github.com/keras-team/keras/issues/6977
上面的github链接讨论了多种可能，
1.model.fit和model.evaluate的batch_size不匹配：model.fit时若指定了batch_size，在使用model.evaluate时的batch_size默认为16，而使用model.evaluate时并未设置与使用model.fit时同样的batch_size。解释大概为不同的batch_size的BatchNormalizaiton会产生不同的效果不同(当然在神经网络中存在BatchNormalization层时）
结果：匹配batch_size了也无效
2.dropout,batchnorm的影响：model.fit时的dropout层是设置dropout参数的，比如说0.5，而model.evaluate设置的dropout参数为1，keras在使用这两个function的时候会呈现两种模式

J. 如何用keras实现多变量输入神经网络

要点如下：
1、神经网络基本结构，应该是输入层-若干个隐含层-输出层。
2、输入层应该有7个输入变量。
3、隐含层层数自定，但每层要超过7个神经元。
4、输出层可以用softmax之类的函数，将隐含层的输出归并成一个。
代码请自行编写。