keras股票數據

A. 關於keras構建的神經網路的輸出結果解釋

from keras.datasets import mnist
from keras.utils import np_utils
from keras.models import Sequential
from keras.layers import Dense, Activation, Conv2D, MaxPooling2D, Flatten
from keras.optimizers import Adam

# 載入數據集
(X_train, y_train), (X_test, y_test) = mnist.load_data()

# 數據集預處理
X_train = X_train.reshape(-1, 1, 28, 28)
X_test = X_test.reshape(-1, 1, 28, 28)

# 將label變為向量

B. keras中accuracy是怎麼算出來的，為什麼loss下降，accuracy不變甚至減小

accuracy是在test的數據上得到的，train和test的數據的分開的。
loss下降而accuracy不變說明已經過擬合了，可以考慮使用BN、Dropout之類的方法消除過擬合的影響，或者修改網路結構。

C. 如何從零使用 Keras + TensorFlow 開發一個復雜深度學習模型

最近剛開始使用theano, 經驗不多，連個基本的模型都跑不通，於是去看了下Keras，源碼比較簡潔，可以當作theano的示例教程來看，感受如下：
文檔看似很全，每個layer是幹啥的，每個參數是啥都寫了，但是不去讀代碼，實際很多人是無法從文檔理解其具體用法的。這點看issue里的討論里可以看出。同樣，example似乎很多，而且都能直接run，還都是real world的數據集，看似很好，但是實際上，對於新手，如果需要的模型跟example里的不完全一樣，不容易搞懂到底需要把輸入輸出的數據搞成啥格式。舉個例子，example都是做的classification的，沒有做sequence labeling的例子，如果想拿來做個pos tagging，不知道數據如何組織。當然，這些其實花一天讀下代碼或者好好翻翻issue討論就可以解決了，但我相信不少人不會去認真讀代碼或者看討論，而是直接換個工具。我感覺目前的doc只有懂了代碼的人才能看懂，不懂得看文檔還是沒啥用。
2.項目很簡單所以開發者不多，但是很活躍，每天都有新東西加進去。今天增加了一個新的分支後端可以用theano或者tensorflow了，不過貌似由於不支持scan，backend用tensorflow的沒實現recurrent layer。他們也意識到文檔的問題，覺得需要為小白用戶多加點tutorial而不是光給develop看。
我沒用過其他的framework，僅說keras
拿來學習theano基本用法，很不錯
庫本身的代碼，比較簡單易讀，我作為python菜鳥，也能看懂。目前model有sequential和grapgh兩種，前者並不是指recurrent而是說網路是一層層堆的（也包括recurrent）.其他的主要概念包括layer，regularizer, optimizer,objective都分離開。layer用於build每層的輸出函數，model會用最後一層的輸出，根據objective和每個layer的regularizer來確定最終的cost，然後在update時用optimizer來更新參數。把這四個看下加上model里的fit函數，就會用theano啦。
很多模型都能cover，seq2seq這種也有現成的可用。建議不要光看example，多看看github上的 issues討論，實在找不到，直接提問。
效率方面，我不懂theano怎麼優化，感覺keras的這種封裝，沒什麼成本，跟自己用原生theano是一樣的。當然，theano本身就好慢啊。。估計是我不懂用吧。。

D. keras輸入怎麼把2維數據怎麼變為3維，送到lstm

np.reshape(x,(9000,16,48))

x是你的數據 確保加粗的兩個參數乘積是768就行了，這里16是時間步數，48是每個時間步特徵向量的長度。

E. keras怎麼讀取每層網路的輸出

輸入以下編碼：

fromkeras.modelsimportModel

model=...#createtheoriginalmodel

layer_name='my_layer

intermediate_layer_model=Model(input=model.input,

output=model.get_layer(layer_name).output)

intermediate_output=intermediate_layer

F. Python課程內容都學習什麼啊

這里整理了一份Python全棧開發的學習路線，要學習以下內容：

第一階段：專業核心基礎

階段目標：

1. 熟練掌握Python的開發環境與編程核心知識

2. 熟練運用Python面向對象知識進行程序開發

3. 對Python的核心庫和組件有深入理解

4. 熟練應用SQL語句進行資料庫常用操作

5. 熟練運用Linux操作系統命令及環境配置

6. 熟練使用MySQL，掌握資料庫高級操作

7. 能綜合運用所學知識完成項目

知識點：

Python編程基礎、Python面向對象、Python高級進階、MySQL資料庫、Linux操作系統。

1、Python編程基礎，語法規則，函數與參數，數據類型，模塊與包，文件IO，培養扎實的Python編程基本功，同時對Python核心對象和庫的編程有熟練的運用。

2、Python面向對象，核心對象，異常處理，多線程，網路編程，深入理解面向對象編程，異常處理機制，多線程原理，網路協議知識，並熟練運用於項目中。

3、類的原理，MetaClass，下劃線的特殊方法，遞歸，魔術方法，反射，迭代器，裝飾器，UnitTest，Mock。深入理解面向對象底層原理，掌握Python開發高級進階技術，理解單元測試技術。

4、資料庫知識，範式，MySQL配置，命令，建庫建表，數據的增刪改查，約束，視圖，存儲過程，函數，觸發器，事務，游標，PDBC，深入理解資料庫管理系統通用知識及MySQL資料庫的使用與管理。為Python後台開發打下堅實基礎。

5、Linux安裝配置，文件目錄操作，VI命令，管理，用戶與許可權，環境配置，Docker，Shell編程Linux作為一個主流的伺服器操作系統，是每一個開發工程師必須掌握的重點技術，並且能夠熟練運用。

第二階段：PythonWEB開發

階段目標：

1. 熟練掌握Web前端開發技術，HTML，CSS，JavaScript及前端框架

2. 深入理解Web系統中的前後端交互過程與通信協議

3. 熟練運用Web前端和Django和Flask等主流框架完成Web系統開發

4. 深入理解網路協議，分布式，PDBC，AJAX，JSON等知識

5. 能夠運用所學知識開發一個MiniWeb框架，掌握框架實現原理

6. 使用Web開發框架實現貫穿項目

知識點：

Web前端編程、Web前端高級、Django開發框架、Flask開發框架、Web開發項目實戰。

1、Web頁面元素，布局，CSS樣式，盒模型，JavaScript，JQuery與Bootstrap掌握前端開發技術，掌握JQuery與BootStrap前端開發框架，完成頁面布局與美化。

2、前端開發框架Vue，JSON數據，網路通信協議，Web伺服器與前端交互熟練使用Vue框架，深入理解HTTP網路協議，熟練使用Swagger，AJAX技術實現前後端交互。

3、自定義Web開發框架，Django框架的基本使用，Model屬性及後端配置，Cookie與Session，模板Templates，ORM數據模型，Redis二級緩存，RESTful，MVC模型掌握Django框架常用API，整合前端技術，開發完整的WEB系統和框架。

4、Flask安裝配置，App對象的初始化和配置，視圖函數的路由，Request對象，Abort函數，自定義錯誤，視圖函數的返回值，Flask上下文和請求鉤子，模板，資料庫擴展包Flask-Sqlalchemy，資料庫遷移擴展包Flask-Migrate，郵件擴展包Flask-Mail。掌握Flask框架的常用API，與Django框架的異同，並能獨立開發完整的WEB系統開發。

第三階段：爬蟲與數據分析

階段目標：

1. 熟練掌握爬蟲運行原理及常見網路抓包工具使用，能夠對HTTP及HTTPS協議進行抓包分析

2. 熟練掌握各種常見的網頁結構解析庫對抓取結果進行解析和提取

3. 熟練掌握各種常見反爬機制及應對策略，能夠針對常見的反爬措施進行處理

4. 熟練使用商業爬蟲框架Scrapy編寫大型網路爬蟲進行分布式內容爬取

5. 熟練掌握數據分析相關概念及工作流程

6. 熟練掌握主流數據分析工具Numpy、Pandas和Matplotlib的使用

7. 熟練掌握數據清洗、整理、格式轉換、數據分析報告編寫

8. 能夠綜合利用爬蟲爬取豆瓣網電影評論數據並完成數據分析全流程項目實戰

知識點：

網路爬蟲開發、數據分析之Numpy、數據分析之Pandas。

1、爬蟲頁面爬取原理、爬取流程、頁面解析工具LXML，Beautifulfoup，正則表達式，代理池編寫和架構、常見反爬措施及解決方案、爬蟲框架結構、商業爬蟲框架Scrapy，基於對爬蟲爬取原理、網站數據爬取流程及網路協議的分析和了解，掌握網頁解析工具的使用，能夠靈活應對大部分網站的反爬策略，具備獨立完成爬蟲框架的編寫能力和熟練應用大型商業爬蟲框架編寫分布式爬蟲的能力。

2、Numpy中的ndarray數據結構特點、numpy所支持的數據類型、自帶的數組創建方法、算術運算符、矩陣積、自增和自減、通用函數和聚合函數、切片索引、ndarray的向量化和廣播機制，熟悉數據分析三大利器之一Numpy的常見使用，熟悉ndarray數據結構的特點和常見操作，掌握針對不同維度的ndarray數組的分片、索引、矩陣運算等操作。

3、Pandas裡面的三大數據結構，包括Dataframe、Series和Index對象的基本概念和使用，索引對象的更換及刪除索引、算術和數據對齊方法，數據清洗和數據規整、結構轉換，熟悉數據分析三大利器之一Pandas的常見使用，熟悉Pandas中三大數據對象的使用方法，能夠使用Pandas完成數據分析中最重要的數據清洗、格式轉換和數據規整工作、Pandas對文件的讀取和操作方法。

4、matplotlib三層結構體系、各種常見圖表類型折線圖、柱狀圖、堆積柱狀圖、餅圖的繪制、圖例、文本、標線的添加、可視化文件的保存，熟悉數據分析三大利器之一Matplotlib的常見使用，熟悉Matplotlib的三層結構，能夠熟練使用Matplotlib繪制各種常見的數據分析圖表。能夠綜合利用課程中所講的各種數據分析和可視化工具完成股票市場數據分析和預測、共享單車用戶群里數據分析、全球幸福指數數據分析等項目的全程實戰。

第四階段：機器學習與人工智慧

階段目標：

1. 理解機器學習相關的基本概念及系統處理流程

2. 能夠熟練應用各種常見的機器學習模型解決監督學習和非監督學習訓練和測試問題，解決回歸、分類問題

3. 熟練掌握常見的分類演算法和回歸演算法模型，如KNN、決策樹、隨機森林、K-Means等

4. 掌握卷積神經網路對圖像識別、自然語言識別問題的處理方式，熟悉深度學習框架TF裡面的張量、會話、梯度優化模型等

5. 掌握深度學習卷積神經網路運行機制，能夠自定義卷積層、池化層、FC層完成圖像識別、手寫字體識別、驗證碼識別等常規深度學習實戰項目

知識點：

1、機器學習常見演算法、sklearn數據集的使用、字典特徵抽取、文本特徵抽取、歸一化、標准化、數據主成分分析PCA、KNN演算法、決策樹模型、隨機森林、線性回歸及邏輯回歸模型和演算法。熟悉機器學習相關基礎概念，熟練掌握機器學習基本工作流程，熟悉特徵工程、能夠使用各種常見機器學習演算法模型解決分類、回歸、聚類等問題。

2、Tensorflow相關的基本概念，TF數據流圖、會話、張量、tensorboard可視化、張量修改、TF文件讀取、tensorflow playround使用、神經網路結構、卷積計算、激活函數計算、池化層設計，掌握機器學習和深度學習之前的區別和練習，熟練掌握深度學習基本工作流程，熟練掌握神經網路的結構層次及特點，掌握張量、圖結構、OP對象等的使用，熟悉輸入層、卷積層、池化層和全連接層的設計，完成驗證碼識別、圖像識別、手寫輸入識別等常見深度學習項目全程實戰。

G. 如何把自己數據轉化成keras的rnn需要的數據

就一個abcd作為一條樣本即可，a b c d 的每一步都會計算loss的，所以拆開也沒啥用
另外你這個不是序列標注，因為你是要預測下一個，而不是給整體一個最佳序列

H. keras sequential 預測值為什麼輸出後半部分為恆定值

近剛始使用theano, 經驗連基本模型都跑通於看Keras源碼比較簡潔作theano示例教程看受：
文檔看似全每layer幹啥每參數啥都寫讀代碼實際文檔理解其具體用點看issue討論看同example似乎且都能直接run都real world數據集看似實際於新手需要模型跟example完全容易搞懂底需要輸入輸數據搞啥格式舉例example都做classification沒做sequence labeling例想拿做pos tagging知道數據何組織些其實花讀代碼或者翻翻issue討論解決我相信少認真讀代碼或者看討論直接換工具我覺目前doc懂代碼才能看懂懂看文檔沒啥用
2.項目簡單所發者躍每都新東西加進今增加新支端用theano或者tensorflow貌似由於支持scanbackend用tensorflow沒實現recurrent layer意識文檔問題覺需要白用戶加點tutorial光給develop看
我沒用其framework僅說keras拿習theano基本用錯
庫本身代碼比較簡單易讀我作python菜鳥能看懂目前modelsequentialgrapgh兩種前者並指recurrent說網路層層堆（包括recurrent）.其主要概念包括layerregularizer, optimizer,objective都離layer用於build每層輸函數model用層輸根據objective每layerregularizer確定終costupdate用optimizer更新參數四看加modelfit函數用theano啦模型都能coverseq2seq種現用建議要光看example看看github issues討論實找直接提問效率面我懂theano優化覺keras種封裝沒本跟自用原theanotheano本身慢啊估計我懂用吧

I. keras訓練完模型，為什麼對訓練集進行evaluate和訓練時的loss完全不一樣白訓練了嗎

問題簡述：
在keras框架下使用model.fit得到的訓練准確率和損失表現都非常好，但是在相同的訓練集上使用model.evaluate得到的准確率和損失都非常差
keras中的model.fit和model.evaluate在同樣的數據集上的准確率acc和損失值loss存在巨大的差異
https://github.com/keras-team/keras/issues/6977
上面的github鏈接討論了多種可能，
1.model.fit和model.evaluate的batch_size不匹配：model.fit時若指定了batch_size，在使用model.evaluate時的batch_size默認為16，而使用model.evaluate時並未設置與使用model.fit時同樣的batch_size。解釋大概為不同的batch_size的BatchNormalizaiton會產生不同的效果不同(當然在神經網路中存在BatchNormalization層時）
結果：匹配batch_size了也無效
2.dropout,batchnorm的影響：model.fit時的dropout層是設置dropout參數的，比如說0.5，而model.evaluate設置的dropout參數為1，keras在使用這兩個function的時候會呈現兩種模式

J. 如何用keras實現多變數輸入神經網路

要點如下：
1、神經網路基本結構，應該是輸入層-若干個隱含層-輸出層。
2、輸入層應該有7個輸入變數。
3、隱含層層數自定，但每層要超過7個神經元。
4、輸出層可以用softmax之類的函數，將隱含層的輸出歸並成一個。
代碼請自行編寫。