Ⅰ 如何用Python在10分钟内建立一个预测模型
预测模型的分解过程
我总是集中于投入有质量的时间在建模的初始阶段,比如,假设生成、头脑风暴、讨论或理解可能的结果范围。所有这些活动都有助于我解决问题,并最终让我设计出更强大的商业解决方案。为什么你要在前面花费这段时间,这有充分的理由:
你有足够的时间投入并且你是无经验的(这是有影响的)
你不带有其它数据观点或想法的偏见(我总是建议,在深入研究数据之前做假设生成)
在后面的阶段,你会急于完成该项目而没有能力投入有质量的时间了。
这个阶段需要投入高质量时间,因此我没有提及时间表,不过我建议你把它作为标准的做法。这有助于你建立建立更好地预测模型,在后面的阶段的只需较少的迭代工作。让我们来看看建立第一个模型的剩余阶段的时间表:
数据描述性分析——50%的时间
数据预处理(缺失值和异常值修复)——40%的时间
数据建模——4%的时间
性能预测——6%的时间
让我们一步一步完成每个过程(每一步投入预测的时间):
阶段1:描述性分析/数据探索
在我刚开始成为数据科学家的时候,数据探索占据了我大量的时间。不过,随着时间的推移,我已经把大量的数据操作自动化了。由于数据准备占据建立第一个模型工作量的50%,自动化的好处是显而易见的。
这是我们的第一个基准模型,我们去掉任何特征设计。因此,描述分析所需的时间仅限于了解缺失值和直接可见的大的特征。在我的方法体系中,你将需要2分钟来完成这一步(假设,100000个观测数据集)。
我的第一个模型执行的操作:
确定ID,输入特征和目标特征
确定分类和数值特征
识别缺失值所在列
阶段2:数据预处理(缺失值处理)
有许多方法可以解决这个问题。对于我们的第一个模型,我们将专注于智能和快速技术来建立第一个有效模型。
为缺失值创建假标志:有用,有时缺失值本身就携带了大量的信息。
用均值、中位数或其它简单方法填补缺失值:均值和中位数填补都表现良好,大多数人喜欢用均值填补但是在有偏分布的情况下我建议使用中位数。其它智能的方法与均值和中位数填补类似,使用其它相关特征填补或建立模型。比如,在Titanic生存挑战中,你可以使用乘客名字的称呼,比如:“Mr.”, “Miss.”,”Mrs.”,”Master”,来填补年龄的缺失值,这对模型性能有很好的影响。
填补缺失的分类变量:创建一个新的等级来填补分类变量,让所有的缺失值编码为一个单一值比如,“New_Cat”,或者,你可以看看频率组合,使用高频率的分类变量来填补缺失值。
由于数据处理方法如此简单,你可以只需要3到4分钟来处理数据。
阶段3:数据建模
根据不同的业务问题,我推荐使用GBM或RandomForest技术的任意一种。这两个技术可以极其有效地创建基准解决方案。我已经看到数据科学家通常把这两个方法作为他们的第一个模型同时也作为最后一个模型。这最多用去4到5分钟。
阶段4:性能预测
有各种各样的方法可以验证你的模型性能,我建议你将训练数据集划分为训练集和验证集(理想的比例是70:30)并且在70%的训练数据集上建模。现在,使用30%的验证数据集进行交叉验证并使用评价指标进行性能评估。最后需要1到2分钟执行和记录结果。
本文的目的不是赢得比赛,而是建立我们自己的基准。让我们用python代码来执行上面的步骤,建立你的第一个有较高影响的模型。
让我们开始付诸行动
首先我假设你已经做了所有的假设生成并且你擅长使用python的基本数据科学操作。我用一个数据科学挑战的例子来说明。让我们看一下结构:
步骤1:导入所需的库,读取测试和训练数据集。
#导入pandas、numpy包,导入LabelEncoder、random、RandomForestClassifier、GradientBoostingClassifier函数
import pandas as pd
import numpy as np
fromsklearn.preprocessing import LabelEncoder
import random
fromsklearn.ensemble import RandomForestClassifier
from sklearn.ensembleimport GradientBoostingClassifier
#读取训练、测试数据集
train=pd.read_csv('C:/Users/AnalyticsVidhya/Desktop/challenge/Train.csv')
test=pd.read_csv('C:/Users/AnalyticsVidhya/Desktop/challenge/Test.csv')
#创建训练、测试数据集标志
train='Train'
test='Test'
fullData =pd.concat(,axis=0) #联合训练、测试数据集
步骤2:该框架的第二步并不需要用到python,继续下一步。
步骤3:查看数据集的列名或概要
fullData.columns # 显示所有的列名称
fullData.head(10) #显示数据框的前10条记录
fullData.describe() #你可以使用describe()函数查看数值域的概要
步骤4:确定a)ID变量 b)目标变量 c)分类变量 d)数值变量 e)其他变量。
ID_col =
target_col =
cat_cols =
num_cols= list(set(list(fullData.columns))-set(cat_cols)-set(ID_col)-set(target_col)-set(data_col))
other_col= #为训练、测试数据集设置标识符
步骤5:识别缺失值变量并创建标志
fullData.isnull().any()#返回True或False,True意味着有缺失值而False相反
num_cat_cols = num_cols+cat_cols # 组合数值变量和分类变量
#为有缺失值的变量创建一个新的变量
# 对缺失值标志为1,否则为0
for var in num_cat_cols:
if fullData.isnull().any()=True:
fullData=fullData.isnull()*1
步骤6:填补缺失值
#用均值填补数值缺失值
fullData = fullData.fillna(fullData.mean(),inplace=True)
#用-9999填补分类变量缺失值
fullData = fullData.fillna(value = -9999)
步骤7:创建分类变量的标签编码器,将数据集分割成训练和测试集,进一步,将训练数据集分割成训练集和测试集。
#创建分类特征的标签编码器
for var in cat_cols:
number = LabelEncoder()
fullData = number.fit_transform(fullData.astype('str'))
#目标变量也是分类变量,所以也用标签编码器转换
fullData = number.fit_transform(fullData.astype('str'))
train=fullData='Train']
test=fullData='Test']
train = np.random.uniform(0, 1, len(train)) <= .75
Train, Validate = train=True], train=False]
步骤8:将填补和虚假(缺失值标志)变量传递到模型中,我使用随机森林来预测类。
features=list(set(list(fullData.columns))-set(ID_col)-set(target_col)-set(other_col))
x_train = Train.values
y_train = Train.values
x_validate = Validate.values
y_validate = Validate.values
x_test=test.values
random.seed(100)
rf = RandomForestClassifier(n_estimators=1000)
rf.fit(x_train, y_train)
步骤9:检查性能做出预测
status = rf.predict_proba(x_validate)
fpr, tpr, _ = roc_curve(y_validate, status)
roc_auc = auc(fpr, tpr)
print roc_auc
final_status = rf.predict_proba(x_test)
test=final_status
test.to_csv('C:/Users/Analytics Vidhya/Desktop/model_output.csv',columns=)
现在可以提交了!
Ⅱ 怎样用 Python 写一个股票自动交易的程序
方法一
前期的数据抓取和分析可能python都写好了,所以差这交易指令接口最后一步。对于股票的散户,正规的法子是华宝,国信,兴业这样愿意给接口的券商,但貌似开户费很高才给这权利,而且只有lts,ctp这样的c++接口,没python版就需要你自己封装。
方法二
是wind这样的软件也有直接的接口,支持部分券商,但也贵,几万一年是要的。
方法三
鼠标键盘模拟法,很复杂的,就是模拟键盘鼠标去操作一些软件,比如券商版交易软件和大智慧之类的。
方法四
就是找到这些软件的关于交易指令的底层代码并更改,不过T+1的规则下,预测准确率的重要性高于交易的及时性,花功夫做数据分析就好,交易就人工完成吧
Ⅲ 如何建立一个股票量化交易模型并仿真
研究量化投资模型的目的是找出那些具体盈利确定性的时空价格形态,其最重要手段的概率取胜,最重要的技术是概率统计,最主要的研究方向是市场行为心理。那么我们在选择用于研究的参数时,也应该用我们的经验来确定是否把某技术参数放进去,因为一般来说定性投资比较好用的参数指标对量化投资同样适用。
量化投资区别于传统定性投资的主要特征在于模型。我打个比方,我们看病,中医与西医的诊疗方法是不同,中医是望、闻、问、切,最后判断出的结果,很大程度上基于中医的经验,主观定性程度大一些;西医就不同了,先要病人去拍片子、化验等,这些都要依托于医学仪器,最后得出结论,对症下药。中医对医生的经验要求非常高,他们的主观判断往往决定了治疗效果,而西医则要从容得多,按事先规定好的程序走就行了。量化投资就是股票投资中的西医,它可以比较有效地矫正理智与情绪的不兼容现象。
量化投资的一般思路:选定某些技术指标(我们称之为参数,往往几个组成一组),并将每一个参数的数据范围进行分割,成几等份。然后,用计算机编程写出一段能对这些参数组对股票价格造成的影响进行数据统计的程序,连接至大型数据库进行统计计算,自动选择能够达到较高收益水平的参数组合。但是选出这些参数组后还不能马上应用,因为这里涉及到一个概率陷阱的问题,比如说,有1到100这一百个数字放在那里,现在让你选择,请问你选到100的可能性是多大?是的,就是1/100,如果较幸运你选到了100并不能说明你比别人聪明,而是概率的必然。所以,在进行统计时要特别关注统计的频率与选出的结果组数量之间的关系。在选出符合要求的参数组后我们还应留出至少三年的原始市场数据进行验证,只有验证合格后才能试用。
量化投资原始数据策略:我们选用96年后的市场数据,因为96年股市有过一次交易政策改革(你可以自己查询了解一下),为了不影响研究结果我们不采纳96年以前的数据进数据库。
量化投资研究的硬设备:高计算性能电脑,家用电脑也可以,不过运算时间会很长,我曾经用家用电脑计算了三个月时间才得到想要的数据。
统计方法:可以选用遗传算法,但我在这里陪大家做的是比较简单的模型,所以采用普通统计方法就可以了。
用于量化研究的软件:我采用的是免费的大型数据库MYSQL,ASP网络编程语言,以及可以设置成网络服务器的旗舰版WIN7操作系统。
Ⅳ 怎样用 Python 写一个股票自动买卖的程序
方法一
前期的数据抓取和分析可能python都写好了,所以差这交易指令接口最后一步。对于股票的散户,正规的法子是华宝,国信,兴业这样愿意给接口的券商,但貌似开户费很高才给这权利,而且只有lts,ctp这样的c++接口,没python版就需要你自己封装。
方法二
是wind这样的软件也有直接的接口,支持部分券商,但也贵,几万一年是要的。
方法三
鼠标键盘模拟法,很复杂的,就是模拟键盘鼠标去操作一些软件,比如券商版交易软件和大智慧之类的。
方法四
就是找到这些软件的关于交易指令的底层代码并更改,不过T+1的规则下,预测准确率的重要性高于交易的及时性,花功夫做数据分析就好,交易就人工完成吧
Ⅳ 如何建立一个股票量化交易模型并仿真
用文化财经软件,编写程序化交易系统,具体参考官网教程
Ⅵ 如何利用Python预测股票价格
预测股票价格没有意义。
单支股票价格,多股组合,大盘这些都可以使用神经网络来学习,02年就做过了,涨跌预测平均能达到54%到57%的准确率,但是只能定性,无法定量,因此,在扣除印花税之后无利可图。
纯粹使用股票交易数据来预测并保证总体获利不是程序能办到的,人也办不到。
目前世界上最先进的炒股机器也只能利用网络时差那微不可计的零点几秒在欧洲与美国证券间倒来倒去,那套系统研发费用数千万,硬件(主要是独立光缆)费用以亿计。
Ⅶ 有没有会用Python编写一个简单的建模股票价格的小程序能够对股票数据进行简单预测即可!求助!
虽然懂python 但是不懂股票,
采用random()可以么,哈哈
Ⅷ 用Python 进行股票分析 有什么好的入门书籍或者课程吗
个人觉得这问题问的不太对,说句不好的话,你是来搞编程的还是做股票的。
《Learn Python The Hard Way》,也就是我们所说的笨办法学python,这绝对是新手入门的第一选择,里面话题简练,是一本以练习为导向的教材。有浅入深,而且易懂。
其它的像什么,《Python源码剖析》,《集体智慧编程》,《Python核心编程(第二版)》等题主都可以适当的选择参读下,相信都会对题主有所帮助。
最后,还是要重复上面的话题,炒股不是工程学科,它有太多的变数,对于现在的智能编程来说,它还没有办法及时的反映那些变数,所以,只能当做一种参考,千万不可过渡依赖。
结语:pyhton相对来说是一种比较高端的学科,需要有很强的逻辑能力。所以入门是非常困难的,如果真的要学习,是需要很大的毅力去坚持下去的,而且不短时间就能入门了,要有所心理准备。
Ⅸ 如何用Python在10分钟内树立一个预测模型
所谓预测模型我理解是机器学习的监督式算法。 常用的有 K 近邻, 决策树, 朴素贝叶斯等。 举例: 使用k近邻算法预测一个女的是不是美女: 我们抽取特征值:
身高,体重,三围等。 你先设置一些经验数据,例如: A: 165CM 50KG, 23 32,31 美 B 150 60KG 23 23 23 丑 现在输入 C 163 45 25 30 30 选择K =3, 算法会找经验数据中和这个数据最接近的三个 值,判断这三个对象是 美 还是丑。 如果2,3个美,则预测为美。否则为丑。
对应的python代码在网上都有,估计20-30 行吧。 自己找找。