爬虫抓取股票数据分析

Ⅰ 如何用爬虫抓取股市数据并生成分析报表

数据量太大太大，爬取数据太慢太慢，难！！！！
建数据仓库，将抓取数据放入仓库，再按自己思路做运算，得到各种报表。
靠爬虫，难度太大。

Ⅱ 如何用python 爬虫抓取金融数据

获取数据是数据分析中必不可少的一部分，而网络爬虫是是获取数据的一个重要渠道之一。鉴于此，我拾起了Python这把利器，开启了网络爬虫之路。

本篇使用的版本为python3.5，意在抓取证券之星上当天所有A股数据。程序主要分为三个部分：网页源码的获取、所需内容的提取、所得结果的整理。

一、网页源码的获取

很多人喜欢用python爬虫的原因之一就是它容易上手。只需以下几行代码既可抓取大部分网页的源码。

为了减少干扰，我先用正则表达式从整个页面源码中匹配出以上的主体部分，然后从主体部分中匹配出每只股票的信息。代码如下。

pattern=re.compile('<tbody[sS]*</tbody>')
body=re.findall(pattern,str(content)) #匹配<tbody和</tbody>之间的所有代码pattern=re.compile('>(.*?)<')
stock_page=re.findall(pattern,body[0]) #匹配>和<之间的所有信息

其中compile方法为编译匹配模式，findall方法用此匹配模式去匹配出所需信息，并以列表的方式返回。正则表达式的语法还挺多的，下面我只罗列所用到符号的含义。

语法 说明

. 匹配任意除换行符“ ”外的字符

* 匹配前一个字符0次或无限次

？ 匹配前一个字符0次或一次

s 空白字符：[<空格> fv]

S 非空白字符：[^s]

[...] 字符集，对应的位置可以是字符集中任意字符

(...) 被括起来的表达式将作为分组，里面一般为我们所需提取的内容

正则表达式的语法挺多的，也许有大牛只要一句正则表达式就可提取我想提取的内容。在提取股票主体部分代码时发现有人用xpath表达式提取显得更简洁一些，看来页面解析也有很长的一段路要走。

三、所得结果的整理

通过非贪婪模式(.*?)匹配>和<之间的所有数据，会匹配出一些空白字符出来，所以我们采用如下代码把空白字符移除。

stock_last=stock_total[:] #stock_total：匹配出的股票数据for data in stock_total: #stock_last：整理后的股票数据
if data=='':
stock_last.remove('')

最后，我们可以打印几列数据看下效果，代码如下

print('代码',' ','简称',' ',' ','最新价',' ','涨跌幅',' ','涨跌额',' ','5分钟涨幅')for i in range(0,len(stock_last),13): #网页总共有13列数据
print(stock_last[i],' ',stock_last[i+1],' ',' ',stock_last[i+2],' ',' ',stock_last[i+3],' ',' ',stock_last[i+4],' ',' ',stock_last[i+5])

Ⅲ 如何用爬虫抓取股市数据并生成分析报表

我用前嗅的forespider数据采集软件爬过股市信息的，比较简单，分析了一下历史股价，目前数据还不多没做太多分析。过几天再说

Ⅳ 数据分析和爬虫，看了几家机构，还是百战程序员不错，有一起的嘛

爬虫主要是负责抓取，解析，把数据从数据源抓取回来，解析成指定的格式，然后入库。数据分析工程师，要分析他们抓来的数据，根据某种模型或者算法，来找到数据的相关性之类的。

Ⅳ 爬虫的数据分析难吗

蜜蜂是提供网络信息定向采集的工具，它能够对用户设置的网站进行数据采集和更新，实现灵活的网络数据采集目标，为互联网数据分析提供基矗

Ⅵ 网络爬虫抓取数据 有什么好的应用

蜜蜂是提供网络信息定向采集的工具，它能够对用户设置的网站进行数据采集和更新，实现灵活的网络数据采集目标，为互联网数据分析提供基础。

Ⅶ 爬虫可以为我们做什么，可以做数据分析房价行情吗

可以啊，爬虫是数据采集必备的技能
而数据分析必然要有数据才能分析，要数据必然就会涉及到数据采集也就是爬虫。
你说的房价行情通过爬虫爬取房源数据，汇总到数据库就可以做一定程度上的分析。
爬虫需要掌握Python基础，re正则模块，Beatifulsoup，pyquery，xpath，selenium，scrapy等一些知识点，能爬取任何网站，包括某宝，某东。一手资料有偿低价给你。

Ⅷ 写网络爬虫 数据抓取 数据分析 Py怎么样 好不好

写爬虫耗费时间长，有时候还不如直接用市场上他们写好的数据采集器呢，取决于要抓的数据~~推荐可以试下爬一爬采集器，采集数据比较高效，无论是否有编程基础都可用。比较方便吧。。它们官网有介绍。你也可以看下这个网络经验 http://jingyan..com/article/86112f139184012737978737.html。希望可以帮助到你

Ⅸ 如何用爬虫抓取股市数据并生成分析报表

有的公司公布财务资料时以利润及利润分配表代替损益表，利润及利润分配表就是在损益表的基础上再加上利润分配的内容。通过阅读与分析利润表，股东可以了解公司一定期间内业务经营情况及利润形成的全过程；了解公司利润计划的执行情况；分析收入、成本、费用、税金各项目的构成比例是否合理；了解投资价值和投资回报率；预测公司在未来期间的经营业绩趋势；了解上市公司利润分配情况；分析公司利润分配程序和分配比例的合法性和合理性。