绝对掌控-第5部分

快捷操作: 按键盘上方向键 ← 或 → 可快速上下翻页 按键盘上的 Enter 键可回到本书目录页 按键盘上方向键 ↑ 可回到本页顶部! 如果本书没有阅读完，想下次继续接着阅读，可使用上方 "收藏到我的浏览器" 功能 和 "加入书签" 功能！


　　　　千万台计算机。。。。。。

　　　　莫回被这个数据吓了一跳，这太吓人了，现有的一切超级计算机放到它面前全部是渣渣。

　　　　不过这也给了莫回灵感，既然它计算力这么牛叉，那最适合他的赚钱方式应该就是大规模计算方面了。

　　　　莫回突然笑了，这还真是踏破铁鞋无觅处。

　　　　莫回是个码农，并且还是玩大数据的码农，这还真是专业对口，只要他把大数据的程序编写好，让这台超级笔记本来计算，那么可做的事情就很多了。

　　　　首先进入莫回脑海里的就是金融大数据，只要莫回能够开发出一款大数据软件，让它自动搜集网络上的相关信息，然后进行深度的数据分析，那么很容易能够将一个公司的实际经营状况分析出来。

　　　　这些数据只要利用好了，完全可以利用在股市上嘛，只要有无穷计算力做保证，那么分析结果将会无限趋近于真实情况，甚至会那个企业的董事长还要准确的把握住企业未来发展状态。

　　　　莫回通盘考虑了一下，感觉这个想法应该有足够的可行性，程序自己编写就足够了，网上的公共渠道也可以提供足够的信息，只要数据分析算法设计好，最终输出的结果将会有极大参考价值。

　　　　不过这事对于软件开发来说是一个大项目，恐怕很难一个人在短期内完成，不过这也不用太过担心，莫回的想法是拼接。在网上寻找各类开源软件，然后将这些软件拼接起来，先做成第一版的大数据金融分析软件。

　　　　等第一版软件出来，实际运行测试，开始帮助他炒股挣钱之后，他就可以用这些钱来雇人帮忙开发软件了。

　　　　到时他可以将整个软件分成很多个模块，每个模块发一个包，无论是包给个人也好，还是包给其他软件公司也好，这样分解开发，最终再在他这里组装在一起。到时他就是一个项目经理的角色，只要控制好整体的开发进度，完全可以遥控很大的一个团队帮助他进行开发。

　　　　这款软件的名字莫回已经想好了，就叫股神，他准备先开发股神1。0版。

　　　　开发周期莫回暂时无法预期，不过可以想见的是，即使做一个拼接组装的活，中间也会有大量的接口开发工作，将这些软件拼接在一起的粘合剂和组装平台就需要他自己动手了。

　　　　具体工作量无法预估，只能先干着再说，如果开源软件刚好都能找到合用的，这个周期自然会短不少，如果很不巧，没有合用的软件，估计他就得自己开发，这所耗用的时间就没头了。

　　　　莫回给自己列了一个工作进度表，按照这个进度表开始逐条逐项的完成和推进。

　　　　如果想要“攒”一个股神1。0，那么有几个必须的关键功能模块，比如股神1。0的大脑，这将是一个大数据分析模块，它负责将所有搜集来的信息进行整理加工，并且从中提取具备指导意义的分析结论。

　　　　这个数据分析模块，它必须同时具备显性因果分析能力，和隐性因果分析能力。

　　　　比如生猪存栏数据下跌，必然导致随后的猪肉价格上涨。生猪存栏数量与猪肉价格存在某种必然的因果关系，而数据分析模块，必须具备识别这种明显由因就可以导致果的因果关系的能力。

　　　　比如东南海峡输油管道发生破裂，必然导致帝国东南大区油品价格上涨，这也存在某种必然的因果关系。只不过与生猪存栏数据不同的是，生猪存栏数据属于常态化数据，它每天都有，每天都有浮动，而油管破裂属于偶发事件。

　　　　虽然油管破裂属于偶发事件，但是数据分析模块必须具备识别这种偶发事件，进而给出随后由其导致的必然后果的能力。

　　　　类似的因果关联事件或者数据很多，数据分析模块必须具备识别这种显性因果联系的能力。

　　　　与这些显性因果相对应的，就是隐性因果联系。

　　　　那个著名的啤酒和尿布的案例其实就是隐性因果联系，这些隐性因果之间，不一定具备必然性，但是因和果之间，往往存在或然性联系。

　　　　就单个事例来说，这种因果联系未必成立，但是将其置于一个足够大的基数上时，这种因果联系就凸显出来，这是一种概率学意义上的因果关系。

　　　　另外有一个案例，就是基于这种概率学因果关系的。一个搜索公司，它想研究今年冬天流感爆发的可能性，但是它研究的角度非常有意思，他不是从医学角度来研究，而是程序和算法角度来研究。

　　　　它通过分析5000万条最频繁检索的词汇，将之和疾病中心在5年间季节性流感传播时期的数据进行比较，并建立一个特定的数学模型，从中寻找关联性，寻找那些隐藏起来或然联系，最终它成功预测了流感的爆发，甚至可以精确到特定的地区和城市。

　　　　如果说显性因果只需要事先标注和设定，那么隐性因果明显就需要挖掘和寻找了，而如何找到这些隐性因果，就是数据分析模块的主要功能，同时也是这个模块是否设计成功的一个标志性指标。

　　　　【马上就要515了，希望继续能冲击515红包榜，到5月15日当天红包雨能回馈读者外加宣传作品。一块也是爱，肯定好好更！】

第十一章　数据海洋和爬虫

　　　　数据分析模块是股神1。0的大脑，除了这个大脑之外它还需要其他几个关键性模块。既然做大数据分析，那么这个数据来源就需要有一个功能模块来解决，它专门负责数据的收集。

　　　　这个数据收集模块就像是股神的手脚，负责从网络上收集对应的数据，这个模块一个关键的组成部分就是爬虫。

　　　　国际互联网发展到今天，变成了体系庞杂内容浩繁的网状系统，这个系统上的信息节点规模数以十亿计，这些节点可能包括台式机、笔记本、服务器、大规模群组、智能手机、平板、智能导航终端、各类信息采集终端、信息发射终端等等等等。

　　　　只要能够链接上互联网，能够与互联网进行数据交互的，都可以视为一个信息节点，比如遍布城市的各类监控探头，各类通讯基站，严格来说都属于节点之一。

　　　　这些节点为互联网提供的数据类型也各种各样，有文字，有数据，有图表，有文档，有视频，有音频，有数据库；它们的表现形式各式各样，有通用格式，有专用格式；所有这些信息加在一起，共同组成了沉积在国际互联网中浩瀚的数据海洋。

　　　　这个数据海洋是动态的，它时刻处在在运动和更新之中，就好像各种洋流和浪涛一样，永不停息。

　　　　整个数据海洋分散在无数个信息节点之中，这些信息节点被各种通讯协议链接起来，让它们可以相互通讯。各种通讯协议中，有我们最熟悉的一种，就是url，也就是我们总会遇到的网站链接。

　　　　如果将整个数据海洋比喻成我们的地球，那么每个数据节点就是一个房间，而节点内的数据信息就是我们人类，所有的信息节点组合起来，构成了地球上的无数个城市，无数个大厦，无数个房屋。

　　　　各种各类的数据链接模式，就是承载人们出行的道路，而url不过是道路的一种，算是各个城市之间，各个主要的商业大厦之间互通的铁路和公路。它主要出现在公共服务器之间，就是说只要有了url，理论上来说它对所有数据访客都是开放的，任何人都可以抵达这个服务器，只不过它有没有门禁就是另外一回事了。

　　　　既然有公共空间，那相对应的肯定有非公共空间，除了url，还有很多链接模式，这些链接模式里，信息节点就像是私人住宅或者军事禁区一样，它并不是开放给公众的，虽然它同样存在于数据海洋中，但你是无法随便访问的。

　　　　当面对如此庞大浩繁的数据海洋时就存在一个问题了，世界这么大，我该如何找到目标，比如我想找感冒药相关的数据信息，我该怎么办？

　　　　正是这种需求催生了搜索引擎，搜索引擎可以帮助你快速找到目标，它就像一个找路指南一样，你只要告诉它想去哪，这个目的地大概什么特征，它就会帮助你找到无数个可能合适的目的地，并且把对方的url提供给你。

　　　　搜索引擎每天的访问量都是海量的，每一秒同时并发的搜索请求都是数以十万计的，在这么多请求面前，如果来一个请求它搜一遍互联网，这肯定是不现实的，不仅速度慢效率低，而且仅仅这类搜索请求就足让整个国际互联网陷入拥堵状态。

　　　　为了解决这个问题，搜索引擎就有了它特有的工作模式，它先尽可能多的将数据海洋里的信息全部找出来，然后存储在自己的服务器群组中，一旦有了搜索请求，它只要在自己的服务器里进行检索就行了。

　　　　而帮助搜索引擎完成找这个动作的就是爬虫。

　　　　因为国际互联网中的信息节点都是相互关联的，是网状联系的，每个节点上都会有很多个url。所以爬虫的工作模式就是遍历，当它开始工作时，它会以一个信息节点为起点，然后挨个访寻与这个节点相连的所有节点，当下一层节点还有url链接时，它就不断访问下去，直到将所有url遍历一次才算完。

　　　　因为整个互联网的网状结构，使它具备网状互通性，所以等爬虫将所有url遍历了，一般来说它就已经将整个国际互联网所有链接全部访问了一遍，这注定是一个比环球旅行更加令人叹为观止的行为。

　　　　而莫回既然想弄这个股神1。0，他想要搜集海量数据，那么他要做的事情其实和搜索引擎要做的事情很像，只不过搜索引擎是所有信息都要搜集，而莫回只需要关注股票相关的信息就行了。

　　　　这样的话，莫回的爬虫就必须在具备遍历能力的同时，还得具备筛选的能力。

　　　　遍历的能力解释起来很简单，就是你不能走回头路和冤枉路，游历过的url就犯不着再走第二遍了。一条新的url被发现，首先需要判断这条url是否已经走过，其次需要判断这条url被安排在什么次序去走。一个是重复性问题，一个是最优化问题，这就需要独特的遍历算法来解决。

　　　　而筛选功能就是通用爬虫和专用爬虫之间的主要区别，莫回的爬虫需要具备一定的识别能力，能够辨别某个url中的内容是否具备相关性，如果不具备那么就跳过，如果具备就将其中的内容复制回来待用。

　　　　这个筛选功能同样需要一大堆的算法来解决，不仅如此，它还需要具备自然语言处理能力，就是说它得具备对语言文字的理解和解析的能力，它得能够识别哪些文字内容是与股票相关的，哪些是无用的。

　　　　仅仅识别文字还是不够的，它还得能够识别其他格式的数据，比如它得能够识别图案，像是股票相关的各种k线图、柱状图之类的，爬虫必须能够将其与风景画或者自拍照区别开。

　　　　除了图片，其他的像是视频、音频、各类数据库之类的，爬虫都需要一一辨别出来，确定是否属于相关内容。

　　　　这里面将会有无数个技术难题需要解决，如果这个工作让莫回一个人来完成，几乎是不可想象的。

第十二章　把自己当驴使唤

　　　　当然股神1。0仅仅有分析模块和收集模块是不够的，它还需要有一个数据处理模块，如果说分析模块是大脑，收集模块是手脚的话，那么处理模块就是消化系统。

　　　　当海量的数据信息被从数据海洋中抽取出来，需要对这些信息进行加工处理，将它们处理成数据分析模块能够利用的数据模式。

　　　　比如某个上市公司一个年度财报，里面的内容非常之多，从人事变更到企业战略，并购行为，利润营收等方面都会涉及到，而这些东西又是关键性信息。一个数万字外加各种图标的财报，其中各种关键信息必须能够被分析模块理解并进行加工，这就是处理模块的主要工作了。

　　　　这个数据处理模块主要的功能部分其实是自然语言处理，程序本身是无法理解语言内涵的，它肯定无法理解“定向增发100万限售股”是什么意思，这时候就需要认为给这句话进行赋值，让它变成机器能够理解的数据信息。

　　　　比如首先进行意义分割，将定向设定为一个意义单元，将增发设定为另外一个单元，以这种方式将整个句子按照意义单元分割开来，分别进行赋值。

　　　　这一套加工手段里面就牵扯到人机交互的语言处理问题，需要人为的帮助计算机去理解和处理人类的语言，让机器能够看懂语法、语意单元，能够联系上下文，能够处理不同语境下同一个词组的不同含义。

　　　　简单来说，让机器能够理解人类语言，这就是自然语言的主要目标，同时也是这个处理模块的主要功能。

　　　　分析、收集、处理，这三大模块是股神1。0的主要功能结构，但是仅仅如此还是不够的，股神还需要很多的辅助模块。

　　　　比如它需要有存储模块，所有的数据信息搜集回来，必须整理加工好，然后分类存储起来，它就像一个超级图书馆一样，必须有自己的分类和存储规则。如果没有这些，你只是简单的将它们堆放在一起，你就可以想象，当你需要从数千万本书籍当中，找出某一页特定内容时，那将会是怎样一个痛苦而又恐怖的过程。

　　　　另外股神还需要相应的展示和交互模块，股神作为一个软件，它需要有自己的操作界面，需要能够将处理结果或者过程展现出来，需要能够接收指令，进行人机交互。

　　　　这五个模块组合在一起，并且能够顺畅的相互配合了，股神系统才算基本成型，而中间肯定会有各式各类的问题不停冒出来，这都需要莫回逐个解决掉。在使用的过程中，肯定还涉及到不停的跟新和改良，所有这些都将是莫回的工作。

　　　　按照莫回的估算，整个股神的体量不太可能低于100万行代码，如果想要让股神尽可能的完美而准确，那它的体量绝对会翻着跟头的往上翻。想要实现什么功能，你就必须付出相应的代价，如果你想要让股神的预测尽可能精确，那么不停的往里投入肯定是必不可少的。

　　　　这还仅仅是股神本身，如果想要股神运作起来，那么莫回必然还将面临着带宽的问题，爬虫一旦跑起来，海量数据就会被传回，这些数据至少也是t级的。

　　　　在计算机领域，数据大小的单位是1024进制的，一个字节为byte，1024字节为kb，1024k为m，1024m为g，1024g为t。

　　　　比如我们手机的存储容量可能是4g，笔记本的存储容量可能是400g，而一台笔记本的400g大概相当于一千部电影。

　　　　而股神通过爬虫搜集来的数据肯定是海量的，至少是t级别的，就是跑到p级别也不算是什么大事。比如1p的数据，它大概相当于250万部电影。人的一生也不过3万天，每天看十部电影，也足够看十辈子的了。

　　　　在如此大量的数据面前，莫回必然面临一个带宽问题，很容易想象，出租屋里的小区宽带肯定是不好使的。

　　　　现在超级本的运算能力已经获得验证了，应该是比较超常的，但是它的存储能力还未测试，如果存储能力不成的话，莫回还必须为这海量数据寻找一个存储空间。

　　　　诸如此类的问题还有很多，如果莫回想要把股神完成，并且上线运行，那么他必须像是老黄牛一样，勤勤恳恳的往前走，把这些挡路石一个个的全部处理掉。

　　　　本来这些事就是交给一个公司处理，一个成熟的团队来处理，都未必能够处理得很好，现在莫回需要一个人搞定