热门下载（点击标题即可阅读）
?中国数据分析师行业峰会精彩PPT下载（共计21个文件）
《盛尊阔：航运大数据洞察全球经济贸易》——央视网大数据名人讲堂之交通大数据产业系列
嘉宾介绍盛尊阔亿海蓝（北京）数据技术股份公司航运大数据事业部总经理
盛尊阔，10年航运及数据产品从业经验，长期致力于航运视角下的全球船舶运输、物流管理、商品贸易以及大宗商品金融期货等领域的研究。主导船讯网（国内首例、全球最大的船舶跟踪平台）、航运大数据平台等相关信息及数据衍生品产品、研发及运营工作。
各位观众，大家好，非常高兴能够受邀来参加央视网《大数据名人讲堂》节目。首先做下自我介绍。我是盛尊阔，目前在一家航运互联网公司就职，从业十多年，一直专注于航运互联网方面的研究和工作，希望能够利用航运大数据描述航运物流的变化，航运业的发展趋势，以及建立在航运基础上的国际贸易。尝试利用航运大数据来解读国际间的货物贸易活动和经济活动。
今天，大家来看下我分享内容的副标题“KnowingWhatsHappingatSea".海上除了阳光、沙滩，日落，海风之外这些美景之外，还有更多不为大众所知的信息，那就是我们的贸易。今天跟大家分享的主题就是如何通过航运大数据来洞察、分析、感知国际贸易的变化，以及贸易背后的金融风向。
今天我的分享大致分为三个模块。
1.航运与贸易。主要介绍航运的历史及特点，介绍航运与国际贸易的息息关系。
2.航运数据的采集与处理。（我不是技术专家，这里主要介绍目前我所接触到的航运数据类型，以及相关数据里数据的方法论，以便大家了解基于这些数据基础上的应用。
3.第三个模块是航运大数据应用，这是需要着重介绍的板块，主要及介绍航运大数据是如何服务航运、服务贸易以及贸易背后的全球金融资本。
首先介绍下航运的特点，第一项：历史悠久。古有刻木行舟，这是最早的船舶模型了，当然还没有到船舶运输的地步，人类的航运是从小河开始的，随着造船工艺的进步逐渐有小河到大河，到江，到海，到大洋。在航运历史上有几个比较重要的节点，目前海运能够记载的比较知名的案例，最早就是15世纪初的郑和下西洋，率领多条船2.7万人的规模，最远到的红海地区，一方面实现了政治影响力，另一方面拓展了贸易的航线。而欧洲的国际海运其实是从海洋探索开始的。最知名的是哥伦布年发现了美洲大陆，后来美洲大陆就被欧洲殖民者瓜分了，年-年，麦哲伦完成了环球航行，误打误撞中发现了印度次大陆，证实了地球是圆形的推论。而在16世纪以后，是欧洲在全球范围内殖民的一个过程，殖民地和宗主国之间的货物运输，极大的促进了航运的发展。在二战以后，世界范围内迎来了和平，各经济体之间发展迅速，全球化分工日益明晰，合作也日趋紧密，随着科技发展和造船工艺水平提高，船是越造越大。50年前万吨船舶已经是巨无霸了，现在40万吨级的船舶已经稀松平常，做个对比，美国尼米兹级航母只有10万吨级。
第二个特点高风险性。海洋有善意的一面，也有风险的一面，特别是在航运初期的时候，船舶工艺和水平都比较有限，自然条件对航运的影响时最大的，经常出现很多连船、人、货一同沉没消失的情况，这种题材的新闻、电影大家肯定也看过不少。人类在海洋面前，真的是束手无策，特别是早起的时候。不过发展到今天，随着船舶的智能化水平越来越高，航运的风险性也逐渐降低，全球范围内每年发生船舶倾覆、沉没的重大事件在逐渐减少。同时，为了规避航运的高风险性，航运的保险业也起到了很大的作业，保护航运业健康的发展，不然航运业早就倒闭了。任何一家企业，都无法赔付整条船的损失。
第三个特点就是国际化。因为航运连接的是国家之间的贸易，需要在不同的国家之内往返，这就要求航运领域内的法律体系，安全标准、运营标准、行业标准都是国际化的，不然只满足某一国的标准，另外一个国家就无法停靠。这里，联合国在二战以后，就成立了专门的机构，叫国际海事组织，专门就航运规范、安全运营等方面制定标准。
第四个特点是：贸易支持。根据世界经合组织估计，全球贸易量的总价值在16.5万亿美金，以贸易货量统计，90%的货物是采用海上运输。通常情况下，大家都感觉海运距离我们很远，其实我们生活中的几乎每个商品都与海运相关。比如一只铅笔。他的木材可能来自阿拉斯加或所罗门群岛，铅可能是来自斯里兰卡的石墨和菲律宾的黏土，而二者的加工可能在广州的一个小厂进行，铅笔外观的黄色涂料可能来自马来西亚，支撑橡皮擦的黄铜管是用锌、铜和镍合成的，他们分别来自不同的国家，澳大利亚、智利和印度尼西亚，橡皮擦是印度尼西亚的蔬菜油、意大利的浮石与各种黏性化学制品的混合物。从这里可以看出这些生产商品的原材料都分布在不同的国家，而这些原材料的加工又在另外国家，加工的成品可能销往日本、韩国、美国、欧洲，当然也是依靠海运完成。所以航运是我们贸易和经济的支撑。
说完航运的特点，我们来说下贸易的特点。贸易的整个特点来说，他是由全球的分工和资源分布决定的。比如说，大宗商品。大宗商品主要分为矿石、能源、谷物等，这些商品的产地相对和资源的消耗地相对固定，比如铁矿石主要的产地是澳大利亚，巴西，进口地主要是中国、日本、韩国，镍矿的主要产地是菲律宾、铜矿的产地主要是智利、而稀土矿的产地是中国，原油的产地是中东、美湾和北欧地区，消耗地主要是能源消耗大国，如中国、美国、日本、欧洲等，谷物的主产地集中在美洲，如加拿大、美国、巴西、阿根廷等，进口地主要主要集中在人口稠密的亚洲地区。这些所有的大宗商品保持着固定的流向。其实在生产原材料制作成工业制成品以后，商品的流向也是相对固定的，比如东南亚生产的电子产品、衣物、玩具、家具、瓷砖等，主要销往欧洲、日本、北美地区，这也就是说明了，为什么日本是我们的第二大贸易出口国，第三大贸易进口国。
刚才已经讲过，因为运输成本的问题，大宗货物以及低附加值的商品，如衣物、鞋帽、瓷砖、家电等工业制成品，都是通过海运完成，在全球范围内，通过海运完成的货量占据种货量的90%。比如，从上海到鹿特丹，大约2万公里左右，运费只有多美元，这是空运、铁路、公路运输无法比拟的优势。
在大宗商品运输领域，由于装货地和卸货地是相对固定的，而两个地点分布在地球不同的地方，这个两个地点的距离又是固定的。一旦货物装上船舶，既可以通过船舶的航行速度准确的预测货物的预计到达的情况。通过研究货物的时空关系，反向的推测货物供给量的变化。而商品在短期内的价格波动，主要是由于供给变化决定的，这个信息可以被用来做投资决策和采购决策。
另外，全球货物类型不同情况，大致可以区分为：原材料、液体原材料、初级加工品、成品等，根据货物的不同，运输的船舶也越来越专业化，比如集装箱船，完全标准化，所有的货物都装进20英尺或40英尺的货柜里面，船舶只负责运输集装箱货物，而不关系货柜内部的货物是怎么组织的；液体散货船，如LNG，LPG，已经完全专业化；还有企业运输船，我们进口的每一辆汽车基本上都是靠这种汽车运输船从日本、美国、欧洲运输到中国，运输工具完全专业化。
据世界经贸组织的估计，全球每年贸易总额在16.5万亿美元左右，相当于世界第一大国美国的GDP总量，是中国年GDP的1.5倍。经过30年的快速发展，我们中国现在已经成果世界第一大贸易国，年进出总额约3.92万亿美元，约占全世界贸易总额的20%。我国在贸易总额高速增长的同时，我们的沿海港口吞吐量也在飞速发展，全球前10大港口中，中国占据7席，每年的集装箱吞吐量在2亿箱左右，我们的港口吞吐量已经连续十年全球第一。
前面讲了航运和贸易背景的一些知识，这里我们讲一下航运和贸易数据的问题。根据波士顿咨询机构研究，所有传统行业中，保险行业的数据最大，航运业相关联的数据次之，列第二位。
航运中为什么能够产生如此之多的数据呢，是缘由于航运业务的复杂度以及航运产业链条的对协同的要求。请看这一张图。这张图清晰的描述了一票货物是融合在买卖双方达成交易后，完整将货物交付给对方，在航运端需要的环节和角色。总的来说，分为三个方面：贸易双方的买卖角色，物流运输方的系统角色，以及费用支付涉及到的国际间资本传输通道。
在整个航运与贸易的领域里，根据上一张PPT中的角色不同，不同角色之间的联通产生了3种不同的数据，而这3种数据贯穿了整个航运和贸易阶段，他们分别是：资金流、物流和信息流。资金流比较好容易理解，是各个角色之间因为业务的关系，产生的资金支付行为；信息流，主要是只相互角色之间账单、订单、信息共享等数据；物流其实是指因为货物的时间、空间专业而需要产生的数据及服务。
因为中间角色较多，航运和贸易的数据，主要有三个显著特点：交易角色多；交易流程长，完成一个交易需要在10多个角色的参与以及1月~数月不等的时间投入，甚至几万公里的海上运输；数据壁垒，航运业是一个比较古老的行业，虽然具备国际化的特质，但是在其信息化，特别是各角色之间连通性上来说，数据壁垒还是非常严重，往往一个角色的信息因为信息交货或者系统无法对接，这些数据都无法真正在一个产业链条上很好的流转。目前大部分还是靠电话、邮件和大公司的订单系统交换信息，各个角色之间因为信息化水平的产业，造成每个角色和环节之间的数据壁垒非常严重。
刚才已经讲过，全世界贸易的85%都跟航运息息相关，通过看待航运的动态、发展趋势，可以间接的反馈全球国家之间、地域之间微妙的贸易变化，通过贸易变化，看待全球产业分开和资本流动。看待全球资本流动的三个方式是：借贷、投资和贸易，其中贸易是最主要的国际资本流动的渠道，而航运又是贸易最主要的支持工具，所以通过航运可以清晰的描述贸易、描述贸易背后的国际资本流动。
航运是由3个最主要的部分组成，分别是：船、港、货。船舶是载体，港口时航运的中转枢纽，货物转移的时空需求，是航运赖以存在的根本。航运大数据，其实就是研究这3者的动态变化，从而描述整个航运大变化趋势，以及这种变化趋势是如何反衬贸易的变化趋势，洞察区域之间的经济发展。
在第一章节，我们介绍了航运的背景，特点，以及航运与贸易的关系，这个章节我们主要介绍，目前我的研究范围内能够获得的航运数据，以及这些航运数据的采集和处理方法。
这个章节分为3个部分，数据采集、数据处理、数据挖掘。首先，我们先说数据采集。
首先大家在地图中，看到的每个绿点都代表一条船舶，通过视频，我们明显的可以看到，全球范围的主要的航线，清晰可见，比如欧美航线、南美-欧洲航线，印度洋航线、中日韩沿海以及北太平洋航线。这里，不要看这些绿点很稠密，但是其实在海上航行时，船舶连续航行几天，看不到一条船也是常有的事情，其实他们距离的非常远。
那么这些数据是怎么获得的呢？这就要源于我们刚才介绍到的，航运国际化的好处。国际海事组织，在年的时候，为了减少船舶在海上发生碰撞的几率，就出台了一个国际标准，所有总吨以上的国际航行船舶，在4年底之前，都应该安装一个叫做AIS，中文名称叫做船舶自动识别系统的设备。该设备实际上是一个无线电收发设备，他可以不停的对外广播本船的名字、位置、航向、速度以及目的地、预到时间等，同时他也可以接收其他船舶发出的同类信息，这样即使在大雾天气，雷暴雨天气，晚上等影响人眼观察的条件下，就可以在雷达屏幕或者AIS屏幕上，清楚的知道附近船舶的动态，本船可以比较好的避让，减少海上事故的发生。
在4年国际规则完全实施之后，全球范围内出现了几家大的公司，根据AIS通信的原理，在岸上搭建一些AIS基站，这样当船舶靠近岸边时，就能收到船舶的位置等动态信息了，十多年过去了，发展到今天，基本上全球范围内的主要港口，都有了不同AIS服务商的基站，在国际上，这些AIS服务商成立了联盟，在联盟内进行AIS的数据交换。
但是岸基AIS接收机有个弊端，就像我们的手机信号一样，如果距离基站太远，比如在公里以上，基本上就收不到船舶信号。好在最近几年，还是因为通信技术的发展，和市场前景的预估。美国人开始在发射的卫星上，安装AIS接收机，就像我们在没有手机信号的地区，需要使用卫星通信电话一样。这项技术，让船舶在大洋中航行，实时监控，提供了技术的支持。
目前，全球范围内，每天能够收到大概14万条的船舶数据，1亿条左右的船舶数据，能够覆盖总吨以上的所船，是一个全样本的船舶数据，这也是能够用航运洞察经济最主要的数据资源。
刚才我讲过了AIS数据的收集原理，其实这个图能够更形象的表述，船舶是如何获得这些AIS信号的。目前我的研究对象和范围，能够每天0多个类似移动通信塔之类的信号站，覆盖全球范围内的1个港口。
在解决了船舶在哪里的问题之后，我们还要解决船舶是谁的，船有多大，船是什么时候建造的，发动机的功率是怎么样的，船是什么类型的等船舶资料信息。就像我们研究车的数据一样，不仅要知道车的实时位置，还要知道车是谁的，什么牌子的，排量是多少，是家用汽车还是货车等。其实船舶也一样。
船舶在这块数据收集的好处，还是其国际化。国际海事组织，为了推行船舶的标准化，其实为是为每个船舶颁发了一个叫做IMO编号的东西，船舶终生不能改变，无论是船舶发生买卖还是报废、沉没，并且一旦发出，及时船舶消亡，也不会重新使用。这就像咱们汽车的发动机编号，终身唯一，像人的身份证一样，无论在那个地方居住，无论户籍在哪里，编码终身不变。目前这个船舶档案库，大概有多个字段，包含了全球所有总吨以上的国际航行船舶，也是一个全样本的数据，并且好在能够每周更新。
讲完船舶的数据，我们讲港口的数据。在第一章末的时候，我讲到航运物流的研究对象是船、港、货。大家来看这张图，是我们将年所有在天津港停靠的船舶的轨迹点，都打在了一张图上，为的就是清晰的刻画出，天津港的范围、锚地的地点，以及船舶经常航行和停留的地域。
再进一步，我们还通过人工和程序的计算，将港口码头的地理范围计算出来。归功于全球航运的国际化，全世界的港口数据也是公开和全样本的。我们使用这些数据，准确的为每个港口做一些画像。
这是基于船舶历史的轨迹和特征绘制出来的港口位置点信息，就像根据历史车位，可以绘制出停车场每个车位的信息一样。左边是船舶在港口行为的一个特征图，在A点的时候，船舶在锚地停靠，轨迹是固定在一个范围内扰动，在B点的时候，因为船舶被缆绳捆绑在了泊位上，其码头朝向和位置变化很小，C点是船舶在离港前，有引航员下船的特征，船舶会减速，或者在原地掉头等。
右侧图片就是经过清洗后，船舶停靠在香港泊位的情况，效果非常好。
通过对船舶历史行为的分析，将过去1年内所有的船舶轨迹放在一张图上以后，就得出下面的效果，线的颜色越深，通过的船舶数量越多。所有国家间的贸易流动也一目了然。
在陆地上，我们有成熟的路网，比如我从央视到天安门，现在几乎所有的地图厂商都能给我指出一条道路。但是在海上，因为没有路网的概念，但是正所谓“海上本无路，走的多了，就成了航路”。我们研究中心通过对船舶的历史数据进行分析，拟合出了全球所有港口之间的航线数据，形成了海上的路网。
集装箱运输，也称为班轮运输，其实是每周定点的班期，就像我们的航空班次或或者的列车时刻表。每个货主在准备发货之前，他都需要查询下是否最近有他合适的班次。我们研究中心，现在通过市场的方式，获得了全球主要船公司的船期信息，约占全球运力的90%，也几乎是一个全样本的数据。
船期的数据，其实跟航空信息类似，主要包含哪家船公司，什么时间，什么地点，发往哪里，是直航还是中转，运费是多少，用什么样的船，船有多大。你看，跟咱们选择航班可参考的因素完全一样。
除了船舶的数据之外，就是货物的运输数据。我们大家目前都比较熟悉的，在淘宝或京东上购物。当我们负完钱之后，也就是贸易环节完成之后，后面就是物流环节。这个时候，我们就能够在京东上知道货物的每个节点，从打单，拣货、大库发货，配送门店，一直到派送员的实时位置。其实我们的航运也是类似，目前我们研究中心从市场上手机到的货物跟踪数据，可以覆盖全球62加的船公司，运力覆盖94%，也几乎是一个全样本的数据，里面有20多个货物的节点，收发货人，通过这20个货物节点，基本就能做到实时的跟踪自己上百万的货物状态。
上面就是我们中心掌握的数据以及数据采集的方法，主要包含船位、船资料、港口数据、航线数据、船期数据、货物节点数据等。这个模块我们快速讲解下，我们是如何处理这些数据的。
这个数据处理比较复杂，这里就不详细叙述了。主要是经过3个环节：1.我们采集到的这些原始数据，要把他存储起来2.利用各种规则，，复杂算法，对数据进行清洗3.根据数据特征的不同，建立各个数据的基础数据集合。
在数据处理完毕之后，只有可视化才有价值。就像陆地一样，陆地有地图，航海上其实是有海图，将收集到的数据，按照一定的规则显示在符合国际标准的电子海图上。这里我还要赞叹下，航运的国际化标准水平之高，截止目前，全世界几乎所有的地图厂商都是在使用自己的显示标准、加密标准，包括百度、高德、google、微软等，而海上的用图的标准，早在10年前，国际水道测量局就做出了规范。
有了图，有了可视化，就能够让原来冷冰冰的数据变动鲜活起来。国际主流的AIS厂商都在使用不同的方式，展示活动的这些数据。这个是去年底圣诞节那天，青岛港的某条船靠港动态的录像，让千里之外发生的事情，实时的能够看到。
有了实时的数据单元，还不可以。数据最大的价值是在于其多维、大量、并发、实时的计算，本章节我介绍下一个是数据分析方法。
这张图是一条船舶按照时间序列的位移图标，没有任何的地理空间信息。当然这里，每天有1亿条这样的数据在存储，非常杂乱无章，看不出什么价值。
好，我们这里给他加上空间节点的信息，我们会发现这条船在某个时间到了什么地方，停留了多少时间。这个方法就像我们的手机定位一样，如果没有空间信息，只有GPS的位置，我们只能看到一个人走走停停，走的速度、方向、停留时间而已。如果把空间的信息加上以后，我们就能知道一个人，他住哪里，在哪上班，周末喜欢去哪里，其实就有了行为的数据，对传来说，就是将船的轨迹数据，转化为了船的行为数据。
当我知道了一个船的行为数据之后，其实还需要更多纬的数据去看他。就像我刚才讲到的人的行为，但看一个人的行为，在规模经济上难以形成价值，但是如果掌握所有人的行为信息，这个商业价值就更加凸显。在第二章节数据采集中，我介绍到，目前国际上有全世界全样本的船舶资料数据，包含多个字段。这个时候，我就能够将船舶的资料信息加入进去，根据船舶的吨位、大小、类型、上下港关系，分析出船舶的载货情况，间接的分析贸易流动的情况。
当然，由于货种、船舶的运输特点，目前只能研究大宗商品的货种，对于集装箱运输的货物，无法做到精准的研究。
回归到原点，航运大数据的挖掘，还是专注于船、港、货三种的相互关系。船舶主要是从其历史的行为、自身的资料来分析；港口主要还是其经营能力和效率上来分析；货物主要是从他的货品、货量、货源地、目的地等深度挖掘。
我们前面讲了这么多，从航运的历史、贸易的特点，到数据的采集处理。第三章，我重点讲解下航运大数据的应用。
第一个应用是航运大数据第一层次的应用，及时船位，这个主要应用与航运的生产领域。
比如：在货物跟踪上，因为货物是通过船运输的，跟踪运输工具，基本就能知道货物所在的位置。
动态监管，主要是面向的海上主管机关，比如海警、海关等，监督海上违法事件的发生。
调度优化主要是面向港口生产，能够帮助港口更好的安排进港计划，做到先来先靠的原则，避免灰色地点的发生。
海上安全，这个主要是面向国家层面上的，比如最近比较敏感的南海问题，中东地区。
渔业生产，主要是通过实时的船位，监控渔船捕鱼的行为，现在我们过的远洋捕捞作业能力激增，通过实时位置对渔船的安全性和守法行都能做到很好的监控、
海事监控，也是政府的主管机关，某些程度上就像我们的交警和交管局，既管理海上交通，也管理船舶登记注册。
海上救援，在恶劣天气时，发生突发时间时，快速、实时跟踪受害方位置也是至关重要的。
这个实时位置，在不同的使用者手中，用同各不相同，但是都是同一个数据。
前面讲到，贸易的物流过程是分为几个重大的节点的，就集装箱而言，主要分为工厂到港区，海上，目的地的港到工厂，三个阶段。对于贸易而言，航运环节的透明，是其重要的一个需求。基本上通过航运大数据的分析，就能够至关为收发货人提供比较直观的货物跟踪状态。
航运的运输工具主要是船舶，往往船在哪里，一方面决定区域范围内船舶的使用价格，也就是租金，另外一个方面，也是描述在未来一段时间，运力的供给变化是怎么样的。我们都知道，货物不可能自己有一个港口移动到另外一个港口，而这些移动工作是靠船舶来完成的。船舶运力的供给和分布，在某些程度上决定了未来货物供应的情况。举例说明，目前分布在中东地区的油船很少，大部分油船都在远东地区被用来在海上储油平台，减少了运力的供给，而这些船从远东地区空驶到中东地区，需要20天时间，这也就会间接影响，在未来20天内中东地区出货量会减少，未来50天内，远东地区可能到岸的油品也会减少。
现在通过大数据的手段，可以实时的查看全球主要船舶的运力分布，以及历史状态上的运力情况，结合过去市场的变化，基本可以推测出商品价格的走势，以及期货商品的变化量。
另外，实时的船舶运力分布，对于船舶经营人适当的调整航线，布局运力，也是很好的一个指引，帮助航运公司合理布局运力，获得更客观的运费收入。
这几张图，分别是原油，液化石油气、铁矿石、液化天然气船舶的分布情况。大家从图中都可以看出，远东地区是最主要的运输目的地。
影响贸易进度，除了在海上的运输过程，还有在港口等待装卸的过程。我们中国地区的港口在全世界范围内都是最发达的了，我刚才已经讲到，全世界前10大港口中，我们中国占据了7席。而在其他一些欠发达的地方，港口设施比较差，港口的作业时间和海上的运输时间都差不多了，这个时候，可以通过航运的大数据对每个港口的效率做个一个实时的统计和评估。为每条船评估出预计到港的时间，预计在锚地等待卸货的时间，在港口的作业时间等，这个信息用在不同的用户角色中，体现不同的价值，但是最终都是为了贸易更顺畅的进行。
如：对于货主来说，港口的拥堵情况和效率是他决定是否在某个港口装卸货主出现异常时的补救措施。对于港口来说，是提升自身经营效率的一种促进，已经横向的看到自己港口和其他国家港口的差距，甚至是提升空间。
当然，以港口某种船型或者货种做单独的研究，可或者某种贸易的流向以及变化情况。
今天我跟大家分享这么多，实质上我们就是希望能够通过航运数据做到一点，预测贸易变化，就像我们今天的主题一样，航运大数据洞察国际经济贸易。研究全球商品的供给变化、区域货物、货量的变化。在这张PPT上，分别是某个时刻，铁矿石、油船、液化天然气、液化石油气等基础能源的贸易流量和流向图。
前面已经讲到，全球的主要货物都是用船舶运输，主要的生产原材料都是使用散货船来运输，并且每种基础原材料都有相对固定的收发货地。目前全球范围主要开展的商品研究，主要集中在以下这些货种，分别是铁矿石、原油、液化天然气、液化石油气、谷物等。
刚才我提到的大宗商品，一方面他具备商品的可以被买卖、消费的属性，另外一个方面，他也具备金融的属性。在全世界注明的量子基金、期货公司、证券公司中，他们一方面对大宗商品常年的宏观数据比较
