大数据收集分析技术的最新动向

随着信息通信技术在各个领域的广泛应用，近年来，大数据（Big data）、物联网（IoT)、人工智能（AI）等技术的进步，引起了人们的普遍关注。由物联网获得的大量数据经过收集分析后，能够推定和预测出许多过去人们难以预料的结果。

大数据一词在2010年左右开始出现，此前一般称为数据挖掘（Data mining），两者都是指通过对大量数据的快速统计分析，从中发现或得到有用的情报。大数据的特点通常可以用4个V来概括，即Volume（数量大）、Variety（类型多）、Value（价值密度低）、Velocity（处理快）。因为图像、影像通常也包含着大量数据，因此图像、影像的分析也属于大数据的处理范围。

常用大数据收集分析技术

伴随信息通信技术飞速发展的脚步，现在各种数据的存储数量、传输速度以及处理能力均已达到较高水平。尤其是传感器网络（Sensor network）、SNS社交网络(Social Network)的日渐流行，使得数据采集量日益增大，人们因此期望可以利用大数据技术获得更多有用的信息。传统的数据处理技术类似最优化、统计学、机器学习、文本挖掘等，在处理大数据时也会经常用到。

文本挖掘技术

文本挖掘技术在当前的社交网络时代能够发挥更大作用。社交网络的普及导致出现大量的文本数据，调查分析社交网络中使用最多的单词、语言等，就能够把握当时全球多数人对某些问题的关注趋势与态度，这是非常重要的。

NoSQL技术

除了上述一些传统数据处理技术外，在大数据处理中也出现了许多新技术。比如NoSQL(Not Only SQL)，就是一种比ISO标准RDB关系型数据库的结构化查询语言（SQL）功能更强大的数据库技术。NoSQL采用简单的数据结构，不像关系数据库那样复杂，可以高速并行处理大量数据，在facebook等社交网络中得到普遍应用。

大数据技术在铁路领域的应用

铁路基础设施检测

为了监控运行列车部件的性能参数，包括转向架、车轴、轮对、轮毂的工作状态，许多车辆均安装了温度、红外、加速度、压力传感器以及摄像头等，能够实时采集到大量数据。轨道检测车日常巡检获得的有关轨道、线路、接触网工作状态的大量数据，均需要应用大数据技术进行存储、分析处理，及时从中发现车辆、轨道、线路等铁路设施存在的问题，用于指导维修工作，将故障、事故隐患消灭于未然。

铁路旅客运输

根据从售检票机中获得的数据推定旅客乘车人数和流动的趋势，作为修改调整运行图时的参考；利用大量历史数据实施分析研究、辅助决策，使得旅客列车的调度安排更加合理，能够快速适应旅客的出行需要等需求。

当前大数据技术存在的问题

数据库庞大繁杂，无法有效进行存储与提取

面对日积月累、以TB、PB量级计算的庞大数据，普通用户通常会搞不明白究竟应该如何进行存储和处理。面对庞大的数据库，经过分析后，往往不清楚能够发现哪些有用的具体信息，以至于影响了数据收集、处理的积极性。

相关数据收集困难，无法达到要求数量级

对于铁路事故、设备故障等问题大数据搜集，需要得到更多的案例或数据，以便采用大数据的预测工具进行分析，防患于未然。但是与事故、故障相关的数据却很难收集充分，根本达不到大数据的数量级，又不能过于敏感导致警报频发。怎样从庞大的检测数据库中结合人工智能技术的筛选和判断，及时选出合理的维修设备和对改善运输安全最有价值的数据。希望这些问题都能够在未来随着大数据技术的发展和应用逐渐得到解决。

（白玉林摘译，图片来自网络）

欢迎投稿欢迎读者们给「铁路视点」投稿或提供素材，联系邮箱：xxs@rails.cn

（编辑：海南站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!