大数据采集技术介绍

点击上方蓝色字体

关注（英姿）伊伊麻麻

唯一不变的是变化

感悟

1.读书，是最值得的投资，回报往往超出想象。

2.如何读书？1)【读旧书】多读看过的好书；2）【读多次再版印刷的书】多读久经考验的书；3）【看点评】学会借他人之力，读自己的书

英姿碎碎念

最近在准备一个材料，顺便巩固了一下大数据采集技术介绍，总结出来，供大家参考。

主要参考《处理流程视角下的大数据技术发展现状与趋势》（陆泉）以及网络相关资料，在此一并感谢。文章目的有3个：

1）巩固并共享所学知识大数据搜集，期待大家的交流与反馈，共同提高。

2）欢迎汽车大数据领域的大咖、有志于投身汽车大数据行业的学弟学妹们，砸简历过来。

3）欢迎相关领域的公司洽谈合作，形式多多，互利共赢。

碎碎念到此结束

基本介绍

大数据相关技术可以运用于多个领域，如环境保护、金融经济、工程技术、生物医药等等，将海量数据进行有效分析并加以利用是大数据最重要的意义（划重点，有价值才是关键，技术如此，人也一样）。

汽车行业大数据目前仍处于发展初期，产业链各环节如规划、研发、生产、销售、后市场、置换、报废等，都有无限的前景和可能性（快来加入我们）。

就目前技术而言，大数据处理流程基本可以划分为基础资源层、数据采集层、数据存储与管理层、数据分析与计算层、数据应用与展示层5个方面，如图1。

图1 大数据技术框架

大数据采集技术

比较流行的几个数据采集工具，主要有Flume（分布式管道架构）、Fluent（可插拔式架构）、Splunk（分布式机器数据平台）等，大多抽象出了输入、输出和中间缓冲的架构，利用分布式的网络连接，可以实现一定程度的扩展性和可靠性。

我们用的商业化产品，想知道名字的，可以私聊^-^。

比较流行的几个ETL工具，主要有DataStage（IBM公司）、InformaticaPowercenter（Informatica公司）、Kettle（开源免费）等，都能以图形化界面配置完成作业设计和任务设计，实现快速地开发和部署并且提供了丰富的数据映射和转换函数。

我们主要是用Kettle，在RAC环境或数据量巨大时，也踩过很多坑，都记录在了博客里（好像也好久没更新了，面壁中。。。），，供需要的小伙伴参考。

随着汽车新四化（电动化、网联化、共享化、智能化）的到来，与汽车相关的数据呈几何倍数的增长，未来，每辆车每天产生的数据预计在TB级别，甚至能达到PB级别，因此数据采集过程中的数据量、实时性、传输速率等问题，是我们研究的重点。当然，现在数据量还没那么大。

目前我们采集到的数据质量很高，因此，只需要完成数据库选型和解析过程就可以。正在做数据库的对比测试，选用了市场占有率排前10的两个数据库，待测试完成，给大家分享结果。

暂定下次分享《如何阅读一本书》或者《定位》观后感或者Flink技术。

另外，再推采铜的《精进》

如何对待时间？

做半衰期长，也就是能够带来长期受益的事情。（采铜法则）

这里不是杜绝及时行乐，而是把时间分配的重心转移到长期有价值、可以被积累叠加的的事情上。比如之前10小时里，6小时及时行乐，4小时用于提升自己。那么现在可以6小时提升自己，4小时做让自己快乐的事情。

如何做出最好的选择？

重要的一点是给自己设立一个很高的标准。比如找到一个能糊口的工作和找到一个能实现自我，又能糊口的工作，做出的选择肯定不一样。所以，要想找到好东西，先要有一颗想找到好东西的心。实现途径是尽可能扩大自己的可选项。

怎么样行动？

快速行动的正确姿势是先做出一个最小化的产品，然后在市场的不断反馈中，进行更复杂、更优化的改造，完成产品迭代。

怎么修炼思维？

1）简洁的表达与写作；2）周密的思考；3）借助工具。

简洁：剥离每一句话中间的杂物，如没用的词，无关精要的定语等等。

矩阵式思考：

理想的交流

可借助的工具诸如创意表格、做清单、混乱等方法，书中都有详细介绍，每种方法都有启发，让灵感源源不断的涌现

怎样努力？

木桶原理是用来形容团队的，对个人并不合适。一个团队的整体能力，取决于能力最低的那个人，所以于个人而言，要重点突出自己的优点，才会给团队带来真正的价值。因此要把主要精力放在发展自己独一无二特长上面。

开启新旅程

生命由一段又一段的旅程衔接而成，在每段旅程中，都能发现不一样的风景

不忘初心，方得始终

你若盛开，蝴蝶自来

（编辑：海南站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!