返回IT运维网
  • |
  • 文章EID:
  • |
  • 账号:
  • 密码:
把握先机 迎接大数据挑战
2015-04-13 企业网D1Net / 晨光

引言:当前,随着大数据时代的来临,要如何运用既有优势,同时克服将到来的挑战呢?专家指出,硬软件整合是的机会,但业界的思维必须转型,要从纯硬件的代工制造业,转为有能力针对特定应用,产生最佳的硬软件整合方案,而这也正是面对大数据时代的主要挑战。

以云计算为例指出,要做出成绩,但这几年在并没有明显成果,其中一个原因就是因为用旧思维做高科技,包括不懂软件,以至於只会做硬件,软件赚不了钱;太依赖代工、卖硬件,不会做服务;只会人云亦云、依样画大饼,要靠政府补贴才有竞争力。

云计算虽然已经帮大数据铺好路,但要应用大数据,需要三种人才,分别是能够解决具件问题的领域专家、理解大数据方法论的数据科学家,以及开发系统和应用程式的电脑专家。此外,还需要两种技术,分别是能够大数据分析及大数据系统。

参考国外案例,为了在大数据时代抢得先机,有的是比数据量大,如Google、Facebook、Amazon等,但多半以数字、文字、图片为主,如何蒐集与运用声音、影像、专业知识,便成为其中的关键;另一种方式,则是设立大数据研究机构,培养设计学程、整合跨领域人才等;也有企业透过设置比武擂台的方式,提供数据或问题,用奖金为诱因,吸引专家投入;或是研发与贩售大数据技术。

至於面对大数据时代的机会与挑战,目前还有很多尚未利用大数据解决的问题,业界不要好高骛远,应该要找寻适合耕耘的题目,但业界必须要由OEM/ODM,转型为附加价值更高的解决方案提供业者,利用硬件设计的优势,优化大数据的的软件及应用。

但目前的大数据高级人才相当短缺,各先进国家都在加强训练人才,因此一定要提供高薪机会,才能吸引人才;而因为大数据的技术层次高,必须让大学发挥创新与整合的功能,寻求跨领域团队合作的可能。

值得注意的是,由於应用和数据的价值日益提高,想要取得并不容易,反观系统软件很多都已开放原始码,很大方的提供给识货的人来用。洪士灏认为,需要组一个团队来创造扩大价值,善用人家的技术和软件,学会如何建构系统,并找寻高价值的应用,把这些进阶的系统软件和硬件整合在一起,将应用好好做出来,就是的机会。

整合难度非常高,因为效能好坏差很多,一看就明白,必须了解应用的特性,如数据量及存取模式,或是解决关键的效能瓶颈,如磁碟机、网路及处理机等。

了解大数据的应用特性更是重要。洪士灏指出,要提高处理效率,必须善用分散式处理与 computation-data co-location。由多台机器组成丛集,提高运算量和储存数据量;装置分散式档案系统如HDFS;尽可能在同一节点读取数据、计算、储存结果;在每个节点提供足够的运算能量;利用高速网路进行不同节点间必要的数据交换等。

值得注意的是,大数据的每个应用都有其特性,必须全系统面进行效能分析,才能达到预期目标。储存及网路都可能是瓶颈,但微软却在2012年创下1分钟内完成1.47TB的世界记录,而且使用的机器是之前的记录保持人雅虎的四分之一,却只要三分之一的搜寻时间。

大数据的读写常常都是瓶颈,过去都是用更多的磁碟、更多的交换器来解决,但也导致耗电等问题。如果能把数据放在记忆件,不但性价比要比放到磁碟上省很多,而且可以省不少时间,尤其是数据如果是在TB等级,放在记忆件会比放在磁碟上,来得更有意义。此外,异质运算值得重视,甚至连GPU也可拿来做大数据分析。

其实目前仍有许多大数据分析的需求,如医学影像分析、异质运算系统软件与效能工具、建构台大计资中心高效能大数据丛集、国科会大数据先导计画、植物工厂及资安监控与数据分析,都是大数据分析可以发挥的空间。

D1Net评论:

总而言之,大数据的应用或计算其实并不复杂,主要的挑战是数据量太大,如果能设计出加速的方法,就会很有价值。产业其实对软硬件整合并不陌生,在终端设备上也有表现不错的业者,但对於大数据的应用与研究方才起步,缺乏跨领域的团队与经验,唯有改变想法,用软件研发的思维,才能掌握先机,迎接大数据的挑战。

 

相关评论 [查看所有评论]
发表评论
请自觉遵守互联网相关的政策法规,严禁发布色情、暴力、反动的言论。
评价:
心情:
  • 支持
  • 高兴
  • 枪稿
  • 不解
  • 搞笑
  • 愤怒
  • 谎言
账号: 密码:
验证码 看不清?点击更换
相关阅读