卯卯 | 炼就一手绝世刀法!

日出东海落西山,愁也一天,喜也一天。遇事不钻牛角尖,人也舒坦,心也舒坦!

大数据场景下的算法


大数据情况下的普式算法应用问题。大数据情况下我们课本里的算法也是可以用的,但是速度会非常慢,那怎么办呢?

解决方案。

一,很多互联网公司,采取暴力来扛的方法,例如hadoop,spark...分布式的计算集群,基于内存的计算,速度很快。将普通的算法移置到这个分布式集群上,但是将普通的算法移置到这个分布式集群上时需要mapreduce化,要对算法测底的改造。

二,利用统计学的抽样,将大样本转化成小样本来处理,算出一套公式,将大数据问题转化为小数据问题。

三,大数据不一定是指数据大,也包括计算数据量很大的问题。例如,求完全图问题。指数增长,降低精度,提高计算速度。

发表评论:

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。

«   2025年4月   »
123456
78910111213
14151617181920
21222324252627
282930
控制面板
您好,欢迎到访网站!
  查看权限
网站分类
搜索
最新留言
文章归档
网站收藏
友情链接
  • RainbowSoft Studio Z-Blog
  • 订阅本站的 RSS 2.0 新闻聚合

Powered By Z-BlogPHP 1.5.2 Zero

转载请注明文章出处!!!!!