Spark性能调优实战学习心得

Spark性能调优实战学习心得

克里斯·安德森在研究经济富裕的后果时，再次谈到了在1954年，原子能委员会 [70] （Atomic Energy Commission）主席刘易斯·斯特劳斯（Lewis Strauss）经常抱怨的：“总有一天，核能将会变得便宜到可以忽略不计。”

和大多数流行的名言一样，它背后还有个不为人知的故事。当克里斯·安德森调查“便宜到可以忽略不计”这句话的背景和历史时，他被提醒说，“便宜到可以忽略不计”并不意味着电力应该是免费的。只是说计量的费用将超过电力的成本。但是，如果刘易斯·斯特劳斯是正确的呢？至少对电力而言。如果它是免费的会发生什么呢？

我朋友在屋顶安装了大量的太阳能板，这在某种情况下就是“便宜到可以忽略不计”。在阳光充足的日子里，他们的电力过剩，往往超出了需求。所以这个发电冗余的装置，让它们的电表往回走。在这种情况下，你来测测看！正如安德森所指出的，我们使用的带宽和数据存储往往是向廉价的电力看齐的。它仅仅是一种我们不重视的廉价工具。也许有一天，我们甚至可以创建和上传更多的比特，比我们下载的还要多。但大多数时候，我们并不知道每比特数据需要支付多少钱，因为它是一个小数目。而每比特的费用持续下降会鼓励着我们更多的使用它。

但我从“便宜到可忽略不计”中得到了不同的教训。

终究，计量（测量）电力在某种程度来说甚至比免费电力更便宜。所有的太阳能电池板监测和计算着它们的免费电力。因为监测信息是如此便宜，以至于它变得越来越便宜，直到没有理由不去计量一切事物。先说清楚：以前使用“计量”一词意味着监测和收费。电力公司监测使用情况，这样他们就可以从中收取费用。但在富裕的新经济里，在不收费的前提下来监测使用情况，也完全可以从中提取出新的价值来。