世界上 90% 的數據是自 2016 年以來生成的。企業、政府機構和消費者生成的數據量繼續呈指數級增長。根據市場情報公司 IDC的數據，到 2020 年，全球存儲了超過 40 萬億千兆字節的數據。
企業及其客戶生成的大部分數據都包含有價值的信息。但只有擁有分析大量數據的基礎設施、軟件和專業知識的公司才能提取該價值。在本文中，我們將了解什么是大數據以及企業用來從中提取有價值見解的軟件和硬件。
什么是大數據？
大數據沒有精確的技術定義。我們可能會將大數據視為超出企業在消費者計算機和小型服務器上存儲和處理內部能力的任何數據集合。對于小型企業來說可能是幾 TB，對于大型企業組織來說可能是很多 PB（1 PB 是 1,024 TB）。
一種可能的定義是根據“五個 V”對大數據進行分類。它們是速度、數量、價值、多樣性和準確性。容量是指有多少數據。速度是指數據生成的速度；大型企業每天可能產生數 TB 的數據。多樣性是指大數據可能包含多種類型的數據，通常是非結構化的。
企業收集盡可能多的數據，希望對其進行分析以獲得有用的見解。例如，他們可能希望對銷售數據執行同期群分析，以發現哪些客戶群體具有最高的生命周期價值。為此，他們需要收集、轉換和分析盡可能多的銷售數據。
什么是大數據分析的最佳工具？
有許多專為加速大數據分析而設計的專業工具。他們高效地存儲數據并使用優化算法（如 MapReduce）快速處理大量數據。它們經過精心設計，可以充分利用可用的硬件。
最受歡迎的大數據工具包括：
- Hadoop，一個分布式存儲和處理大量數據的框架。
- Cassandra，最初由 Facebook 開發的分布式 NoSQL 數據庫。
- Apache Spark是一種分布式大數據處理框架，被金融機構、電信公司、政府以及 Facebook 和 Google 等科技企業廣泛使用。
- ElasticSearch，一種分布式搜索和分析引擎，用于從企業搜索引擎到基礎設施監控和安全分析的一切。
- Knime，一個包含機器學習和數據挖掘工具的數據分析平臺。
也可以使用主流的關系數據庫工具，如 MySQL 和 PostgreSQL 進行大數據分析，這取決于所涉及的數據量和類型。
大數據集群與單服務器
您可能已經注意到，上一節中的工具描述通常包含“分布式”一詞。那是因為大數據工具期望部署在不止一臺服務器上。他們可以管理許多服務器的資源以快速處理大量數據。例如，Hadoop 明確設計為在數十個或數百個連接在一起的集群中的單獨服務器上運行。
但是，不會強制用戶在多個服務器上進行部署。對于較小的大數據分析目的，一個功能強大的專用服務器可能就足夠了。還可以啟動虛擬機集群以充當高規格專用服務器上的 Hadoop 或 Cassandra 節點。許多企業將專用服務器集群匯集在一起??，作為私有云中的資源池。然后，他們可以有效地管理和分配基礎架構資源，以在其私有云上啟動多個大數據分析項目。企業大數據基礎架構的最佳架構取決于所涉及的數據量、可擴展性和冗余性要求以及您將運行的軟件。
為大數據分析優化服務器
在為大數據分析選擇和優化服務器時，需要牢記幾個因素。
- 您會將大量數據傳輸到服務器進行處理。
- 如果您使用集群，則背板（服務器之間的連接）必須能夠處理大量數據。
- 大數據工具針對并行執行進行了優化，在每個服務器上使用多個線程并在多個服務器之間分配工作。
- 許多大數據工具（盡管不是全部）都針對內存處理進行了優化，這通常比基于磁盤的處理要快得多。
沒有適用于大數據的通用服務器托管解決方案。成本和能力的理想交集取決于每個項目的具體情況。但是我們可以在這里給出一些一般性的指導。
網絡
您將向服務器寫入大量數據，通常來自第三方服務或數據中心。如果網絡接口沒有足夠的容量，網絡可能成為瓶頸。如果您希望定期向服務器發送大量數據，我們建議至少使用 1 Gbps 或更多。
為了最大限度地降低數據成本，請選擇提供接近您期望傳輸的數據量的自定義帶寬包的提供商。我們提供從每月 20 TB 到每月 1000 TB 不等的套餐，為具有大量數據傳輸需求的客戶提供不限帶寬。
貯存
您的服務器應該有足夠的存儲空間來存儲您打算分析的數據，并有足夠的緩沖區來存儲分析過程中生成的中間數據。快速存儲是更可取的，但通常不需要為服務器配備數 TB 的 SSD 存儲。旋轉硬盤驅動器速度較慢且價格較低，但可能足以滿足您的目的。
您選擇哪種取決于您的數據的特定要求，但您必須能夠存儲您希望在每個時期分析的所有數據。Spark 和 Hadoop 都適用于多個驅動器。
記憶
就 RAM 而言，越多越好。大數據分析應用程序將消耗盡可能多的 RAM。Spark 和 Couchbase 等工具更喜歡在內存中進行計算，如果它們不必因為內存不足而讀寫存儲，那么處理速度會快得多。
對于生產工作負載，最好使用 64 GB 或更多的服務器，盡管沒有通用公式。考慮到您的預期工作量和預算，我們的顧問可以為您提供適當數量的 RAM 的建議。
處理器
Spark 等大數據分析工具將處理劃分到多個線程，這些線程在機器的可用內核中并行執行。例如，Spark 建議每臺服務器至少有 8-16 個核心，并且根據負載可能需要更多。針對更多核心進行優化比針對數量較少但功能更強大的核心進行優化會帶來更好的性能。
總之
大數據分析服務器的理想規格取決于您的業務需要分析的數據量和速度。我們的服務器托管平臺提供范圍廣泛的自定義選項，因此您可以選擇最適合您的需求和預算的服務器或服務器集群。要與我們的服務器托管專家討論哪種服務器托管適合您的大數據分析項目，請在此頁面的聊天窗口中開始對話，或通過電話或電子郵件聯系我們進行免費的初步咨詢。
