大數據存儲計算平臺架構
WeShare-Hadoop提供分布式緩存層，數據可以通過消息中間件和分布式緩存（Redis）將數據緩存起來；提供分布式存儲層，支持文件式存儲、關系型數據存儲、非關系型數據存儲，滿足復雜的數據存儲場景；提供分布式計算層， 支持離線計算、實時計算、內存計算、離線分析、交互式查詢，滿足各種計算場景，并且提供ES全局搜索功能；提供業務處理層，完成數據的統計與分析，支持人工智能算法庫，實現數據挖掘，支持平臺日志審計；最上層是平臺的應用功能層，實現基礎的平臺功能。
針對大容量靜態數據集，提供分布式存儲、列存儲引擎，提供分布式計算、并行計算能力，靈活應對海量數據集的離線分析；平臺支持TB級、PB級離線數據處理
提供流數據的實時計算能力，將結果可及時投遞到在線系統，毫秒級低延遲，實現實時數據流的快速處理和反饋
提供交互式SQL查詢，千萬級數據查詢秒級響應，給數據分析人員提供快速實驗、驗證想法的大數據分析能力
提供全局的ES搜索功能，支持實時全文檢索，支持多值索引模糊搜索，搜索接口秒級響應，滿足企業數據查詢、文件檢索等多種需求
控制臺可提供可視化管理界面，提供全面的資源管理能力；支持大規模集群的多維監控、統一告警、性能調優、安全防護
平臺具備穩定的擴展能力，保障當前任務正常運行，實現零感知服務器、節點擴容
