成都定制通軟件是專業(yè)從事計算機軟件開發(fā)的高科技公司,為客戶定制開發(fā)基于大數(shù)據(jù)的處理軟件、分析系統(tǒng)、預(yù)測系統(tǒng)。
我司可實現(xiàn)基于大數(shù)據(jù)存儲和管理,包括文件系統(tǒng)、數(shù)據(jù)庫和類似YARN的資源管理系統(tǒng);可實現(xiàn)計算處理層,如分布式并行處理架構(gòu)hadoop、MapReduce和Spark,以及在此之上的各種不同計算范式,如批處理、流處理和圖計算等,包括衍生出編程模型的計算模型,如BSP、GAS 等;可實現(xiàn)數(shù)據(jù)分析和可視化基于計算處理層。分析包括簡單的查詢分析、流分析以及更復(fù)雜的分析(如機器學習、圖計算等)。查詢分析多基于表結(jié)構(gòu)和關(guān)系函數(shù),流分析基于數(shù)據(jù)、事件流以及簡單的統(tǒng)計分析,而復(fù)雜分析則基于更復(fù)雜的數(shù)據(jù)結(jié)構(gòu)與方法,如圖、矩陣、迭代計算和線性代數(shù)。
支持Hadoop 的核心組件HDFS、MapReduce、Hbase、Zookeeper、Oozie、Pig、Hive等核心組件構(gòu)成。支持批處理的HDFS 和MapReduce 組件,以及Apache旗下的多個開源組件 Mesos、YARN、Mesos等,以及基于業(yè)務(wù)對實時的需求,支持在線處理的Storm,Storm被用于“連續(xù)計算”,對數(shù)據(jù)流做連續(xù)查詢,在計算時就將結(jié)果以流的形式輸出給用戶。Spark提供強大的內(nèi)存計算引擎,幾乎涵蓋了所有典型的大數(shù)據(jù)計算模式,包括迭代計算、批處理計算、內(nèi)存計算、流式計算(Spark Streaming)、數(shù)據(jù)查詢分析計算(Shark)以及圖計算(GraphX)。
支持4種大數(shù)據(jù)的采集源:管理信息系統(tǒng)、Web信息系統(tǒng)、物理信息系統(tǒng)、科學實驗系統(tǒng)。支持oldSQL、NoSQL 與NewSQL 數(shù)據(jù)庫存儲,支持存儲結(jié)構(gòu)化和非結(jié)構(gòu)化混合的大數(shù)據(jù),采用MPP 并行數(shù)據(jù)庫集群與Hadoop 集群的混合來實現(xiàn)對百PB 量級、EB量級數(shù)據(jù)的存儲和管理。支持大數(shù)據(jù)分析與可視化,對大數(shù)據(jù)的深度分析主要基于機器學習技術(shù)??梢暬饕婕皵?shù)據(jù)流線化、任務(wù)并行化、管道并行化和數(shù)據(jù)并行化4 種基本技術(shù)。
聯(lián)系人董先生 微信 dongkn