工作職責:

1、負責集團大數(shù)據(jù)平臺的部署和開發(fā)工作，日常運維大數(shù)據(jù)平臺；

2、快速響應業(yè)務部門的數(shù)據(jù)需求，并及時給出技術解決方案；

3、制定集團大數(shù)據(jù)平臺的開發(fā)標準和規(guī)范

4、負責集團大數(shù)據(jù)平臺相關技術的培訓工作

任職資格:

1、本科及以上學歷，計算機相關專業(yè)，3年以上大數(shù)據(jù)平臺開發(fā)經(jīng)驗，有至少2個完整的大數(shù)據(jù)項目經(jīng)驗，有車企項目經(jīng)驗優(yōu)先；

2、掌握Hadoop、yarn、spark、hive、sqoop、zookeeper、kafka等分布式系統(tǒng)/組件，有CDH運維經(jīng)驗優(yōu)先；

3、掌握大數(shù)據(jù)的完整處理流程，包括采集、清洗、預處理、存儲、分析挖掘和可視化以及架構設計、開發(fā)、部署、運維工作；

4、掌握常用的數(shù)據(jù)庫，如Oracle、MySQL、SQLServer等，熟悉SAP HANA數(shù)據(jù)庫者優(yōu)先 ；

5、掌握SQL和SQL常用優(yōu)化策略；

6、熟悉Linux或Unix系統(tǒng)，熟悉Shell編程；

7、熟悉至少一種ETL工具，如Kettle、Talend、Informatica、Datax、DataStage等；

8、熟悉至少一種報表可視化工具，如tableau、帆軟、PowerBI、Qlik等；

9、了解主流的編程語言和框架，熟悉Python者優(yōu)先；

10、熱愛大數(shù)據(jù)工作，關注并了解大數(shù)據(jù)的前沿技術。

職能類別：ETL開發(fā)工程師其他