數(shù)據(jù)倉庫工程師的工作職責(zé)

時間：2022-08-05 20:25:45 工作職責(zé) 我要投稿

數(shù)據(jù)倉庫工程師的工作職責(zé)1

　　職責(zé)

　　1、負(fù)責(zé)數(shù)據(jù)ETL開發(fā)，優(yōu)化ETL流程設(shè)計;

　　2、負(fù)責(zé)數(shù)據(jù)質(zhì)量問題的分析、跟進(jìn)、解決，進(jìn)行數(shù)據(jù)質(zhì)量監(jiān)測、校驗和提升;

　　3、負(fù)責(zé)ETL開發(fā)實施文檔的編寫;

　　4、負(fù)責(zé)梳理公司數(shù)據(jù)倉庫/數(shù)據(jù)集市數(shù)據(jù)清單、數(shù)據(jù)映射關(guān)系，優(yōu)化現(xiàn)有數(shù)據(jù)倉庫模型;

　　5、完善和梳理數(shù)據(jù)指標(biāo)體系，完成和維護(hù)數(shù)據(jù)字典的工作;

　　6、參與數(shù)據(jù)標(biāo)準(zhǔn)的制定、數(shù)據(jù)標(biāo)準(zhǔn)管理和數(shù)據(jù)安全管理工作;

　　7、參與公司大數(shù)據(jù)平臺的建設(shè)，包括Sugar報表或神策接口配置，用戶畫像標(biāo)簽體系的開發(fā)等

　　任職要求：

　　1、有shell或Python腳本開發(fā)經(jīng)驗;

　　2、有傳統(tǒng)數(shù)據(jù)庫SQLServer和MySQL，有存儲過程編寫能力;

　　3、熟悉Hadoop生態(tài)相關(guān)技術(shù)并有相關(guān)實踐經(jīng)驗，包括但不限于Sqoop、Hive、HBase、Kylin等開發(fā)經(jīng)驗;

　　4、有kettle、azkaban或oozie工作流調(diào)度經(jīng)驗;

　　5、熟悉HiveSQL或FlinkSQL的開發(fā);

　　6、有數(shù)據(jù)倉庫模型設(shè)計，有使用kafka+FlinkStreaming實時數(shù)據(jù)處理經(jīng)驗優(yōu)先;

　　7、有Sugar、神策或Tableau使用經(jīng)驗,有用戶畫像或客戶召回標(biāo)簽工作經(jīng)驗優(yōu)先;

　　8、對數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)有所了解，包括常用的機(jī)器學(xué)習(xí)算法和數(shù)據(jù)建模過程的優(yōu)先

數(shù)據(jù)倉庫工程師的工作職責(zé)2

　　職責(zé)：

　　1、負(fù)責(zé)數(shù)據(jù)源導(dǎo)入、清洗、集成等工作，優(yōu)化ETL流程并解決ETL相關(guān)技術(shù)問題;

　　2、負(fù)責(zé)參與數(shù)據(jù)模型體系構(gòu)建及數(shù)據(jù)主題設(shè)計和開發(fā)，數(shù)據(jù)倉庫和業(yè)務(wù)數(shù)據(jù)集市的建設(shè);

　　3、負(fù)責(zé)數(shù)據(jù)集市需求調(diào)研和需求分析;

　　4、基于阿里云Maxcompute，進(jìn)行數(shù)據(jù)開發(fā)工作。

　　崗位要求：

　　1、3年或以上數(shù)據(jù)倉庫開發(fā)和模型設(shè)計經(jīng)驗;

　　2、深入理解DW，BI相關(guān)的知識，包括：ETL、數(shù)據(jù)倉庫、OLAP、多維數(shù)據(jù)模型等;

　　3、熟悉MapReduce、Hive原理;

　　4、精通SQL，能夠熟練使用HiveSQL進(jìn)行數(shù)據(jù)開發(fā);

　　5、具有良好的團(tuán)隊協(xié)作精神和溝通能力，較強(qiáng)的邏輯思維，學(xué)習(xí)能力和解決問題的能力，可承擔(dān)較大的工作壓力;

　　6、熟悉阿里云大數(shù)據(jù)開發(fā)平臺優(yōu)先，如Maxcompute;

　　7、熟悉跨境電商及供應(yīng)鏈業(yè)務(wù)優(yōu)先。

數(shù)據(jù)倉庫工程師的工作職責(zé)3

　　職責(zé)：

　　1、參與數(shù)據(jù)倉庫及ETL基礎(chǔ)架構(gòu)規(guī)劃、安全規(guī)劃制定;

　　2、負(fù)責(zé)數(shù)據(jù)倉庫及ETL的開發(fā)、測試和優(yōu)化，并及時解決相關(guān)技術(shù)問題;

　　3、負(fù)責(zé)相關(guān)數(shù)據(jù)準(zhǔn)確性驗證及報表等日常維護(hù);

　　4、報表性能優(yōu)化：對存在性能問題的數(shù)據(jù)報表進(jìn)行優(yōu)化;

　　5、數(shù)據(jù)運維：及時處理線上問題;

　　6、完成上級交代的其他工作。

　　崗位要求：

　　1、計算機(jī)相關(guān)專業(yè)本科及以上學(xué)歷，2年以上ETL開發(fā)或數(shù)倉相關(guān)工作經(jīng)驗;

　　2、熟練使用Oracle、MySQL、PostgreSQL等主流數(shù)據(jù)庫，具有較強(qiáng)的SQL編寫、優(yōu)化能力，熟悉存儲過程編寫;

　　3、熟悉數(shù)據(jù)倉庫數(shù)據(jù)處理流程，有一定的數(shù)據(jù)建模能力;

　　4、具有良好的溝通理解能力，能根據(jù)業(yè)務(wù)提出的需求，快速理解并落地實施;

　　5、有Kettle、Greenplum開發(fā)經(jīng)驗者優(yōu)先。

數(shù)據(jù)倉庫工程師的工作職責(zé)4

　　職責(zé)：

　　1、負(fù)責(zé)數(shù)據(jù)倉庫架構(gòu)設(shè)計與開發(fā)

　　2、根據(jù)業(yè)務(wù)調(diào)研，設(shè)計信息模型與數(shù)據(jù)模型，負(fù)責(zé)大數(shù)據(jù)建模、ETL、數(shù)據(jù)產(chǎn)品及平臺的`設(shè)計與開發(fā)

　　3、滿足業(yè)務(wù)數(shù)據(jù)需求，設(shè)計面向業(yè)務(wù)的數(shù)據(jù)集市模型

　　4、需求的溝通與數(shù)據(jù)開發(fā)項目管理

　　5、基于Hadoop生態(tài)的程序設(shè)計、開發(fā)和維護(hù)

　　崗位要求：

　　1、熟悉SQL語言，至少熟悉Oracle、MySQL、SQLsever一種及以上

　　2、精通數(shù)據(jù)庫系統(tǒng)(Oracle、SQL、mysql等)：精通熟悉Oracle數(shù)據(jù)庫體系結(jié)構(gòu)，基礎(chǔ)扎實;精通熟悉DataGuardRAC等高可用技術(shù)，能順利的配置和管理dataGuard;精通熟悉Oracle的備份與恢復(fù)技術(shù);熟悉SQL和PLSQL，能編寫日常維護(hù)需要的腳本

　　3、從事過數(shù)倉邏輯模型、物理模型設(shè)計與實施等工作

　　4、有使用Hive、Hbase、kettle等相關(guān)應(yīng)用經(jīng)驗更佳