倉儲持久化

❶ 危險品倉庫的定義是什麼

危險品庫(Dangerous Cargo Warehouse / Storage for Dangerous Goods)
危險品庫是存儲和保管儲存易燃、易爆、有毒、有害物資等危險品的場所。
1、易燃品類貨物系指易燃的液體、液體混合物或含有固體物質的液體,但不包括由於其危險特性列入其它類別的液體。其閉杯試驗閃點等於或低於61℃，但不同運輸方式可確定本運輸方式適用的閃點，而不低於45℃。
2、易爆品類貨物系指在外界作用下(如受熱、撞擊等)，能發生劇烈的化學反應,瞬時產生大量的氣 體和熱量，使周圍壓力急驟上升，發生爆炸，對周圍環境造成破壞的物品，也包括無整體爆 炸危險，但具有燃燒、拋射及較小爆炸危險，或僅產生熱、光、音響或煙霧等一種或幾種作 用的煙火物品。
3、氧化劑和有機過氧化物項貨物系指處於高氧化態，具有強氧化性，易分解並放出氧和熱量的物質。包括含有過氧基的有機物,其本身不一定可燃,但能導致可燃物的燃燒，與松軟的粉末狀可燃物能組成爆炸性混合物，對熱、震動或摩擦較敏感
4、毒害品和感染性物品項貨物系指進入肌體後，累積達一定的量，能與體液和組織發生生物化學作用或生物物理學變化，擾亂或破壞肌體的正常生理功能，引起暫時性或持久性的病理狀態，甚至危及生命的物品。經口攝取半數致死量：固體LD50≤500mg/kg，液體LD50≤2000mg/kg；經皮膚接觸24h，半數致死量LD50≤1000mg/kg；粉塵、煙霧及蒸氣吸入半數致死濃度LC50≤10mg/L的固體或液體，以及列入危險貨物品名表的農葯。
5、腐蝕品類貨物系指能灼傷人體組織並對金屬等物品造成損壞的固體或液體。與皮膚接觸在4h內出現可見壞死現象，或溫度在55℃時，對20號鋼的表面均勻年腐蝕率超過6.25mm/a的固體或液體。
6、放射線物質項貨物系指有放射性的物品，如鐳、鈾等。

❷ 倉儲式超市如何管理

隨著信息技術的發展和市場競爭的加劇，產品同質化現象越來越突 出，專而消費者的個性化屬需求也得不到滿足。顧客體驗是一種全新的、充滿活力的經濟提供物，它既可以滿足顧客的個性化需求，又能給企業帶來新的價值源泉。客戶 體驗管理作為體驗經濟下的產物，以為顧客提供個性化的體驗為出發點，旨在提高顧客體驗價值和顧客滿意度，是企業保持持久競爭力的有力工具。

❸ 如何建立本地區域網內的docker 倉庫

開源Docker倉庫v2 的其中一個最新特性：能夠被用作代理緩存倉庫,以緩存Docker Hub上的鏡像。運行一個緩專存倉庫允屬許你在本地儲存鏡像,減少過多的通過互聯網從Docker Hub拉取鏡像,這個特性對於一些在他們環境中擁有數量龐大的Docker引擎的用戶來說很有用。跟著本篇教程,你可以讓Docker引擎從本地代理緩存倉庫拉取鏡像,而不是讓每個引擎總是從Docker Hub拉取,從而節省時間和帶寬。
你可以這樣開始：
####要求：
- Docker引擎1.8.3
- Docker倉庫v2
- 足夠儲存Docker鏡像的磁碟空間
- TLS證書和密鑰
持久化數據
在這個例子中,我們會假設你會儲存所有持久化數據在本地文件系統的<code>/data</code>路徑下,這個路徑下包含TLS證書和密鑰文件,配置文件和鏡像緩存文件。我們之後會用卷掛載這個目錄進運行倉庫的容器。

❹ 倉儲類網站推廣

1.最常見的QQ以及群推廣。利用強大的QQ群推廣是每個推廣者必須掌握的一個方法。當然，再做這個方法之前，你要確定你所在的群可以給發鏈接以及做廣告，不然發了也沒多大意義。這種方法推廣成本低，風險也小，現在基本上效果也不是很強了。不過有些新資源和新東西還會吸引大家目光。所以大家要在這塊找出新思路來進行推廣，推廣期較穩定。

2.強大的博客群建。這塊工程量不小，而且還要求推廣者能夠持續的堅持下去，這就需要有耐力和持久力。博客這塊主要就是涉及到利用當前影響力較大的門戶網站所帶的免費博客，然後自己利用起來進行鏈接推廣，其最有代表的博客如新浪，網路，和訊等。這些博客資源的充分挖掘也使得外鏈得到一個很好的保證。這種方案效果不太明顯，但比較適合長期，且成本較低，但要注意風險，搜索引擎對於這塊有所打擊。主要的就是如果想做多一點的博客，那麼工程量以及時間需要得到保證。另外，可以利用裡面的資源獲得更多的讀者關注，那樣流量又有收獲，這樣效果會更好。

3.軟文推廣。先來說下軟文之所以叫做軟文，精妙之處就在於一個「軟」字，好似綿里藏針，收而不露，克敵於無形。所以這塊的推廣方式是最容易讓人家接受的。當然軟文的閱讀者是普通的消費者，它拒絕華麗辭藻的修飾，拒絕連篇累牘的描述，它需要將思想和靈感通俗化、商業化、銳利化。一篇能賣貨的軟文一定是能被人輕松閱讀並理解的，這是前提和基礎。沒有語言的通俗易懂，軟文只能曲高和寡，沒有回應，更別說帶來什麼效果了。所以只要我們抓住當前的主流思想，給予一定的分析與評論，那麼效果會很不錯。這塊要求比較高，推廣者必須要有寫作能力，不能隨便亂寫亂改文章就去發表，對於推廣者耐力也是一個考驗，風險基本可以忽略，效果作用是很有成效的，而且可以帶來穩定的讀者與鏈接。

4.郵件論壇推廣方法。利用強大的郵件群發，使得顧客與讀者對你的郵件內容產生興趣，從而獲得利益。這塊最主要的是客戶聯系郵件的推廣，就是說：一個公司邀請它網站的所有訪問者（包括老顧客和新的訪問者）提交自己的電子郵件地址，以便於收到這個公司不定期的宣傳函和推廣服務說明。這種模式表現在各個方面，就像現在的QQ群郵件，博客留言的郵件等等，這些許可式的郵件推廣方法也逐漸被拉開了。目前這塊推廣方法還不是佔主流，效果還得看每個郵件的內容質量以及新穎性。論壇推廣現在基本上不像原來那樣容易，現在對於垃圾賬號的屏蔽也很注意。而且現在簽名這塊也有了級別限制，所以要真正想做這塊的推廣，要注意時間的一個長度，且不要過多的製造垃圾內容，至於效果對外鏈來說還是不錯的。

5.付費點擊網站推廣方法。這種方法很顯然，就是用錢來做廣告。當然，這種方法只是針對一些企業與媒體單位來進行推廣的方式。這種方式效果見效快，對於網站名氣提升也有幫助，缺點就是大量的金錢投入，對於個人站長來說，這種方式是不能接受的。當然，這種方法隨著搜索引擎的不斷發展，會越來越多的出現。

6.問問，網路，知道等推廣方案。這種方案主要是利用強大的知識平台，來增加自己網站的曝光率。主要所說的是去解決提問者所問的問題，然後附帶上自己的鏈接。這種方法也是比較可行的。當然前提是你能夠很好的去用心解決別人的問題，給人家提供了幫助，那麼這塊效果 才能得到保證。所以這塊要求能力比較高，而且對於推廣者知識也是一個鍛煉與考驗。但是這些平台價值很高，所以有點實力的朋友是可以考慮做好這塊的推廣方法。

❺ 選擇什麼樣的數據倉庫架構比較好如何選擇呢

一直想整理一下這塊內容，既然是漫談，就想起什麼說什麼吧。我一直是在互聯網行業，就以互聯網行業來說。
先大概列一下互聯網行業數據倉庫、數據平台的用途：

• 整合公司所有業務數據，建立統一的數據中心；

• 提供各種報表，有給高層的，有給各個業務的；

• 為網站運營提供運營上的數據支持，就是通過數據，讓運營及時了解網站和產品的運營效果；

• 為各個業務提供線上或線下的數據支持，成為公司統一的數據交換與提供平台；

• 分析用戶行為數據，通過數據挖掘來降低投入成本，提高投入效果；比如廣告定向精準投放、用戶個性化推薦等；

• 開發數據產品，直接或間接為公司盈利；

• 建設開放數據平台，開放公司數據；

• 。。。。。。




• 上面列出的內容看上去和傳統行業數據倉庫用途差不多，並且都要求數據倉庫/數據平台有很好的穩定性、可靠性；但在互聯網行業，除了數據量大之外，越來越多的業務要求時效性，甚至很多是要求實時的 ，另外，互聯網行業的業務變化非常快，不可能像傳統行業一樣，可以使用自頂向下的方法建立數據倉庫，一勞永逸，它要求新的業務很快能融入數據倉庫中來，老的下線的業務，能很方便的從現有的數據倉庫中下線；




• 其實，互聯網行業的數據倉庫就是所謂的敏捷數據倉庫，不但要求能快速的響應數據，也要求能快速的響應業務；




• 建設敏捷數據倉庫，除了對架構技術上的要求之外，還有一個很重要的方面，就是數據建模，如果一上來就想著建立一套能兼容所有數據和業務的數據模型，那就又回到傳統數據倉庫的建設上了，很難滿足對業務變化的快速響應。應對這種情況，一般是先將核心的持久化的業務進行深度建模（比如：基於網站日誌建立的網站統計分析模型和用戶瀏覽軌跡模型；基於公司核心用戶數據建立的用戶模型），其它的業務一般都採用維度+寬表的方式來建立數據模型。這塊是後話。




• 整體架構下面的圖是我們目前使用的數據平台架構圖，其實大多公司應該都差不多：




• 邏輯上，一般都有數據採集層、數據存儲與分析層、數據共享層、數據應用層。可能叫法有所不同，本質上的角色都大同小異。




• 我們從下往上看：




• 數據採集數據採集層的任務就是把數據從各種數據源中採集和存儲到數據存儲上，期間有可能會做一些簡單的清洗。





• 數據源的種類比較多：




• 網站日誌：




• 作為互聯網行業，網站日誌占的份額最大，網站日誌存儲在多台網站日誌伺服器上，




• 一般是在每台網站日誌伺服器上部署flume agent，實時的收集網站日誌並存儲到HDFS上；




• 業務資料庫：




• 業務資料庫的種類也是多種多樣，有Mysql、Oracle、SqlServer等，這時候，我們迫切的需要一種能從各種資料庫中將數據同步到HDFS上的工具，Sqoop是一種，但是Sqoop太過繁重，而且不管數據量大小，都需要啟動MapRece來執行，而且需要Hadoop集群的每台機器都能訪問業務資料庫；應對此場景，淘寶開源的DataX，是一個很好的解決方案（可參考文章 《異構數據源海量數據交換工具-Taobao DataX 下載和使用》），有資源的話，可以基於DataX之上做二次開發，就能非常好的解決，我們目前使用的DataHub也是。




• 當然，Flume通過配置與開發，也可以實時的從資料庫中同步數據到HDFS。




• 來自於Ftp/Http的數據源：




• 有可能一些合作夥伴提供的數據，需要通過Ftp/Http等定時獲取，DataX也可以滿足該需求；




• 其他數據源：




• 比如一些手工錄入的數據，只需要提供一個介面或小程序，即可完成；





• 數據存儲與分析毋庸置疑，HDFS是大數據環境下數據倉庫/數據平台最完美的數據存儲解決方案。





• 離線數據分析與計算，也就是對實時性要求不高的部分，在我看來，Hive還是首當其沖的選擇，豐富的數據類型、內置函數；壓縮比非常高的ORC文件存儲格式；非常方便的SQL支持，使得Hive在基於結構化數據上的統計分析遠遠比MapRece要高效的多，一句SQL可以完成的需求，開發MR可能需要上百行代碼；




• 當然，使用Hadoop框架自然而然也提供了MapRece介面，如果真的很樂意開發Java，或者對SQL不熟，那麼也可以使用MapRece來做分析與計算；Spark是這兩年非常火的，經過實踐，它的性能的確比MapRece要好很多，而且和Hive、Yarn結合的越來越好，因此，必須支持使用Spark和SparkSQL來做分析和計算。因為已經有Hadoop Yarn，使用Spark其實是非常容易的，不用單獨部署Spark集群，關於Spark On Yarn的相關文章，可參考：《Spark On Yarn系列文章》




• 實時計算部分，後面單獨說。




• 數據共享這里的數據共享，其實指的是前面數據分析與計算後的結果存放的地方，其實就是關系型資料庫和NOSQL資料庫；





• 前面使用Hive、MR、Spark、SparkSQL分析和計算的結果，還是在HDFS上，但大多業務和應用不可能直接從HDFS上獲取數據，那麼就需要一個數據共享的地方，使得各業務和產品能方便的獲取數據；和數據採集層到HDFS剛好相反，這里需要一個從HDFS將數據同步至其他目標數據源的工具，同樣，DataX也可以滿足。




• 另外，一些實時計算的結果數據可能由實時計算模塊直接寫入數據共享。





• 數據應用

• 業務產品
  




• 業務產品所使用的數據，已經存在於數據共享層，他們直接從數據共享層訪問即可；




• 報表




• 同業務產品，報表所使用的數據，一般也是已經統計匯總好的，存放於數據共享層；




• 即席查詢




• 即席查詢的用戶有很多，有可能是數據開發人員、網站和產品運營人員、數據分析人員、甚至是部門老大，他們都有即席查詢數據的需求；




• 這種即席查詢通常是現有的報表和數據共享層的數據並不能滿足他們的需求，需要從數據存儲層直接查詢。




• 即席查詢一般是通過SQL完成，最大的難度在於響應速度上，使用Hive有點慢，目前我的解決方案是SparkSQL，它的響應速度較Hive快很多，而且能很好的與Hive兼容。




• 當然，你也可以使用Impala，如果不在乎平台中再多一個框架的話。




• OLAP




• 目前，很多的OLAP工具不能很好的支持從HDFS上直接獲取數據，都是通過將需要的數據同步到關系型資料庫中做OLAP，但如果數據量巨大的話，關系型資料庫顯然不行；




• 這時候，需要做相應的開發，從HDFS或者HBase中獲取數據，完成OLAP的功能；




• 比如：根據用戶在界面上選擇的不定的維度和指標，通過開發介面，從HBase中獲取數據來展示。




• 其它數據介面
  




• 這種介面有通用的，有定製的。比如：一個從Redis中獲取用戶屬性的介面是通用的，所有的業務都可以調用這個介面來獲取用戶屬性。





• 實時計算現在業務對數據倉庫實時性的需求越來越多，比如：實時的了解網站的整體流量；實時的獲取一個廣告的曝光和點擊；在海量數據下，依靠傳統資料庫和傳統實現方法基本完成不了，需要的是一種分布式的、高吞吐量的、延時低的、高可靠的實時計算框架；Storm在這塊是比較成熟了，但我選擇Spark Streaming，原因很簡單，不想多引入一個框架到平台中，另外，Spark Streaming比Storm延時性高那麼一點點，那對於我們的需要可以忽略。




• 我們目前使用Spark Streaming實現了實時的網站流量統計、實時的廣告效果統計兩塊功能。




• 做法也很簡單，由Flume在前端日誌伺服器上收集網站日誌和廣告日誌，實時的發送給Spark Streaming，由Spark Streaming完成統計，將數據存儲至Redis，業務通過訪問Redis實時獲取。




• 任務調度與監控在數據倉庫/數據平台中，有各種各樣非常多的程序和任務，比如：數據採集任務、數據同步任務、數據分析任務等；





• 這些任務除了定時調度，還存在非常復雜的任務依賴關系，比如：數據分析任務必須等相應的數據採集任務完成後才能開始；數據同步任務需要等數據分析任務完成後才能開始；這就需要一個非常完善的任務調度與監控系統，它作為數據倉庫/數據平台的中樞，負責調度和監控所有任務的分配與運行。




• 前面有寫過文章，《大數據平台中的任務調度與監控》,這里不再累贅。




• 總結在我看來架構並不是技術越多越新越好，而是在可以滿足需求的情況下，越簡單越穩定越好。目前在我們的數據平台中，開發更多的是關注業務，而不是技術，他們把業務和需求搞清楚了，基本上只需要做簡單的SQL開發，然後配置到調度系統就可以了，如果任務異常，會收到告警。這樣，可以使更多的資源專注於業務之上。

❻ 怎樣的架構設計才是真正的數據倉庫架構

一直想整理一下這塊內容，既然是漫談，就想起什麼說什麼吧。我一直是在互聯網行業，就以互聯網行業來說。
先大概列一下互聯網行業數據倉庫、數據平台的用途：

• 整合公司所有業務數據，建立統一的數據中心；

• 提供各種報表，有給高層的，有給各個業務的；

• 為網站運營提供運營上的數據支持，就是通過數據，讓運營及時了解網站和產品的運營效果；

• 為各個業務提供線上或線下的數據支持，成為公司統一的數據交換與提供平台；

• 分析用戶行為數據，通過數據挖掘來降低投入成本，提高投入效果；比如廣告定向精準投放、用戶個性化推薦等；

• 開發數據產品，直接或間接為公司盈利；

• 建設開放數據平台，開放公司數據；

• 。。。。。。



• 上面列出的內容看上去和傳統行業數據倉庫用途差不多，並且都要求數據倉庫/數據平台有很好的穩定性、可靠性；但在互聯網行業，除了數據量大之外，越來越多的業務要求時效性，甚至很多是要求實時的 ，另外，互聯網行業的業務變化非常快，不可能像傳統行業一樣，可以使用自頂向下的方法建立數據倉庫，一勞永逸，它要求新的業務很快能融入數據倉庫中來，老的下線的業務，能很方便的從現有的數據倉庫中下線；


• 其實，互聯網行業的數據倉庫就是所謂的敏捷數據倉庫，不但要求能快速的響應數據，也要求能快速的響應業務；


• 建設敏捷數據倉庫，除了對架構技術上的要求之外，還有一個很重要的方面，就是數據建模，如果一上來就想著建立一套能兼容所有數據和業務的數據模型，那就又回到傳統數據倉庫的建設上了，很難滿足對業務變化的快速響應。應對這種情況，一般是先將核心的持久化的業務進行深度建模（比如：基於網站日誌建立的網站統計分析模型和用戶瀏覽軌跡模型；基於公司核心用戶數據建立的用戶模型），其它的業務一般都採用維度+寬表的方式來建立數據模型。這塊是後話。


• 整體架構下面的圖是我們目前使用的數據平台架構圖，其實大多公司應該都差不多：


• 邏輯上，一般都有數據採集層、數據存儲與分析層、數據共享層、數據應用層。可能叫法有所不同，本質上的角色都大同小異。


• 我們從下往上看：


• 數據採集數據採集層的任務就是把數據從各種數據源中採集和存儲到數據存儲上，期間有可能會做一些簡單的清洗。



• 數據源的種類比較多：



• 網站日誌：



• 作為互聯網行業，網站日誌占的份額最大，網站日誌存儲在多台網站日誌伺服器上，


• 一般是在每台網站日誌伺服器上部署flume agent，實時的收集網站日誌並存儲到HDFS上；



• 業務資料庫：



• 業務資料庫的種類也是多種多樣，有Mysql、Oracle、SqlServer等，這時候，我們迫切的需要一種能從各種資料庫中將數據同步到HDFS上的工具，Sqoop是一種，但是Sqoop太過繁重，而且不管數據量大小，都需要啟動MapRece來執行，而且需要Hadoop集群的每台機器都能訪問業務資料庫；應對此場景，淘寶開源的DataX，是一個很好的解決方案（可參考文章 《異構數據源海量數據交換工具-Taobao DataX 下載和使用》），有資源的話，可以基於DataX之上做二次開發，就能非常好的解決，我們目前使用的DataHub也是。


• 當然，Flume通過配置與開發，也可以實時的從資料庫中同步數據到HDFS。



• 來自於Ftp/Http的數據源：



• 有可能一些合作夥伴提供的數據，需要通過Ftp/Http等定時獲取，DataX也可以滿足該需求；



• 其他數據源：



• 比如一些手工錄入的數據，只需要提供一個介面或小程序，即可完成；



• 數據存儲與分析毋庸置疑，HDFS是大數據環境下數據倉庫/數據平台最完美的數據存儲解決方案。



• 離線數據分析與計算，也就是對實時性要求不高的部分，在我看來，Hive還是首當其沖的選擇，豐富的數據類型、內置函數；壓縮比非常高的ORC文件存儲格式；非常方便的SQL支持，使得Hive在基於結構化數據上的統計分析遠遠比MapRece要高效的多，一句SQL可以完成的需求，開發MR可能需要上百行代碼；


• 當然，使用Hadoop框架自然而然也提供了MapRece介面，如果真的很樂意開發Java，或者對SQL不熟，那麼也可以使用MapRece來做分析與計算；Spark是這兩年非常火的，經過實踐，它的性能的確比MapRece要好很多，而且和Hive、Yarn結合的越來越好，因此，必須支持使用Spark和SparkSQL來做分析和計算。因為已經有Hadoop Yarn，使用Spark其實是非常容易的，不用單獨部署Spark集群，關於Spark On Yarn的相關文章，可參考：《Spark On Yarn系列文章》


• 實時計算部分，後面單獨說。


• 數據共享這里的數據共享，其實指的是前面數據分析與計算後的結果存放的地方，其實就是關系型資料庫和NOSQL資料庫；



• 前面使用Hive、MR、Spark、SparkSQL分析和計算的結果，還是在HDFS上，但大多業務和應用不可能直接從HDFS上獲取數據，那麼就需要一個數據共享的地方，使得各業務和產品能方便的獲取數據；和數據採集層到HDFS剛好相反，這里需要一個從HDFS將數據同步至其他目標數據源的工具，同樣，DataX也可以滿足。


• 另外，一些實時計算的結果數據可能由實時計算模塊直接寫入數據共享。



• 數據應用

• 業務產品
  



• 業務產品所使用的數據，已經存在於數據共享層，他們直接從數據共享層訪問即可；



• 報表



• 同業務產品，報表所使用的數據，一般也是已經統計匯總好的，存放於數據共享層；



• 即席查詢



• 即席查詢的用戶有很多，有可能是數據開發人員、網站和產品運營人員、數據分析人員、甚至是部門老大，他們都有即席查詢數據的需求；


• 這種即席查詢通常是現有的報表和數據共享層的數據並不能滿足他們的需求，需要從數據存儲層直接查詢。


• 即席查詢一般是通過SQL完成，最大的難度在於響應速度上，使用Hive有點慢，目前我的解決方案是SparkSQL，它的響應速度較Hive快很多，而且能很好的與Hive兼容。


• 當然，你也可以使用Impala，如果不在乎平台中再多一個框架的話。



• OLAP



• 目前，很多的OLAP工具不能很好的支持從HDFS上直接獲取數據，都是通過將需要的數據同步到關系型資料庫中做OLAP，但如果數據量巨大的話，關系型資料庫顯然不行；


• 這時候，需要做相應的開發，從HDFS或者HBase中獲取數據，完成OLAP的功能；


• 比如：根據用戶在界面上選擇的不定的維度和指標，通過開發介面，從HBase中獲取數據來展示。



• 其它數據介面
  



• 這種介面有通用的，有定製的。比如：一個從Redis中獲取用戶屬性的介面是通用的，所有的業務都可以調用這個介面來獲取用戶屬性。



• 實時計算現在業務對數據倉庫實時性的需求越來越多，比如：實時的了解網站的整體流量；實時的獲取一個廣告的曝光和點擊；在海量數據下，依靠傳統資料庫和傳統實現方法基本完成不了，需要的是一種分布式的、高吞吐量的、延時低的、高可靠的實時計算框架；Storm在這塊是比較成熟了，但我選擇Spark Streaming，原因很簡單，不想多引入一個框架到平台中，另外，Spark Streaming比Storm延時性高那麼一點點，那對於我們的需要可以忽略。


• 我們目前使用Spark Streaming實現了實時的網站流量統計、實時的廣告效果統計兩塊功能。


• 做法也很簡單，由Flume在前端日誌伺服器上收集網站日誌和廣告日誌，實時的發送給Spark Streaming，由Spark Streaming完成統計，將數據存儲至Redis，業務通過訪問Redis實時獲取。


• 任務調度與監控在數據倉庫/數據平台中，有各種各樣非常多的程序和任務，比如：數據採集任務、數據同步任務、數據分析任務等；



• 這些任務除了定時調度，還存在非常復雜的任務依賴關系，比如：數據分析任務必須等相應的數據採集任務完成後才能開始；數據同步任務需要等數據分析任務完成後才能開始；這就需要一個非常完善的任務調度與監控系統，它作為數據倉庫/數據平台的中樞，負責調度和監控所有任務的分配與運行。


• 前面有寫過文章，《大數據平台中的任務調度與監控》,這里不再累贅。


• 總結在我看來架構並不是技術越多越新越好，而是在可以滿足需求的情況下，越簡單越穩定越好。目前在我們的數據平台中，開發更多的是關注業務，而不是技術，他們把業務和需求搞清楚了，基本上只需要做簡單的SQL開發，然後配置到調度系統就可以了，如果任務異常，會收到告警。這樣，可以使更多的資源專注於業務之上。

❼ 如何使用Docker開源倉庫建立代理緩存倉庫

開源Docker倉庫v2 的其中一個最新特性：能夠被用作代理緩存倉庫,以緩存Docker Hub上的鏡像。運行一個緩存倉庫允許你在本地儲存鏡像,減少過多的通過互聯網從Docker Hub拉取鏡像,這個特性對於一些在他們環境中擁有數量龐大的Docker引擎的用戶來說很有用。跟著本篇教程,你可以讓Docker引擎從本地代理緩存倉庫拉取鏡像,而不是讓每個引擎總是從Docker Hub拉取,從而節省時間和帶寬。

你可以這樣開始：
####要求：
- Docker引擎1.8.3
- Docker倉庫v2
- 足夠儲存Docker鏡像的磁碟空間
- TLS證書和密鑰
持久化數據
在這個例子中,我們會假設你會儲存所有持久化數據在本地文件系統的<code>/data</code>路徑下,這個路徑下包含TLS證書和密鑰文件,配置文件和鏡像緩存文件。我們之後會用卷掛載這個目錄進運行倉庫的容器。
保護你的代理緩存倉庫安全
代理緩存倉庫需要一個TLS證書來保證Docker引擎和緩存倉庫之間的連接安全,在這個例子中,我們會放置我們證書文件(<code>domain.crt</code>)和密鑰文件(<code>domain.key</code>)在主機的<code>/data</code>目錄。
更多關於使用TLS加強倉庫安全的信息,請參照 Docker倉庫2.0文檔 。
創建代理緩存倉庫配置文件
下一步你需要創建一個配置文件,來把這個倉庫用作代理緩存。你可以用cat命令把<code>registry:2</code>鏡像中的預設配置文件重定向輸出到一個文件中：
sh
$ docker run -it --rm --entrypoint cat registry:2 \
/etc/docker/registry/config.yml > /data/config.yml

<code>我強烈建議從Docker鏡像中獲得這個默認配置,而不是使用例子中的配置,因為將來這個默認配置可能會有更新。</code>
默認的config.yml例子：
yaml
version: 0.1
log:
fields
service: registry
storage:
cache:
layerinfo: inmemory
filesystem:
rootdirectory: /var/lib/registry
http:
addr: :5000

修改'http'這節配置上TLS:
yaml
http:
addr: :5000
tls:
certificate: /var/lib/registry/domain.crt
key: /var/lib/registry/domain.key

在配置文件中新加一節'proxy'來開啟緩存：
點擊打開文檔（ https://github.com/docker/dist ... or.md ）
yaml
proxy:
remoteurl: https://registry-1.docker.io
username: [username]
password: [password]

'username'和'password'這兩個選項是可選的,這是Docker Hub賬號的用戶名和密碼，設置上這兩個選項，會使代理緩存倉庫獲取到這個賬號的同等許可權,也就是說,這個用戶有許可權獲取的鏡像,這個緩存倉庫同樣有許可權獲取。
<code>請確保完全理解設置這個Docker Hub賬號背後意味著什麼,並且確保你鏡像的安全還有嚴格的訪問許可權!如果你不確定,請不要再配置包含用戶名和密碼,那麼你的代理緩存倉庫就只會緩存公共鏡像。</code>
啟動代理緩存倉庫的容器：
sh
$ docker run -d --restart=always -p 5000:5000 --name v2-mirror \
-v /data:/var/lib/registry registry:2 /var/lib/registry/config.yml

以上命令使用一個卷把宿主機上的/data掛載進了容器中,使容器能使用持久儲存鏡像緩存,TLS證書和密鑰,還有自定義的倉庫配置文件。
驗證你的代理緩存倉庫已經啟動並正常運行：
sh
$ curl -I https://mycache.example.com:5000/v2/
HTTP/1.1 200 OK
Content-Length: 2
Content-Type: application/json; charset=utf-8
Docker-Distribution-Api-Version: registry/2.0
Date: Thu, 17 Sep 2015 21:42:02 GMT

配置你的Docker引擎使用代理緩存倉庫
修改Docker守護進程的啟動參數,加上<code>--registry-mirror</code>選項：
sh
--registry-mirror=https://<my-docker-mirror-host>:<port-number>

例如,如果你的緩存倉庫的主機名為mycache.example.com並且倉庫服務埠為5000,你需要加上以下選項到守護進程的參數：
sh
--registry-mirror=https://mycache.example.com:5000

參考 在各種的Linux分發版中配置運行Docker 了解更多信息關於如何添加Docker守護進程參數。
測試你的代理緩存倉庫
從Docker Hub上拉取一個你本地沒有的鏡像。例如,busybox:latest鏡像：
sh
$ docker pull busybox:latest

檢查緩存倉庫中的目錄,驗證busybox鏡像是否被緩存：
sh
$ curl https://mycache.example.com:5000/v2/_catalog
{"repositories":["library/busybox"]}

你也可以驗證latest標簽是否被緩存：
sh
$ curl https://mycache.example.com:5000/v2/library/busybox/tags/list
{"name":"library/busybox","tags":["latest"]}

現在開始當你拉取鏡像時,鏡像將被緩存到你的代理緩存倉庫,之後拉取相同的鏡像時會更快,並且這些鏡像緩存會維護自身,當他們不再被使用時將會自動清除。