1. 方案概述

2. 總體方案架構(gòu)

• 系統(tǒng)元數(shù)據(jù)由OSS自動(dòng)產(chǎn)生，在處理對象數(shù)據(jù)時(shí)使用,，包括Date,，Content-length，Last-modify,，Content-MD5等,。
• 用戶元數(shù)據(jù)由用戶在上傳對象時(shí)指定,，是用戶自定義的對象描述信息。

圖1. 云存儲架構(gòu)設(shè)計(jì)

3. 存儲類別及訪問
   1. 存儲類別概述

1. 2. 訪問對象存儲服務(wù)方式

4. 存儲功能特點(diǎn)

• 數(shù)據(jù)冷熱分層維度

• 數(shù)據(jù)冗余維度

• 數(shù)據(jù)可靠

• 完整性校驗(yàn)

• 完善的權(quán)限控制

• 網(wǎng)絡(luò)訪問安全防護(hù)

• 數(shù)據(jù)加密

• 日志審計(jì)

• 數(shù)據(jù)合規(guī)

        OSS支持WORM策略（一次寫入,，多次讀?。?/span> 保護(hù)周期內(nèi),，任何人都不能對文件進(jìn)行修改和刪除,，滿足行業(yè)合規(guī)要求。同時(shí),，坤通云通過國內(nèi)外多項(xiàng)認(rèn)證,，率先將眾多的合規(guī)控制點(diǎn)，融入云平臺內(nèi)控管理和產(chǎn)品設(shè)計(jì)中
4.3 企業(yè)級數(shù)據(jù)管理
  支持生命周期,、回源,、更豐富的數(shù)據(jù)上傳與下載方式、事件通知,、回調(diào)等,，提供更簡單易用、更便于管理的對象存儲

• 生命周期

       可定義數(shù)據(jù)的生命周期,，將符合規(guī)則的對象轉(zhuǎn)換存儲類型或過期清除

• 鏡像回源

  支持配置用戶源站,，當(dāng)訪問數(shù)據(jù)不在OSS時(shí)，OSS會從源站拉取并寫入OSS

• 文件上傳

        支持PutObject,、PostObject,、MultipartUpload、AppendObject方式,。其中,，Append上傳的文件，支持在文件末尾追加內(nèi)容

• 文件下載

        支持簡單下載,、斷點(diǎn)續(xù)傳下載,，其中斷點(diǎn)續(xù)傳下載，可設(shè)置從Object指定的位置開始下載

• 云監(jiān)控

        對接云監(jiān)控,，支持OSS基礎(chǔ)服務(wù)指標(biāo),、性能指標(biāo)和計(jì)量指標(biāo)的監(jiān)控

• 事件通知

        支持事件通知,，OSS上Object相關(guān)操作可觸發(fā)事件通知，用戶可設(shè)置觸發(fā)器,，以執(zhí)行各種操作

• 實(shí)時(shí)日志

        支持導(dǎo)出訪問日志到用戶Bucket,，也可結(jié)合日志服務(wù)，對OSS訪問記錄實(shí)時(shí)查詢,、可視化分析,，滿足企業(yè)運(yùn)維審計(jì)、業(yè)務(wù)分析等需求
4.4 數(shù)據(jù)處理能力
  支持圖片,、文檔,、視頻、CSV等數(shù)據(jù)的常用處理和分析能力,，提供更智能的對象存儲

• 圖片處理

       支持jpg,、png、bmp,、gif,、webp、tiff等格式的轉(zhuǎn)換,，以及縮略圖,、剪裁、水印,、縮放等多種操作

• 視頻截幀

       支持截取出視頻中的指定位置生成圖片,，完成視頻截幀

• 文檔預(yù)覽

        支持對ppt、xls,、doc,、pdf 等格式文檔進(jìn)行在線預(yù)覽

• 標(biāo)簽識別

        支持圖片場景標(biāo)簽識別，如交通工具,、電子產(chǎn)品,、常用物品、飲食等,，支持分層標(biāo)簽

• 人臉識別

        支持圖片中多張人臉的位置與屬性檢測,，如性別、年齡,、情緒,、頭部姿勢、眼睛狀態(tài),、模糊度等

• OSS Select

  支持通過SQL選取CSV,、JSON文件內(nèi)容，而無需下載整個(gè)文件再分析，可為大數(shù)據(jù)應(yīng)用提速

4.5 數(shù)據(jù)生態(tài)豐富
  支持對接開源生態(tài),、坤通云豐富的計(jì)算產(chǎn)品,、數(shù)據(jù)管理產(chǎn)品，幫助客戶釋放數(shù)據(jù)更大的業(yè)務(wù)價(jià)值

• 開源生態(tài)

  中國首家被Hadoop官方社區(qū)支持的云存儲，可對接豐富的開源生態(tài)。用戶可通過Logstash,、Flume將日志投遞到OSS，可在Hadoop、Spark,、Hive,、Impala、Flink,、Presto中訪問OSS,，通過計(jì)算存儲分離架構(gòu)，將溫?cái)?shù)據(jù),、冷數(shù)據(jù)存儲在OSS

• 計(jì)算產(chǎn)品對接

        OSS無縫對接坤通云日志服務(wù),、EMR、DataLakeAnalytics,、函數(shù)計(jì)算,、批量計(jì)算、MaxCompute,，滿足用戶日志投遞,、離線處理、交互式查詢,、Severless觸發(fā)計(jì)算,、批量計(jì)算等場景需求。

• 數(shù)據(jù)管理生態(tài)

  支持通過坤通云DBS,，將各類數(shù)據(jù)庫備份到OSS,；通過數(shù)據(jù)集成，將數(shù)據(jù)導(dǎo)入到OSS,；通過坤通云混合云存儲陣列結(jié)合云上OSS,，可實(shí)現(xiàn)本地和云端存儲空間的無縫結(jié)合
4.6 大規(guī)模數(shù)據(jù)遷移
  支持PB級的在線、離線遷移方案,，完成中國互聯(lián)網(wǎng)首個(gè)單客戶百PB級數(shù)據(jù)的遷移上云案例,，提供更安全、更快速海量數(shù)據(jù)遷移上云方案

• 離線數(shù)據(jù)遷移

  閃電立方可將用戶線下數(shù)據(jù),，安全,、高效的遷移到OSS，提供端到端的加密機(jī)制，支持TB到PB級數(shù)據(jù)遷移上云

• 在線數(shù)據(jù)遷移

  用戶可使用坤通云在線數(shù)據(jù)遷移服務(wù),、OSSImport工具,，將第三方云存儲、自建線下存儲等各類數(shù)據(jù),，在線遷移到OSS,，支持TB至PB級數(shù)據(jù)遷移到OSS

• HDFS數(shù)據(jù)遷移

  通過Hadoop對OSS的支持，用戶可以在自建的Hadoop集群或通過坤通云EMR,，將HDFS中大規(guī)模的數(shù)據(jù)遷移到OSS
 

5. 存儲產(chǎn)品優(yōu)勢

5.1 數(shù)據(jù)穩(wěn)定可靠
          OSS支撐坤通手機(jī)云相冊,，數(shù)億用戶訪問，穩(wěn)定可靠,。通過跨區(qū)域復(fù)制,、AZ之間數(shù)據(jù)容災(zāi)、AZ內(nèi)設(shè)備和數(shù)據(jù)冗余,、存儲介質(zhì)的慢盤/壞道檢測等技術(shù)方案,，保障數(shù)據(jù)持久性高達(dá)99.9999999999%，業(yè)務(wù)連續(xù)性高達(dá)99.995%,，遠(yuǎn)高于傳統(tǒng)架構(gòu),。

圖2 可靠性架構(gòu)
5.2 多重防護(hù)管理
         OSS通過可信云認(rèn)證，讓數(shù)據(jù)安全放心,。支持多版本控制,、服務(wù)端加密、防盜鏈,、VPC網(wǎng)絡(luò)隔離,、IP黑白名單、訪問日志審計(jì)以及細(xì)粒度的權(quán)限控制,，保障數(shù)據(jù)安全可信,。

圖3多重防護(hù)管理
5.3 只能調(diào)度并發(fā)
        OSS通過智能調(diào)度和響應(yīng)，優(yōu)化數(shù)據(jù)訪問路徑,，并結(jié)合事件通知,、傳輸加速、大數(shù)據(jù)垂直優(yōu)化等,，為各場景下用戶的千億對象提供千萬級并發(fā),、超高帶寬、穩(wěn)定低時(shí)延的數(shù)據(jù)訪問體驗(yàn),。

圖4 千萬并發(fā)的數(shù)據(jù)訪問
5.4 簡單易用易管理
         OSS支持標(biāo)準(zhǔn)REST API,、多版本SDK和數(shù)據(jù)遷移工具，讓業(yè)務(wù)快速上云,。無需事先規(guī)劃存儲容量,，存儲資源可線性無限擴(kuò)展,，不用擔(dān)心存儲資源擴(kuò)容、縮容問題,。同時(shí)提供全新的POSIX語言系統(tǒng),，應(yīng)用接入更簡便。

圖5 簡單易用管理
5.5 資源彈性擴(kuò)容
   持按量付費(fèi)模式,，按實(shí)際使用量付費(fèi),，無需提前一次性投入。同時(shí),，自動(dòng)彈性擴(kuò)展,，不限用戶存儲的容量和文件數(shù)目，滿足EB級海量存儲需求,。

5.6 數(shù)據(jù)分層
   提供標(biāo)準(zhǔn),、低頻、歸檔多種類型,，通過生命周期自動(dòng)化實(shí)現(xiàn)數(shù)據(jù)類型轉(zhuǎn)換與過期管理，覆蓋從熱到冷多種存儲場景,。

圖6 數(shù)據(jù)分析
  在信息時(shí)代,，企業(yè)數(shù)據(jù)直線增長，自建存儲服務(wù)器存在的諸多劣勢已無法滿足企業(yè)日益強(qiáng)烈的存儲需求,。以下列表詳細(xì)展示了OSS與自建存   儲服務(wù)器的優(yōu)劣勢對比：

對比項(xiàng)	OSS	自建存儲服務(wù)器
數(shù)據(jù)存儲量	提供海量的存儲服務(wù),，在全球部署著N個(gè)數(shù)據(jù)中心，所有業(yè)務(wù),、存儲節(jié)點(diǎn)采用分布式集群方式部署,，各節(jié)點(diǎn)、集群都可以獨(dú)立擴(kuò)容,，用戶永遠(yuǎn)不必?fù)?dān)心存儲容量不夠	數(shù)據(jù)存儲量受限于搭建存儲服務(wù)器時(shí)使用的硬件設(shè)備,，存儲量不夠時(shí)需要重新購買存儲硬盤，進(jìn)行人工擴(kuò)容
安全性	支持HTTPS/SSL安全協(xié)議,，支持?jǐn)?shù)據(jù)加密上傳,。同時(shí)OSS通過訪問密鑰（AK/SK）對訪問用戶的身份進(jìn)行鑒權(quán)，結(jié)合IAM策略,、桶策略,、ACL、防盜鏈等多種方式和技術(shù)確保數(shù)據(jù)傳輸與訪問的安全	需自行承擔(dān)網(wǎng)絡(luò)信息安全,、技術(shù)漏洞,、誤操作等各方面的數(shù)據(jù)安全風(fēng)險(xiǎn)
可靠性	通過五級可靠性架構(gòu)，保障數(shù)據(jù)持久性高達(dá)99.999999999%,，業(yè)務(wù)連續(xù)性高達(dá)99.99%,，遠(yuǎn)高于傳統(tǒng)架構(gòu)	一般的企業(yè)自建存儲服務(wù)器不會投入巨額的成本來同時(shí)保證介質(zhì)、服務(wù)器、機(jī)柜,、數(shù)據(jù)中心,、區(qū)域級別的可靠性，一旦出現(xiàn)故障或?yàn)?zāi)難,，很容易導(dǎo)致數(shù)據(jù)出現(xiàn)不可逆的丟失,，給企業(yè)造成嚴(yán)重?fù)p失
成本	即開即用，免去了自建存儲服務(wù)器前期的資金,、時(shí)間以及人力成本的投入,，后期設(shè)備的維護(hù)交由OSS處理。 按使用量付費(fèi),，用多少算多少,。階梯價(jià)格，用的越多越實(shí)惠	前期安裝難,、設(shè)備成本高,、初始投資大、自建周期長,、后期運(yùn)維成本高,，無法匹配快速變更的企業(yè)業(yè)務(wù)，安全保障的費(fèi)用還需額外考慮

表3 OSS與自建存儲服務(wù)器對比
 

6. 應(yīng)用場景

6.1 靜態(tài)網(wǎng)站托管
         OSS提供低成本,、高可用,、可根據(jù)流量需求自動(dòng)擴(kuò)展的網(wǎng)站托管解決方案，結(jié)合內(nèi)容分發(fā)網(wǎng)絡(luò)CDN和彈性云服務(wù)器ECS快速構(gòu)建動(dòng)靜態(tài)分離的網(wǎng)站/應(yīng)用系統(tǒng),。
終端用戶瀏覽器和APP上的動(dòng)態(tài)數(shù)據(jù)直接與搭建在坤通云上的業(yè)務(wù)系統(tǒng)進(jìn)行交互,，動(dòng)態(tài)數(shù)據(jù)請求發(fā)往業(yè)務(wù)系統(tǒng)處理后直接返回給用戶。靜態(tài)數(shù)據(jù)保存在OSS中,，業(yè)務(wù)系統(tǒng)通過內(nèi)網(wǎng)對靜態(tài)數(shù)據(jù)進(jìn)行處理,，終端用戶通過就近的高速節(jié)點(diǎn)，直接向OSS請求和讀取靜態(tài)數(shù)據(jù),。

圖7 靜態(tài)網(wǎng)站托管
6.2 在線視頻點(diǎn)播
        OSS提供高并發(fā),、高可靠、低時(shí)延,、低成本的海量存儲系統(tǒng),，結(jié)合媒體處理MPC、內(nèi)容審核Moderation和內(nèi)容分發(fā)網(wǎng)絡(luò)CDN可快速搭建極速,、安全,、高可用的視頻在線點(diǎn)播平臺。
         OSS作為視頻點(diǎn)播的源站,，一般的互聯(lián)網(wǎng)用戶或?qū)I(yè)的創(chuàng)作主體將各類視頻文件上傳至OSS后,，通過Moderation對視頻內(nèi)容進(jìn)行審核,，并通過MPC對視頻源文件進(jìn)行轉(zhuǎn)碼，最終通過CDN回源加速之后便可以在各類終端上進(jìn)行點(diǎn)播,。

圖8 在線視頻點(diǎn)播
6.2 基因測序
         OSS提供高并發(fā),、高可靠、低時(shí)延,、低成本的海量存儲系統(tǒng),，結(jié)合坤通云計(jì)算服務(wù)可快速搭建高擴(kuò)展性、低成本,、高可用的基因測序平臺,。
客戶數(shù)據(jù)中心測序儀上的數(shù)據(jù)通過云專線自動(dòng)快速上傳到云上，通過由ECS,、CCE,、MRS等服務(wù)搭建的計(jì)算集群進(jìn)行分析計(jì)算，分析計(jì)算產(chǎn)生的數(shù)據(jù)和計(jì)算結(jié)果存儲到OSS中,，其中上傳到云的基因數(shù)據(jù)自動(dòng)轉(zhuǎn)為低成本的歸檔對象保存在OSS提供的歸檔存儲中,，計(jì)算得出的測序結(jié)果通過公網(wǎng)在線分發(fā)到醫(yī)院和科研機(jī)構(gòu)。

圖9 基因測試
6.4 智能視頻監(jiān)控
         OSS為視頻監(jiān)控解決方案提供高性能,、高可靠,、低時(shí)延、低成本的海量存儲空間,，同時(shí)提供標(biāo)準(zhǔn)存儲,、低頻訪問存儲和歸檔存儲分類存儲數(shù)據(jù),，降低存儲成本,，滿足個(gè)人/企業(yè)等各類視頻監(jiān)控場景需求，提供設(shè)備管理,、視頻監(jiān)控以及視頻處理等多種能力的端到端解決方案,。
攝像頭拍攝的監(jiān)控視頻通過公網(wǎng)或?qū)＞€傳輸至坤通云，在彈性云服務(wù)器ECS和彈性負(fù)載均衡ELB組成的視頻監(jiān)控處理平臺將視頻流切片后存入OSS,，后續(xù)再從OSS下載歷史視頻對象傳輸?shù)接^看視頻的終端設(shè)備,。

圖10 只能視頻監(jiān)控
6.5 備份歸檔
         OSS提供高并發(fā)、高可靠,、低時(shí)延,、低成本的海量存儲系統(tǒng)，滿足各種企業(yè)應(yīng)用,、數(shù)據(jù)庫和非結(jié)構(gòu)化數(shù)據(jù)的備份歸檔需求,。
企業(yè)數(shù)據(jù)中心的各類數(shù)據(jù)通過使用同步客戶端、主流備份軟件,、云存儲網(wǎng)關(guān)或數(shù)據(jù)快遞服務(wù)DES,，備份至坤通云對象存儲服務(wù)OSS,。OSS提供生命周期功能實(shí)現(xiàn)存儲類別自動(dòng)轉(zhuǎn)換，以降低存儲成本,。在需要時(shí),，可將OSS中的數(shù)據(jù)恢復(fù)到云上的災(zāi)備主機(jī)或測試主機(jī)。

圖11 備份歸檔
6.6 云端數(shù)據(jù)處理
   上傳文件到OSS后,，可以配合媒體處理服務(wù)和圖片處理服務(wù)進(jìn)行云端的數(shù)據(jù)處理

圖12 云端數(shù)據(jù)處理
6.7 大數(shù)據(jù)分析
        OSS提供的大數(shù)據(jù)解決方案主要面向海量數(shù)據(jù)存儲分析,、歷史數(shù)據(jù)明細(xì)查詢、海量行為日志分析和公共事務(wù)分析統(tǒng)計(jì)等場景,，向用戶提供低成本,、高性能、不斷業(yè)務(wù),、無需擴(kuò)容的解決方案
 

• 海量數(shù)據(jù)存儲分析的典型場景：PB級的數(shù)據(jù)存儲,，批量數(shù)據(jù)分析，毫秒級的數(shù)據(jù)詳單查詢等
• 歷史數(shù)據(jù)明細(xì)查詢的典型場景：流水審計(jì),，設(shè)備歷史能耗分析,，軌跡回放，車輛駕駛行為分析,，精細(xì)化監(jiān)控等
• 海量行為日志分析的典型場景：學(xué)習(xí)習(xí)慣分析,，運(yùn)營日志分析，系統(tǒng)操作日志分析查詢等
• 公共事務(wù)分析統(tǒng)計(jì)的典型場景：犯罪追蹤,，關(guān)聯(lián)案件查詢,，交通擁堵分析，景點(diǎn)熱度統(tǒng)計(jì)等

用戶通過DES等遷移服務(wù)將海量數(shù)據(jù)遷移至OSS,，再基于坤通云提供的MapReduce等大數(shù)據(jù)服務(wù)或開源的Hadoop,、Spark等運(yùn)算框架，對存儲在OSS上的海量數(shù)據(jù)進(jìn)行大數(shù)據(jù)分析,，最終將分析的結(jié)果呈現(xiàn)在ECS中的各類程序或應(yīng)用上,。

圖13 大數(shù)據(jù)分析
 

7. 行業(yè)實(shí)戰(zhàn)領(lǐng)域

7.1 網(wǎng)站動(dòng)靜分離
   提供更低成本、易擴(kuò)展的存儲服務(wù)
   用戶可以像文件夾一樣管理客戶網(wǎng)站上的圖片,，腳本,，視頻等靜態(tài)資源，通過BGP網(wǎng)絡(luò)或者CDN加速的方式,，提供用戶就近訪問,，有效降低云服務(wù)器負(fù)載，提升用戶體驗(yàn),。

能夠提供：

• 高性能

不必?fù)?dān)心業(yè)務(wù)數(shù)據(jù)量增高導(dǎo)致的服務(wù)器負(fù)載問題,。

• 低成本
• 資源彈性伸縮，按需付費(fèi)

圖14 網(wǎng)站動(dòng)靜分離
7.2 多媒體數(shù)據(jù)存儲
適用于圖片,、音視頻,、日志等海量文件的存儲
   支持各種終端設(shè)備,，Web網(wǎng)站程序和移動(dòng)應(yīng)用直接向OSS寫入或讀取數(shù)據(jù)，支持流式寫入和文件寫入兩種方式,。強(qiáng)大的技術(shù)保障為客戶提供11個(gè)9的數(shù)據(jù)寫入可靠性保障,，與CDN和視頻轉(zhuǎn)碼無縫結(jié)合。

能夠提供：

• 靈活接入

    標(biāo)準(zhǔn)RESTful API接口,、豐富的SDK包客戶端工具及控制臺

• 安全可靠

    多層安全機(jī)制有效保證數(shù)據(jù)可靠性

• 低成本

    資源彈性伸縮,，靈活計(jì)費(fèi)方式

圖15 多媒體數(shù)據(jù)存儲
7.3 多存儲類型
存儲分層，成本直降
  全面覆蓋從有熱點(diǎn)存在,、頻繁訪問的各類音視頻,、圖片數(shù)據(jù)，到低頻訪問的各類備份數(shù)據(jù),，再到長期歸檔的數(shù)據(jù),。 配合Lifecycle機(jī)制，按照配置的時(shí)間周期,，將數(shù)據(jù)轉(zhuǎn)儲到更低單價(jià)的存儲類型上,，優(yōu)化存儲成本。

能夠提供：

• 標(biāo)準(zhǔn)存儲Standard

    高性能,、高可靠,、高可用的對象存儲服務(wù)

• 低頻訪問類型Infrequent Access

    較低存儲成本和實(shí)時(shí)訪問特性的對象存儲服務(wù)

• 歸檔類型Archive

    歸檔數(shù)據(jù)的長期存儲，存儲單價(jià)最低

圖16 多存儲類型
7.4 跨區(qū)域容災(zāi)
OSS提供跨區(qū)域復(fù)制功能
  用戶存儲數(shù)據(jù)可以通過的跨區(qū)域復(fù)制功能實(shí)時(shí)同步到指定區(qū)域,，實(shí)現(xiàn)數(shù)據(jù)異地容災(zāi),，從容應(yīng)對極端災(zāi)難保證業(yè)務(wù)流暢，為重要數(shù)據(jù)加上多重保險(xiǎn)
能夠解決的問題：

• 異地容災(zāi)

    通過跨區(qū)域復(fù)制功能可在另一數(shù)據(jù)中心維護(hù)副本,，實(shí)現(xiàn)異地容災(zāi)

• 數(shù)據(jù)合規(guī)

    在遠(yuǎn)距離的OSS數(shù)據(jù)中心之間復(fù)制數(shù)據(jù)以滿足數(shù)據(jù)合規(guī)性要求

圖17 跨區(qū)域容災(zāi)