1. 方案概述

2. 總體方案架構

• 系統(tǒng)元數據由OSS自動產生，在處理對象數據時使用,，包括Date,，Content-length，Last-modify,，Content-MD5等,。
• 用戶元數據由用戶在上傳對象時指定,，是用戶自定義的對象描述信息。

圖1. 云存儲架構設計

3. 存儲類別及訪問
   1. 存儲類別概述

1. 2. 訪問對象存儲服務方式

4. 存儲功能特點

• 數據冷熱分層維度

• 數據冗余維度

• 數據可靠

• 完整性校驗

• 完善的權限控制

• 網絡訪問安全防護

• 數據加密

• 日志審計

• 數據合規(guī)

        OSS支持WORM策略（一次寫入,，多次讀?。?/span> 保護周期內,，任何人都不能對文件進行修改和刪除,，滿足行業(yè)合規(guī)要求。同時,，坤通云通過國內外多項認證,，率先將眾多的合規(guī)控制點，融入云平臺內控管理和產品設計中
4.3 企業(yè)級數據管理
  支持生命周期,、回源,、更豐富的數據上傳與下載方式、事件通知,、回調等,，提供更簡單易用、更便于管理的對象存儲

• 生命周期

       可定義數據的生命周期,，將符合規(guī)則的對象轉換存儲類型或過期清除

• 鏡像回源

  支持配置用戶源站,，當訪問數據不在OSS時，OSS會從源站拉取并寫入OSS

• 文件上傳

        支持PutObject,、PostObject,、MultipartUpload、AppendObject方式,。其中,，Append上傳的文件，支持在文件末尾追加內容

• 文件下載

        支持簡單下載,、斷點續(xù)傳下載,，其中斷點續(xù)傳下載，可設置從Object指定的位置開始下載

• 云監(jiān)控

        對接云監(jiān)控，支持OSS基礎服務指標,、性能指標和計量指標的監(jiān)控

• 事件通知

        支持事件通知,，OSS上Object相關操作可觸發(fā)事件通知，用戶可設置觸發(fā)器,，以執(zhí)行各種操作

• 實時日志

        支持導出訪問日志到用戶Bucket,，也可結合日志服務，對OSS訪問記錄實時查詢,、可視化分析,，滿足企業(yè)運維審計、業(yè)務分析等需求
4.4 數據處理能力
  支持圖片,、文檔,、視頻、CSV等數據的常用處理和分析能力,，提供更智能的對象存儲

• 圖片處理

       支持jpg,、png、bmp,、gif,、webp、tiff等格式的轉換,，以及縮略圖,、剪裁、水印,、縮放等多種操作

• 視頻截幀

       支持截取出視頻中的指定位置生成圖片,，完成視頻截幀

• 文檔預覽

        支持對ppt、xls,、doc,、pdf 等格式文檔進行在線預覽

• 標簽識別

        支持圖片場景標簽識別，如交通工具,、電子產品,、常用物品、飲食等,，支持分層標簽

• 人臉識別

        支持圖片中多張人臉的位置與屬性檢測,，如性別、年齡,、情緒,、頭部姿勢、眼睛狀態(tài),、模糊度等

• OSS Select

  支持通過SQL選取CSV、JSON文件內容,，而無需下載整個文件再分析,，可為大數據應用提速

4.5 數據生態(tài)豐富
  支持對接開源生態(tài),、坤通云豐富的計算產品、數據管理產品,，幫助客戶釋放數據更大的業(yè)務價值

• 開源生態(tài)

  中國首家被Hadoop官方社區(qū)支持的云存儲,，可對接豐富的開源生態(tài)。用戶可通過Logstash,、Flume將日志投遞到OSS,，可在Hadoop、Spark,、Hive,、Impala、Flink,、Presto中訪問OSS,，通過計算存儲分離架構，將溫數據,、冷數據存儲在OSS

• 計算產品對接

        OSS無縫對接坤通云日志服務,、EMR、DataLakeAnalytics,、函數計算,、批量計算、MaxCompute,，滿足用戶日志投遞,、離線處理、交互式查詢,、Severless觸發(fā)計算,、批量計算等場景需求。

• 數據管理生態(tài)

  支持通過坤通云DBS,，將各類數據庫備份到OSS,；通過數據集成，將數據導入到OSS,；通過坤通云混合云存儲陣列結合云上OSS,，可實現本地和云端存儲空間的無縫結合
4.6 大規(guī)模數據遷移
  支持PB級的在線、離線遷移方案,，完成中國互聯網首個單客戶百PB級數據的遷移上云案例,，提供更安全、更快速海量數據遷移上云方案

• 離線數據遷移

  閃電立方可將用戶線下數據,，安全,、高效的遷移到OSS，提供端到端的加密機制，支持TB到PB級數據遷移上云

• 在線數據遷移

  用戶可使用坤通云在線數據遷移服務,、OSSImport工具,，將第三方云存儲、自建線下存儲等各類數據,，在線遷移到OSS,，支持TB至PB級數據遷移到OSS

• HDFS數據遷移

  通過Hadoop對OSS的支持，用戶可以在自建的Hadoop集群或通過坤通云EMR,，將HDFS中大規(guī)模的數據遷移到OSS
 

5. 存儲產品優(yōu)勢

5.1 數據穩(wěn)定可靠
          OSS支撐坤通手機云相冊,，數億用戶訪問，穩(wěn)定可靠,。通過跨區(qū)域復制,、AZ之間數據容災、AZ內設備和數據冗余,、存儲介質的慢盤/壞道檢測等技術方案,，保障數據持久性高達99.9999999999%，業(yè)務連續(xù)性高達99.995%,，遠高于傳統(tǒng)架構,。

圖2 可靠性架構
5.2 多重防護管理
         OSS通過可信云認證，讓數據安全放心,。支持多版本控制,、服務端加密、防盜鏈,、VPC網絡隔離,、IP黑白名單、訪問日志審計以及細粒度的權限控制,，保障數據安全可信,。

圖3多重防護管理
5.3 只能調度并發(fā)
        OSS通過智能調度和響應，優(yōu)化數據訪問路徑,，并結合事件通知,、傳輸加速、大數據垂直優(yōu)化等,，為各場景下用戶的千億對象提供千萬級并發(fā),、超高帶寬、穩(wěn)定低時延的數據訪問體驗,。

圖4 千萬并發(fā)的數據訪問
5.4 簡單易用易管理
         OSS支持標準REST API,、多版本SDK和數據遷移工具，讓業(yè)務快速上云,。無需事先規(guī)劃存儲容量,，存儲資源可線性無限擴展,，不用擔心存儲資源擴容、縮容問題,。同時提供全新的POSIX語言系統(tǒng),，應用接入更簡便。

圖5 簡單易用管理
5.5 資源彈性擴容
   持按量付費模式,，按實際使用量付費，無需提前一次性投入,。同時,，自動彈性擴展，不限用戶存儲的容量和文件數目,，滿足EB級海量存儲需求,。

5.6 數據分層
   提供標準、低頻,、歸檔多種類型,，通過生命周期自動化實現數據類型轉換與過期管理，覆蓋從熱到冷多種存儲場景,。

圖6 數據分析
  在信息時代,，企業(yè)數據直線增長，自建存儲服務器存在的諸多劣勢已無法滿足企業(yè)日益強烈的存儲需求,。以下列表詳細展示了OSS與自建存   儲服務器的優(yōu)劣勢對比：

對比項	OSS	自建存儲服務器
數據存儲量	提供海量的存儲服務,，在全球部署著N個數據中心，所有業(yè)務,、存儲節(jié)點采用分布式集群方式部署,，各節(jié)點、集群都可以獨立擴容,，用戶永遠不必擔心存儲容量不夠	數據存儲量受限于搭建存儲服務器時使用的硬件設備,，存儲量不夠時需要重新購買存儲硬盤，進行人工擴容
安全性	支持HTTPS/SSL安全協議,，支持數據加密上傳,。同時OSS通過訪問密鑰（AK/SK）對訪問用戶的身份進行鑒權，結合IAM策略,、桶策略,、ACL、防盜鏈等多種方式和技術確保數據傳輸與訪問的安全	需自行承擔網絡信息安全,、技術漏洞,、誤操作等各方面的數據安全風險
可靠性	通過五級可靠性架構，保障數據持久性高達99.999999999%,，業(yè)務連續(xù)性高達99.99%,，遠高于傳統(tǒng)架構	一般的企業(yè)自建存儲服務器不會投入巨額的成本來同時保證介質,、服務器、機柜,、數據中心,、區(qū)域級別的可靠性，一旦出現故障或災難,，很容易導致數據出現不可逆的丟失,，給企業(yè)造成嚴重損失
成本	即開即用，免去了自建存儲服務器前期的資金,、時間以及人力成本的投入,，后期設備的維護交由OSS處理。 按使用量付費,，用多少算多少,。階梯價格，用的越多越實惠	前期安裝難,、設備成本高,、初始投資大、自建周期長,、后期運維成本高,，無法匹配快速變更的企業(yè)業(yè)務，安全保障的費用還需額外考慮

表3 OSS與自建存儲服務器對比
 

6. 應用場景

6.1 靜態(tài)網站托管
         OSS提供低成本,、高可用,、可根據流量需求自動擴展的網站托管解決方案，結合內容分發(fā)網絡CDN和彈性云服務器ECS快速構建動靜態(tài)分離的網站/應用系統(tǒng),。
終端用戶瀏覽器和APP上的動態(tài)數據直接與搭建在坤通云上的業(yè)務系統(tǒng)進行交互,，動態(tài)數據請求發(fā)往業(yè)務系統(tǒng)處理后直接返回給用戶。靜態(tài)數據保存在OSS中,，業(yè)務系統(tǒng)通過內網對靜態(tài)數據進行處理,，終端用戶通過就近的高速節(jié)點，直接向OSS請求和讀取靜態(tài)數據,。

圖7 靜態(tài)網站托管
6.2 在線視頻點播
        OSS提供高并發(fā),、高可靠、低時延,、低成本的海量存儲系統(tǒng),，結合媒體處理MPC、內容審核Moderation和內容分發(fā)網絡CDN可快速搭建極速,、安全,、高可用的視頻在線點播平臺。
         OSS作為視頻點播的源站,，一般的互聯網用戶或專業(yè)的創(chuàng)作主體將各類視頻文件上傳至OSS后,，通過Moderation對視頻內容進行審核,，并通過MPC對視頻源文件進行轉碼，最終通過CDN回源加速之后便可以在各類終端上進行點播,。

圖8 在線視頻點播
6.2 基因測序
         OSS提供高并發(fā),、高可靠、低時延,、低成本的海量存儲系統(tǒng),，結合坤通云計算服務可快速搭建高擴展性、低成本,、高可用的基因測序平臺,。
客戶數據中心測序儀上的數據通過云專線自動快速上傳到云上，通過由ECS,、CCE、MRS等服務搭建的計算集群進行分析計算,，分析計算產生的數據和計算結果存儲到OSS中,，其中上傳到云的基因數據自動轉為低成本的歸檔對象保存在OSS提供的歸檔存儲中，計算得出的測序結果通過公網在線分發(fā)到醫(yī)院和科研機構,。

圖9 基因測試
6.4 智能視頻監(jiān)控
         OSS為視頻監(jiān)控解決方案提供高性能,、高可靠、低時延,、低成本的海量存儲空間,，同時提供標準存儲、低頻訪問存儲和歸檔存儲分類存儲數據,，降低存儲成本,，滿足個人/企業(yè)等各類視頻監(jiān)控場景需求，提供設備管理,、視頻監(jiān)控以及視頻處理等多種能力的端到端解決方案,。
攝像頭拍攝的監(jiān)控視頻通過公網或專線傳輸至坤通云，在彈性云服務器ECS和彈性負載均衡ELB組成的視頻監(jiān)控處理平臺將視頻流切片后存入OSS,，后續(xù)再從OSS下載歷史視頻對象傳輸到觀看視頻的終端設備,。

圖10 只能視頻監(jiān)控
6.5 備份歸檔
         OSS提供高并發(fā)、高可靠,、低時延,、低成本的海量存儲系統(tǒng)，滿足各種企業(yè)應用,、數據庫和非結構化數據的備份歸檔需求,。
企業(yè)數據中心的各類數據通過使用同步客戶端、主流備份軟件,、云存儲網關或數據快遞服務DES,，備份至坤通云對象存儲服務OSS,。OSS提供生命周期功能實現存儲類別自動轉換，以降低存儲成本,。在需要時,，可將OSS中的數據恢復到云上的災備主機或測試主機。

圖11 備份歸檔
6.6 云端數據處理
   上傳文件到OSS后,，可以配合媒體處理服務和圖片處理服務進行云端的數據處理

圖12 云端數據處理
6.7 大數據分析
        OSS提供的大數據解決方案主要面向海量數據存儲分析,、歷史數據明細查詢、海量行為日志分析和公共事務分析統(tǒng)計等場景,，向用戶提供低成本,、高性能、不斷業(yè)務,、無需擴容的解決方案
 

• 海量數據存儲分析的典型場景：PB級的數據存儲,，批量數據分析，毫秒級的數據詳單查詢等
• 歷史數據明細查詢的典型場景：流水審計,，設備歷史能耗分析,，軌跡回放，車輛駕駛行為分析,，精細化監(jiān)控等
• 海量行為日志分析的典型場景：學習習慣分析,，運營日志分析，系統(tǒng)操作日志分析查詢等
• 公共事務分析統(tǒng)計的典型場景：犯罪追蹤,，關聯案件查詢,，交通擁堵分析，景點熱度統(tǒng)計等

用戶通過DES等遷移服務將海量數據遷移至OSS,，再基于坤通云提供的MapReduce等大數據服務或開源的Hadoop,、Spark等運算框架，對存儲在OSS上的海量數據進行大數據分析,，最終將分析的結果呈現在ECS中的各類程序或應用上,。

圖13 大數據分析
 

7. 行業(yè)實戰(zhàn)領域

7.1 網站動靜分離
   提供更低成本、易擴展的存儲服務
   用戶可以像文件夾一樣管理客戶網站上的圖片,，腳本,，視頻等靜態(tài)資源，通過BGP網絡或者CDN加速的方式,，提供用戶就近訪問,，有效降低云服務器負載，提升用戶體驗,。

能夠提供：

• 高性能

不必擔心業(yè)務數據量增高導致的服務器負載問題,。

• 低成本
• 資源彈性伸縮，按需付費

圖14 網站動靜分離
7.2 多媒體數據存儲
適用于圖片,、音視頻,、日志等海量文件的存儲
   支持各種終端設備,，Web網站程序和移動應用直接向OSS寫入或讀取數據，支持流式寫入和文件寫入兩種方式,。強大的技術保障為客戶提供11個9的數據寫入可靠性保障,，與CDN和視頻轉碼無縫結合。

能夠提供：

• 靈活接入

    標準RESTful API接口,、豐富的SDK包客戶端工具及控制臺

• 安全可靠

    多層安全機制有效保證數據可靠性

• 低成本

    資源彈性伸縮,，靈活計費方式

圖15 多媒體數據存儲
7.3 多存儲類型
存儲分層，成本直降
  全面覆蓋從有熱點存在,、頻繁訪問的各類音視頻,、圖片數據，到低頻訪問的各類備份數據,，再到長期歸檔的數據,。 配合Lifecycle機制，按照配置的時間周期,，將數據轉儲到更低單價的存儲類型上,，優(yōu)化存儲成本。

能夠提供：

• 標準存儲Standard

    高性能,、高可靠、高可用的對象存儲服務

• 低頻訪問類型Infrequent Access

    較低存儲成本和實時訪問特性的對象存儲服務

• 歸檔類型Archive

    歸檔數據的長期存儲,，存儲單價最低

圖16 多存儲類型
7.4 跨區(qū)域容災
OSS提供跨區(qū)域復制功能
  用戶存儲數據可以通過的跨區(qū)域復制功能實時同步到指定區(qū)域,，實現數據異地容災，從容應對極端災難保證業(yè)務流暢,，為重要數據加上多重保險
能夠解決的問題：

• 異地容災

    通過跨區(qū)域復制功能可在另一數據中心維護副本,，實現異地容災

• 數據合規(guī)

    在遠距離的OSS數據中心之間復制數據以滿足數據合規(guī)性要求

圖17 跨區(qū)域容災