最近在協助客戶驗證使用 SQL Server 2005 來處理超過 10 億筆的資料匯入並建立索引。要處理這麼大量資料的例子還是第一次,所以做了一些功課,透過這個 Blog 整理給有需的的人參考。

Strategies for Partitioning Relational Data Warehouses in Microsoft SQL Server 文中提到,在規畫一個大型的資料倉儲時,必須考慮下列要點:

  • Data volume
  • Data loading window
  • Index maintenance window
  • Workload characteristics
  • Data aging strategy
  • Archive and backup strategy
  • Hardware characteristics

文中主要說明在規劃 VLDB 時使用 Partitioned Table 和 Single Table 的差異與規劃點。

另外關於將資料匯入的規劃方面,在 Microsoft SQL Server Development Customer Advisory Team 的 Blog 文章:Load 1TB in less than 1 hour 文中說明如何在一小時內 Bulk Insert 1TB 的資料。文中並分享了 Bulk Insert 大量資料的 Best Practices,非常值得有需求的您參考。

先寫到這裡,未來會陸續更新。