關于大規模錄入的資料流轉

因為要雙次錄入，雙次一緻才入正式庫。經過試點區資料錄入的教訓，決定改進一下資料在庫中的流轉，A與B在 Table_T 錄完後，若對比相同，選其中一條資料進入 Table_M ，同時将 A與B 的資料從Table_T 中移出，原樣轉入 Back_TableT，複核員在 Table_M 中進行複核，如資料沒問題時，再轉移進 Table_F 。  這樣就有了4種同構表。  臨時表、中間表、備份表、正式表。

      試點區資料時，因為程式的不完善，丢失了約2%的資料，還錯位了一些資料，這次把所有的錄入都原樣保管，應該在程式出了問題時，仍能補救。如果在二個月後發現某項資料一直是錯誤的，會造成重大損失；

    還有，這樣轉移的考慮是，我們對于大資料的處理十分缺乏經驗，這樣把集中操作分散開來，同時的一種操作也不過在一張幾萬行記錄的表裡，應該不會随時間對實時錄入速度産生越來越嚴重的影響。

   哪位朋友進行過大資料量或普查性質的表單實時錄入軟體，和俺聯系了：）

本文轉自   wenyan  51CTO部落格，原文連結:http://blog.51cto.com/wenyan/10129