模拟大数据如何到达Azure的数据仓库

MS SQL Server 2012 数据库

一个销售表

,用while循环,insert 6万条测试记录,用时2分56秒, 但返回一个Error creating window handle

这个应该是SSME客户端问题

https://social.msdn.microsoft.com/Forums/sqlserver/en-US/aeae8dc8-f45f-44df-881b-fa9d57948bde/an-error-occurred-while-executing-batch-error-message-is-error-creating-window-handle-sql-server

但是这样改, insert的速度好像变慢了, 8分钟才insert了4万条,按这个速度(2分钟1万条),一个2000万条记录的销售表,从本地复制到云端的Azure数据库要2000*2/60/24=2.8天, 不能用这个方法来写大数据

参考这篇文章,https://www.cnblogs.com/fishparadise/p/4809014.html, 用bcp 导出数据,40万条数据只需要1秒

改成导入数据 ,速度会慢一点,27万/秒

bcp 导入时,碰到自动增长的ID列,会自动替换成最新的ID,不会用txt文本里的ID, 如果txt文件里有空白的空行, bcp导入时就会提示遇到EOF

-b10000 可以指定多少行作为一个事物提交,这样能有效减少日志的大小

看看一个按日期分组查询的性能

在编辑导出导入的txt数据时,发现用SSME和VS.net 针对大数据(100多万条)还是有问题(经常out of memeory)

=======================什么时候用表分区,知乎看到的文章=================================

只有一块盘的话,分区不会比索引提升很多

Original: https://www.cnblogs.com/zitjubiz/p/16179813.html
Author: Gu
Title: 模拟大数据如何到达Azure的数据仓库

原创文章受到原创版权保护。转载请注明出处:https://www.johngo689.com/564928/

转载文章受原作者版权保护。转载请注明原作者出处!

(0)

大家都在看

亲爱的 Coder【最近整理,可免费获取】👉 最新必读书单  | 👏 面试题下载  | 🌎 免费的AI知识星球