Npgsql实现Postgresql数据库表的批量导入及导出(Bulk Copy)_postgresql bulk copy-程序员宅基地

技术标签: postgresql  数据库  

我们知道在ADO.NET中有“System.Data.SqlClient.SqlBulkCopy类”专门针对SQL Server的批导入表数据操作(Bulk Copy),而针对Postgresql的Npgsql并无相应的类,Npgsql实现Bulk Copy是通过Copy指令实现的,详细可以参考Npgsql官网对Bulk Copy的说明https://www.npgsql.org/doc/copy.html  (如果想更多了解关于Copy指令的语法可以阅读https://www.postgresql.org/docs/current/sql-copy.html)。

以下是C#中实现批量导入表格数据的通用方法(导出方法请阅读官网相关说明,此处略过):

public void BulkCopy(string tableName, DataTable dt)
        {    
            List<string> lsColNames = new List<string>();
            for (int i = 0; i < dt.Columns.Count; i++)
            {
                lsColNames.Add($"\"{dt.Columns[i].ColumnName}\"");
            }
            string copyString = $"COPY \"{tableName}\" ( {string.Join(",", lsColNames) } ) FROM STDIN (FORMAT BINARY)";
            using (NpgsqlConnection conn = (NpgsqlConnection)_DB.CreateConnection())
            {
                if (conn.State == ConnectionState.Closed)
                    conn.Open();
                var writer = conn.BeginBinaryImport(copyString);
                foreach (DataRow row in dt.Rows)
                {
                    writer.StartRow();
                    IEnumerable<KeyValuePair<string, JToken>> JRowData = DataConvert.ToJObject(row);
                    foreach (var kvp in JRowData)
                    {
                        NpgsqlParameter colParam = GetParameter(tableName, kvp);
                        writer.Write(colParam.Value, colParam.NpgsqlDbType);
                    }                    
                }
                writer.Complete();
                conn.Close();
            }
        }

以下是上例中涉及的有关获取各字段作参数的类型与值的方法:

        public NpgsqlParameter GetParameter(string tableName, KeyValuePair<string,JToken> columnValuePair)
        {
            string columnDBypeName = _DBTableDefProvider.GetTableColumn(tableName, columnValuePair.Key).data_type.ToLower();           

            NpgsqlParameter p = new NpgsqlParameter("@" + columnValuePair.Key,
                    columnDBypeName == "timestamp" || columnDBypeName == "timestamp without time zone" ? NpgsqlDbType.Timestamp
                        : columnDBypeName == "timestamp with time zone" ? NpgsqlDbType.TimestampTz
                        : columnDBypeName == "date" ? NpgsqlDbType.Date
                        : columnDBypeName=="time" || columnDBypeName == "time without time zone" ? NpgsqlDbType.Time
                        : columnDBypeName == "time with time zone" ? NpgsqlDbType.TimeTz
                        : columnDBypeName == "smallint" ? NpgsqlDbType.Smallint
                        : columnDBypeName == "integer" || columnDBypeName == "serial" ? NpgsqlDbType.Integer
                        : columnDBypeName == "bigint" || columnDBypeName == "bigserial" ? NpgsqlDbType.Bigint
                        : columnDBypeName == "double precision" ? NpgsqlDbType.Double
                        : columnDBypeName == "real" ? NpgsqlDbType.Real
                        : columnDBypeName == "boolean" ? NpgsqlDbType.Boolean
                        : columnDBypeName == "uuid" ? NpgsqlDbType.Uuid
                        : columnDBypeName == "bit" ? NpgsqlDbType.Bit                    //eg:0|1
                        : columnDBypeName == "json" ? NpgsqlDbType.Json
                        : columnDBypeName == "money" ? NpgsqlDbType.Money
                        : columnDBypeName == "numeric" ? NpgsqlDbType.Numeric
                        : columnDBypeName == "bit varying" ? NpgsqlDbType.Varbit        //eg:01010101
                        : columnDBypeName == "text" ? NpgsqlDbType.Text
                        : columnDBypeName == "character varying" ? NpgsqlDbType.Varchar    //NpgsqlDbType.Varchar可以直接用NpgsqlDbType.Text
                        : columnDBypeName == "\"char\"" || columnDBypeName == "character" ? NpgsqlDbType.Char   //NpgsqlDbType.Char可以直接用NpgsqlDbType.Text
                        //: columnDBypeName == "array" ? NpgsqlDbType.Array|NpgsqlDbType.Json //ARRAY需要匹配各个基础类型的Array,且不能直接以string传值,不常用不做处理
                        : columnDBypeName == "interval" ? NpgsqlDbType.Interval
                        //: NpgsqlDbType.Text); 
                        : NpgsqlDbType.Unknown);
            p.Value = columnValuePair.Value.Type == JTokenType.Null ? DBNull.Value
                    : columnDBypeName.StartsWith("timestamp") || columnDBypeName == "date" || columnDBypeName.StartsWith("time") ? Convert.ToDateTime(((JValue)columnValuePair.Value).Value)
                    : columnDBypeName == "smallint" ? Convert.ToInt16(columnValuePair.Value)
                    : columnDBypeName == "integer" || columnDBypeName == "serial" ? Convert.ToInt32(((JValue)columnValuePair.Value).Value)
                    : columnDBypeName == "bigint" || columnDBypeName == "bigserial" ? Convert.ToInt64(((JValue)columnValuePair.Value).Value)
                    : columnDBypeName == "double precision" ? Convert.ToDouble(((JValue)columnValuePair.Value).Value)
                    : columnDBypeName == "real" ? Convert.ToSingle(((JValue)columnValuePair.Value).Value)
                    : columnDBypeName == "boolean" ? Convert.ToBoolean(((JValue)columnValuePair.Value).Value)
                    : columnDBypeName == "uuid" ? Guid.Parse((string)columnValuePair.Value)
                    : columnDBypeName == "bit" ? Convert.ToString(Convert.ToInt32(columnValuePair.Value), 2).Last().ToString()
                    : columnDBypeName == "json" ? JObject.Parse((string)columnValuePair.Value).ToString()
                    : columnDBypeName == "money" || columnDBypeName == "numeric" ? Convert.ToDecimal(((JValue)columnValuePair.Value).Value)
                    : columnDBypeName == "text"|| columnDBypeName == "character varying" || columnDBypeName == "character" ? (string)columnValuePair.Value
                    : columnDBypeName == "interval" ? TimeSpan.Parse(Regex.Replace((string)columnValuePair.Value, "days?",".",RegexOptions.IgnoreCase).Replace(" ",""))
                    : (object)(string)((JValue)columnValuePair.Value).Value;
            return p;
        }

 以下是查询Postgresql表格与字段信息的SQL:

select
    --col.table_schema,
    col.table_name,
    col.column_name,
    (case when col.column_default like 'nextval(%' then true else false end) as is_serial,
    --col.is_generated,
    (case when col.is_nullable='NO' then false else true end) as is_nullable,
    (case when con.contype is not null then true else false end) as is_primarykey,
    --con.contype ,
    col.data_type,
    col.character_maximum_length
from information_schema.columns col 
inner join pg_class cls on col.table_name=cls.relname
left join pg_constraint con on cls.oid=con.conrelid and con.contype='p' and array_position(con.conkey::integer[],col.ordinal_position::integer)>0
where col.table_schema = 'public'
order by col.table_name,col.ordinal_position;

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/carcarrot/article/details/106850699

智能推荐

python编码问题之encode、decode、codecs模块_python中encode在什么模块-程序员宅基地

文章浏览阅读2.1k次。原文链接先说说编解码问题编码转换时,通常需要以unicode作为中间编码,即先将其他编码的字符串解码(decode)成unicode,再从unicode编码(encode)成另一种编码。 Eg:str1.decode('gb2312') #将gb2312编码的字符串转换成unicode编码str2.encode('gb2312') #将unicode编码..._python中encode在什么模块

Java数据流-程序员宅基地

文章浏览阅读949次,点赞21次,收藏15次。本文介绍了Java中的数据输入流(DataInputStream)和数据输出流(DataOutputStream)的使用方法。

ie浏览器无法兼容的问题汇总_ie 浏览器 newdate-程序员宅基地

文章浏览阅读111次。ie无法兼容_ie 浏览器 newdate

想用K8s,还得先会Docker吗?其实完全没必要-程序员宅基地

文章浏览阅读239次。这篇文章把 Docker 和 K8s 的关系给大家做了一个解答,希望还在迟疑自己现有的知识储备能不能直接学 K8s 的,赶紧行动起来,K8s 是典型的入门有点难,后面越用越香。

ADI中文手册获取方法_adi 如何查看数据手册-程序员宅基地

文章浏览阅读561次。ADI中文手册获取方法_adi 如何查看数据手册

React 分页-程序员宅基地

文章浏览阅读1k次,点赞4次,收藏3次。React 获取接口数据实现分页效果以拼多多接口为例实现思路加载前 加载动画加载后 判断有内容的时候 无内容的时候用到的知识点1、动画效果(用在加载前,加载之后就隐藏或关闭,用开关效果即可)2、axios请求3、map渲染页面4、分页插件(antd)代码实现import React, { Component } from 'react';//引入axiosimport axios from 'axios';//引入antd插件import { Pagination }_react 分页

随便推点

关于使用CryPtopp库进行RSA签名与验签的一些说明_cryptopp 签名-程序员宅基地

文章浏览阅读449次,点赞9次,收藏7次。这个变量与验签过程中的SignatureVerificationFilter::PUT_MESSAGE这个宏是对应的,SignatureVerificationFilter::PUT_MESSAGE,如果在签名过程中putMessage设置为true,则在验签过程中需要添加SignatureVerificationFilter::PUT_MESSAGE。项目中使用到了CryPtopp库进行RSA签名与验签,但是在使用过程中反复提示无效的数字签名。否则就会出现文章开头出现的数字签名无效。_cryptopp 签名

新闻稿的写作格式_新闻稿时间应该放在什么位置-程序员宅基地

文章浏览阅读848次。新闻稿是新闻从业者经常使用的一种文体,它的格式与内容都有着一定的规范。本文将从新闻稿的格式和范文两个方面进行介绍,以帮助读者更好地了解新闻稿的写作_新闻稿时间应该放在什么位置

Java中的转换器设计模式_java转换器模式-程序员宅基地

文章浏览阅读1.7k次。Java中的转换器设计模式 在这篇文章中,我们将讨论 Java / J2EE项目中最常用的 Converter Design Pattern。由于Java8 功能不仅提供了相应类型之间的通用双向转换方式,而且还提供了转换相同类型对象集合的常用方法,从而将样板代码减少到绝对最小值。我们使用Java8 功能编写了..._java转换器模式

应用k8s入门-程序员宅基地

文章浏览阅读150次。1,kubectl run创建pods[root@master ~]# kubectl run nginx-deploy --image=nginx:1.14-alpine --port=80 --replicas=1[root@master ~]# kubectl get podsNAME READY STATUS REST...

PAT菜鸡进化史_乙级_1003_1003 pat乙级 最优-程序员宅基地

文章浏览阅读128次。PAT菜鸡进化史_乙级_1003“答案正确”是自动判题系统给出的最令人欢喜的回复。本题属于 PAT 的“答案正确”大派送 —— 只要读入的字符串满足下列条件,系统就输出“答案正确”,否则输出“答案错误”。得到“答案正确”的条件是: 1. 字符串中必须仅有 P、 A、 T这三种字符,不可以包含其它字符; 2. 任意形如 xPATx 的字符串都可以获得“答案正确”,其中 x 或者是空字符串,或..._1003 pat乙级 最优

CH340与Android串口通信_340串口小板 安卓给安卓发指令-程序员宅基地

文章浏览阅读5.6k次。CH340与Android串口通信为何要将CH340的ATD+Eclipse上的安卓工程移植到AndroidStudio移植的具体步骤CH340串口通信驱动函数通信过程中重难点还存在的问题为何要将CH340的ATD+Eclipse上的安卓工程移植到AndroidStudio为了在这个工程基础上进行改动,验证串口的数据和配置串口的参数,我首先在Eclipse上配置了安卓开发环境,注意在配置环境是..._340串口小板 安卓给安卓发指令