使用 GORM 将带有转义字符的 JSON 插入 PostgreSQL JSONB 列的方法

目前golang学习网上已经有很多关于Golang的文章了，自己在初次阅读这些文章中，也见识到了很多学习思路；那么本文《使用 GORM 将带有转义字符的 JSON 插入 PostgreSQL JSONB 列的方法》，也希望能帮助到大家，如果阅读完后真的对你学习Golang有帮助，欢迎动动手指，评论留言并分享~

我尝试将 json 字节存储到 postgresql，但出现问题。

\u0000 无法转换为文本。

如下所示，json 包含转义序列，例如 \u0000，postgresql 似乎将其解释为 unicode 字符，而不是 json 字符串。

err := raws.saverawdata(data, url)
// if there is "\u0000" in the bytes
if err.error() == "error: unsupported unicode escape sequence (sqlstate 22p05)" {
    // try to remove \u0000, but not work
    data = bytes.trim(data, "\u0000")
    e := raws.saverawdata(data, url) // save data again
    if e != nil {
        return e // return the same error
    }
    return nil
}

origin api 数据可以从这里访问。其中有\u0000：

{
  "code": 0,
  "message": "0",
  "ttl": 1,
  "data": {
    "bvid": "bv1jb411c7m3",
    "aid": 42443484,
    "videos": 1,
    "tid": 172,
    "tname": "手机游戏",
    "copyright": 1,
    "pic": "http://i0.hdslb.com/bfs/archive/c76ee4798bf2ba0efc8449bcb3577d508321c6c5.jpg",
    "title": "冰塔：我连你的大招都敢硬抗，所以告诉我谁才是生物女王？！单s冰塔怒砍档案女王巴德尔，谁，才是生物一姐？（手动滑稽）",
    "pubdate": 1549100438,
    "ctime": 1549100438,
    "desc": "bgm：逮虾户\n今天先水一期冰塔的，明天再水\\u0000绿塔的，后天就可以下红莲啦，计划通嘿嘿嘿(º﹃º )",
    "desc_v2": [
      {
        "raw_text": "bgm：逮虾户\n今天先水一期冰塔的，明天再水\\u0000绿塔的，后天就可以下红莲啦，计划通嘿嘿嘿(º﹃º )",
        "type": 1,
        "biz_id": 0
      }
    ],
    "state": 0,
    "duration": 265,
    "rights": {
      "bp": 0,
      "elec": 0,
      "download": 1,
      "movie": 0,
      "pay": 0,
      "hd5": 0,
      "no_reprint": 1,
      "autoplay": 1,
      "ugc_pay": 0,
      "is_cooperation": 0,
      "ugc_pay_preview": 0,
      "no_background": 0,
      "clean_mode": 0,
      "is_stein_gate": 0
    },
    "owner": {
      "mid": 39699039,
      "name": "明眸-雅望",
      "face": "http://i0.hdslb.com/bfs/face/240f74f8706955119575ea6c6cb1d31892f93800.jpg"
    },
    "stat": {
      "aid": 42443484,
      "view": 1107,
      "danmaku": 7,
      "reply": 22,
      "favorite": 5,
      "coin": 4,
      "share": 0,
      "now_rank": 0,
      "his_rank": 0,
      "like": 10,
      "dislike": 0,
      "evaluation": "",
      "argue_msg": ""
    },
    "dynamic": "#崩坏3#",
    "cid": 74479750,
    "dimension": {
      "width": 1280,
      "height": 720,
      "rotate": 0
    },
    "no_cache": false,
    "pages": [
      {
        "cid": 74479750,
        "page": 1,
        "from": "vupload",
        "part": "冰塔：我连你的大招都敢硬抗，所以告诉我谁才是生物女王？！单s冰塔怒砍档案女王巴德尔，谁，才是生物一姐？（手动滑稽）",
        "duration": 265,
        "vid": "",
        "weblink": "",
        "dimension": {
          "width": 1280,
          "height": 720,
          "rotate": 0
        }
      }
    ],
    "subtitle": {
      "allow_submit": false,
      "list": []
    },
    "user_garb": {
      "url_image_ani_cut": ""
    }
  }
}

保存的结构是：

type rawjsondata struct {
    id        uint64         `gorm:"primarykey" json:"id"`
    createdat time.time      `json:"-"`
    deletedat gorm.deletedat `json:"-" gorm:"index"`
    data      datatypes.json `json:"data"`
    url       string         `gorm:"index" json:"url"`
}

datatypes.json 来自 gorm.io/datatypes。看起来只是 json.rawmessage，它是（扩展自？）[]byte。

我使用 postgresql 的 jsonb 类型来存储此数据。

表：

create table raw_json_data
(
    id         bigserial not null constraint raw_json_data_pke primary key,
    created_at timestamp with time zone,
    deleted_at timestamp with time zone,
    data       jsonb,
    url        text
);

正确答案

unicode 转义序列 \u0000 在 postgres text 和 jsonb 列中只是 not supported：

jsonb 类型也拒绝 \u0000（因为它不能用 postgresql 的文本类型表示）

您可以将列类型更改为 json：

create table foo (test json);
insert into foo (test) values ('{"text": "明天再水\u0000绿塔的"}');
-- works

json 数据类型存储输入文本的精确副本

这样做的优点是可以使数据与您从 api 收到的数据保持一致，以防转义序列具有您需要保留的某些含义。

它还允许您使用 postgres json 运算符（例如 ->>）进行查询，尽管使用 \u0000 将 json 字段转换为文本仍然会失败：

select test->>'text' from foo
-- error:  unsupported unicode escape sequence

bytea 类型的列也接受任何字节序列，而无需操作数据。在 gorm 中，使用 type:bytea 标签：

type RawJSONData struct {
    // ... other fields
    Data      string `gorm:"type:bytea" json:"data"`
}

如果以上任何一项对您来说不可接受，那么您必须清理输入字符串...

理论要掌握，实操不能落！以上关于《使用 GORM 将带有转义字符的 JSON 插入 PostgreSQL JSONB 列的方法》的详细介绍，大家都掌握了吧！如果想要继续提升自己的能力，那么就来关注golang学习网公众号吧！