无法处理具有不同字符集的文件中的文本

学习知识要善于思考，思考，再思考！今天golang学习网小编就给大家带来《无法处理具有不同字符集的文件中的文本》，以下内容主要包含等知识点，如果你正在学习或准备学习Golang，就都不要错过本文啦~让我们一起来看看吧，能帮助到你就更好了！

我正在尝试处理特定文件中存在的字符串，该文件是用英语编写的。当文件的编码与“utf-8”不同时，就会出现问题。但编码为“utf-16-le”的文件的行为不符合预期。我的主要目标是操作读取文件中的字符串。例如 strings.trimspace() 仅适用于 utf-8 文件，

我知道 golang 默认情况下仅支持 utf-8，任何替代方法都会有所帮助。

个人问题

另外我想指出，许多新的编程语言都会处理字符串，而不管编码如何，为什么 go 只支持 utf-8。如果至少有一种替代方法将编码格式传递给读者，那可能仍然有帮助。

我尝试过的

1. 我尝试使用 utf-8 和 utf-16 std 包

代码

(main.go)

显示差异的示例代码。

package main

import (
    "fmt"
    "io/ioutil"
    "net/http"
    "strings"
)

func processfile(src string) {
    data, _ := ioutil.readfile(src)

    fmt.println("--- original source ---")
    fmt.println(string(data))
    fmt.println(http.detectcontenttype(data))

    fmt.println("\n--- modified source ---")
    for _, val := range strings.split(string(data), "\n") {
        fmt.println(strings.trimspace(val))
    }
}

func main() {
    processfile("./utf-16-english.txt")
    processfile("./utf-8-english.txt")
}

文件1

(utf-8-english.txt)

hello
    this is
        sample
            document

文件2

(utf-16-english.txt)

hello
    this is
        sample
            document

编辑

1. 似乎更好地处理字符串的唯一方法是将它们转换为 utf-8。请参考标记的答案。

2. 根据评论，我已将程序的结果写入相应的文件。并且不存在特殊符号，但字符串处理在 utf-8 下工作正常

正确答案

您必须解码 utf-16 编码的文件。解码会将输入转换为utf-8，之后您可以使用字符串库来处理输入。

你可以使用这样的东西：

import "unicode/utf16"

func processFile(src string, decode func(in[]byte) string) {
    data, _ := ioutil.ReadFile(src)

    fmt.Println("--- original source ---")
    fmt.Println(decode(data))

    fmt.Println("\n--- modified source ---")
    for _, val := range strings.Split(decode(data), "\n") {
        fmt.Println(strings.TrimSpace(val))
    }
}

func main() {
    processFile("./utf-16-english.txt",func(in []byte) string {
        return string(utf16.Decode(in)) })
    processFile("./utf-8-english.txt",func(in []byte) string {
         return string(in)})
}

今天关于《无法处理具有不同字符集的文件中的文本》的内容就介绍到这里了，是不是学起来一目了然！想要了解更多关于的内容请关注golang学习网公众号！