Golang文件统计与文本处理实战示例

本篇文章主要是结合我之前面试的各种经历和实战开发中遇到的问题解决经验整理的，希望这篇《Golang 文件统计实现与文本处理示例》对你有很大帮助！欢迎收藏，分享给更多的需要的朋友学习~

首先使用os.Open和bufio.Scanner逐行读取文件，统计行数、字符数和单词数；再通过map实现词频统计，对英文转小写并分割，中文则借助gojieba分词，最终高效完成各类文本分析需求。

在 Golang 中实现文件内容统计是一个常见需求，比如统计行数、单词数、字符数或特定词频。Go 语言标准库提供了 os、bufio 和 strings 等包，可以高效完成文本读取与处理。下面通过一个完整示例展示如何实现常见的文件内容统计功能。

读取文件并统计基础信息

使用 os.Open 打开文件，配合 bufio.Scanner 逐行读取，适合大文件处理，避免内存溢出。

以下代码统计文件的总行数、字符数和单词数：

package main

import (
    "bufio"
    "fmt"
    "os"
    "strings"
)

func countFile(filename string) (lines, words, chars int, err error) {
    file, err := os.Open(filename)
    if err != nil {
        return
    }
    defer file.Close()

    scanner := bufio.NewScanner(file)
    for scanner.Scan() {
        line := scanner.Text()
        lines++
        chars += len(line)
        words += len(strings.Fields(line))
    }

    if err = scanner.Err(); err != nil {
        return
    }

    return
}

func main() {
    lines, words, chars, err := countFile("example.txt")
    if err != nil {
        fmt.Printf("读取文件失败: %v\n", err)
        return
    }
    fmt.Printf("行数: %d\n", lines)
    fmt.Printf("单词数: %d\n", words)
    fmt.Printf("字符数: %d\n", chars)
}

统计词频（Word Frequency）

若需分析文本中每个词的出现频率，可使用 map 结构进行计数。先将每行文本转为小写并分割成单词，再累加到 map 中。

示例如下：

func wordFrequency(filename string) (map[string]int, error) {
    freq := make(map[string]int)
    file, err := os.Open(filename)
    if err != nil {
        return nil, err
    }
    defer file.Close()

    scanner := bufio.NewScanner(file)
    for scanner.Scan() {
        line := strings.ToLower(scanner.Text())
        words := strings.Fields(line)
        for _, word := range words {
            freq[word]++
        }
    }

    return freq, scanner.Err()
}

调用后可遍历返回的 map 输出高频词汇：

freq, _ := wordFrequency("example.txt")
for word, count := range freq {
    fmt.Printf("%s: %d\n", word, count)
}

处理中文或复杂分词场景

上述方法基于空格切分，适用于英文。若处理中文或需要更精确分词，建议引入第三方库如 gojieba 进行中文分词后再统计。

安装 gojieba：

go get github.com/yanyiwu/gojieba

简单集成示例：

import "github.com/yanyiwu/gojieba"

func chineseWordCount(filename string) map[string]int {
    x := gojieba.NewJieba()
    defer x.Free()

    freq := make(map[string]int)
    file, _ := os.Open(filename)
    defer file.Close()

    scanner := bufio.NewScanner(file)
    for scanner.Scan() {
        words := x.CutForSearch(scanner.Text())
        for _, word := range words {
            word = strings.TrimSpace(word)
            if word != "" {
                freq[word]++
            }
        }
    }
    return freq
}

基本上就这些。Golang 的文本处理简洁高效，结合标准库和适当工具，能轻松实现各类统计需求。关键是根据文件大小选择流式读取，避免一次性加载到内存。对于多语言支持，可扩展分词逻辑。不复杂但容易忽略细节，比如错误处理和字符编码兼容性。

到这里，我们也就讲完了《Golang文件统计与文本处理实战示例》的内容了。个人认为，基础知识的学习和巩固，是为了更好的将其运用到项目中，欢迎关注golang学习网公众号，带你了解更多关于golang,文本处理,bufio.Scanner,词频统计,文件统计的知识点！