当前位置：首页 > 文章列表 > Golang > Go教程 > Golang高效统计大文件单词频率方法

Golang高效统计大文件单词频率方法

2025-08-31 22:54:33 0浏览收藏

本文介绍了使用 Golang 高效统计大文件单词频率的方法。针对海量文本数据，采用 `bufio` 逐行读取，避免内存溢出。通过正则表达式精确提取单词，并利用 `map` 结构快速统计词频。文章提供完整的 Golang 代码示例，展示了如何处理文件读取、单词提取、词频统计和结果排序等关键步骤。程序优化了内存使用和错误处理，确保稳定性和效率。最后，程序按词频降序输出前 20 个单词，方便用户分析文本内容。该方法适用于各种需要进行大规模文本分析的场景，例如日志分析、舆情监控等。

答案：使用Go语言编写程序，通过bufio逐行读取大文件，结合正则提取单词并用map统计频率，最后按频次降序输出前20个单词。

编写一个Golang程序来计算一个大型文本文件中单词出现的频率

要编写一个 Go 程序来高效计算大型文本文件中单词的出现频率，可以使用 bufio.Scanner 逐行读取文件，避免将整个文件加载到内存中。同时，使用正则表达式提取单词，并通过 map 统计频率。

完整代码示例

以下是一个完整的 Golang 程序，用于统计大型文本文件中单词的频率：

package main

import (
    "bufio"
    "fmt"
    "io"
    "os"
    "regexp"
    "strings"
)

// wordPattern 定义单词匹配的正则表达式（只保留字母和数字）
var wordPattern = regexp.MustCompile(`[a-zA-Z0-9]+`)

// countWords 读取文件并返回单词频率映射
func countWords(filename string) (map[string]int, error) {
    file, err := os.Open(filename)
    if err != nil {
        return nil, err
    }
    defer file.Close()

    wordCount := make(map[string]int)
    scanner := bufio.NewScanner(file)
    scanner.Buffer(nil, 64*1024*1024) // 设置大缓冲区以支持大行

    for scanner.Scan() {
        line := scanner.Text()
        words := wordPattern.FindAllString(line, -1)
        for _, word := range words {
            word = strings.ToLower(word)
            wordCount[word]++
        }
    }

    if err := scanner.Err(); err != nil && err != io.EOF {
        return nil, err
    }

return wordCount, nil
}

func main() {
    if len(os.Args) != 2 {
        fmt.Println("用法: go run wordfreq.go <文件名>")
        os.Exit(1)
    }

    filename := os.Args[1]
    wordCount, err := countWords(filename)
    if err != nil {
        fmt.Printf("读取文件失败: %v\n", err)
        os.Exit(1)
    }

    // 打印最常见的前20个单词
    type kv struct {
        Key string
        Value int
    }
    var ss []kv
    for k, v := range wordCount {
        ss = append(ss, kv{k, v})
    }
    // 按频率降序排序
    for i := 0; i < len(ss); i++ {
        for j := i + 1; j < len(ss); j++ {
            if ss[i].Value < ss[j].Value {
                ss[i], ss[j] = ss[j], ss[i]
            }
        }
    }
    fmt.Println("出现频率最高的前20个单词：")
    for i := 0; i < len(ss) && i < 20; i++ {
        fmt.Printf("%s: %d\n", ss[i].Key, ss[i].Value)
    }
}