当前位置：首页 > 文章列表 > Golang > Go教程 > Golang统计文本单词频率方法

Golang统计文本单词频率方法

2026-01-29 08:12:33 0浏览收藏

小伙伴们对Golang编程感兴趣吗？是否正在学习相关知识点？如果是，那么本文《Golang统计文本文件单词频率实现方法》，就很适合你，本篇文章讲解的知识点主要包括。在之后的文章中也会多多分享相关知识点，希望对大家的知识积累有所帮助！

答案：使用Go语言编写程序，通过bufio逐行读取大文件，结合正则提取单词并用map统计频率，最后按频次降序输出前20个单词。

编写一个Golang程序来计算一个大型文本文件中单词出现的频率

要编写一个 Go 程序来高效计算大型文本文件中单词的出现频率，可以使用 bufio.Scanner 逐行读取文件，避免将整个文件加载到内存中。同时，使用正则表达式提取单词，并通过 map 统计频率。

完整代码示例

以下是一个完整的 Golang 程序，用于统计大型文本文件中单词的频率：

package main

import (
    "bufio"
    "fmt"
    "io"
    "os"
    "regexp"
    "strings"
)

// wordPattern 定义单词匹配的正则表达式（只保留字母和数字）
var wordPattern = regexp.MustCompile(`[a-zA-Z0-9]+`)

// countWords 读取文件并返回单词频率映射
func countWords(filename string) (map[string]int, error) {
    file, err := os.Open(filename)
    if err != nil {
        return nil, err
    }
    defer file.Close()

    wordCount := make(map[string]int)
    scanner := bufio.NewScanner(file)
    scanner.Buffer(nil, 64*1024*1024) // 设置大缓冲区以支持大行

    for scanner.Scan() {
        line := scanner.Text()
        words := wordPattern.FindAllString(line, -1)
        for _, word := range words {
            word = strings.ToLower(word)
            wordCount[word]++
        }
    }

    if err := scanner.Err(); err != nil && err != io.EOF {
        return nil, err
    }

return wordCount, nil
}

func main() {
    if len(os.Args) != 2 {
        fmt.Println("用法: go run wordfreq.go <文件名>")
        os.Exit(1)
    }

    filename := os.Args[1]
    wordCount, err := countWords(filename)
    if err != nil {
        fmt.Printf("读取文件失败: %v\n", err)
        os.Exit(1)
    }

    // 打印最常见的前20个单词
    type kv struct {
        Key string
        Value int
    }
    var ss []kv
    for k, v := range wordCount {
        ss = append(ss, kv{k, v})
    }
    // 按频率降序排序
    for i := 0; i < len(ss); i++ {
        for j := i + 1; j < len(ss); j++ {
            if ss[i].Value < ss[j].Value {
                ss[i], ss[j] = ss[j], ss[i]
            }
        }
    }
    fmt.Println("出现频率最高的前20个单词：")
    for i := 0; i < len(ss) && i < 20; i++ {
        fmt.Printf("%s: %d\n", ss[i].Key, ss[i].Value)
    }
}