使用ioutil.ReadDir函数检测重复文件的计数测试在mit6.824 lab1-mapreduce中进行

一分耕耘，一分收获！既然都打开这篇《使用ioutil.ReadDir函数检测重复文件的计数测试在mit6.824 lab1-mapreduce中进行》，就坚持看下去，学下去吧！本文主要会给大家讲到等等知识点，如果大家对本文有好的建议或者看到有不足之处，非常欢迎大家积极提出！在后续文章我会继续更新Golang相关的内容，希望对大家都有所帮助！

我的代码可以通过所有测试，但不包括 mit6.824 lab1-mapreduce 中的作业计数测试。

输出如下：

*** starting job count test.
--- map jobs ran incorrect number of times (10 != 8)
--- job count test: fail

我通过注释文件的其余部分来单独运行 test-mr.sh 的作业计数部分，但发现我实际上有 8 个文件而不是 10 个。

输出文件图像

jobcount.go中job count插件的map和reduce函数如下：

func map(filename string, contents string) []mr.keyvalue {
    me := os.getpid()
    f := fmt.sprintf("mr-worker-jobcount-%d-%d", me, count)
    count++
    err := ioutil.writefile(f, []byte("x"), 0666)
    if err != nil {
        panic(err)
    }
    time.sleep(time.duration(2000+rand.intn(3000)) * time.millisecond)
    return []mr.keyvalue{mr.keyvalue{"a", "x"}}
}

func reduce(key string, values []string) string {
    files, err := ioutil.readdir(".")
    if err != nil {
        panic(err)
    }
    invocations := 0
    for _, f := range files {
            invocations++
    }
    return strconv.itoa(invocations)
}

作业计数测试程序如下：

echo '***' starting job count test.

rm -f mr-*

$timeout ../mrcoordinator ../pg*txt &
sleep 1

$timeout ../mrworker ../../mrapps/jobcount.so &
$timeout ../mrworker ../../mrapps/jobcount.so
$timeout ../mrworker ../../mrapps/jobcount.so &
$timeout ../mrworker ../../mrapps/jobcount.so

nt=`cat mr-out* | awk '{print $2}'`
if [ "$nt" -eq "8" ]
then
  echo '---' job count test: pass
else
  echo '---' map jobs ran incorrect number of times "($nt != 8)"
  echo '---' job count test: fail
  failed_any=1
fi

wait

我的环境是wsl2中的ubantu。

我在 jobcount.go 中添加了一些代码

for _, f := range files {
        if strings.hasprefix(f.name(), "mr-worker-jobcount") {
            log.printf("f: %v\n", f)
            invocations++
        }
    }

我发现我多次处理同一个文件。

日志文件图像

所以我改变了 jobcount.go 中的reduce函数来删除重复的元素。

func Reduce(key string, values []string) string {
    files, err := ioutil.ReadDir(".")
    if err != nil {
        panic(err)
    }
    invocations := 0

    mp := map[string]struct{}{}

    for _, f := range files {
        if _, ok := mp[f.Name()]; strings.HasPrefix(f.Name(), "mr-worker-jobcount") && !ok {
            invocations++
            mp[f.Name()] = struct{}{}
        }
    }
    return strconv.Itoa(invocations)
}

那么我就可以通过所有的测试

我测试和调试了很多次，但仍然不知道为什么会发生。

我想知道为什么 ioutil.readdir 函数的输出是错误的，以及如何在不更改 jobcount.go 的情况下通过测试。

正确答案

我在wsl2中也遇到同样的问题，原因可能是你在Windows文件系统中运行测试，我将测试复制到wsl2的文件系统中（例如/home/user/），一切都很好。

到这里，我们也就讲完了《使用ioutil.ReadDir函数检测重复文件的计数测试在mit6.824 lab1-mapreduce中进行》的内容了。个人认为，基础知识的学习和巩固，是为了更好的将其运用到项目中，欢迎关注golang学习网公众号，带你了解更多关于的知识点！