package main
import (
"os"
"io/ioutil"
"fmt"
"path/filepath"
"time"
"flag"
"sync"
)
func walkDir(dir string,wg *sync.WaitGroup, fileSizes chan
//一个goroutine结束 -1
defer wg.Done()
//获取目录下的文件和文件夹列表
for _, entry := range dirents(dir) {
if entry.IsDir() {
//每启动一个新goroutine则 +1
wg.Add(1)
//拼接子目录路径
subdir := filepath.Join(dir, entry.Name())
//递归子目录
go walkDir(subdir, wg,fileSizes)
} else {
//如果是文件,则累加文件大小
fileSizes
}
}
}
// sema是限制dirents并发数量的信号量
var sema = make(chan struct{}, 20)
//获取某目录下的文件和文件夹列表
func dirents(dir string) []os.FileInfo {
sema
defer func() {
entries, err := ioutil.ReadDir(dir)
if err != nil {
fmt.Fprintf(os.Stderr, "du1:%v\n", err)
return nil
}
return entries
}
//输入参数是否包括 -v
var verbose = flag.Bool("v", false, "show verbose progress messages")
func main() {
//读取输入参数
flag.Parse()
roots := flag.Args()
if len(roots) == 0 {
roots = []string{"."}
}
//记录搜索开始时间
start := time.Now()
//goroutine计数
var wg sync.WaitGroup
fsizes := make(chan int64)
for _, root := range roots {
//每启动一个新goroutine则 +1
wg.Add(1)
go walkDir(root,&wg, fsizes)
}
go func(){
//等待所有goroutine结束后关闭fsizes
wg.Wait()
close(fsizes)
}()
//声明变量保存 文件总数量和总大小
var nfiles, nbytes int64
//声明定时器,500ms
var tick
//输入参数包括 -v,则启用定时器
if *verbose{
tick = time.Tick(500 * time.Millisecond)
}
loop:
for {
select {
case size, ok :=
//当fsizes关闭后,跳出for循环
if !ok {
break loop
}
//fsizes有数据,则累加文件数量和总大小
nfiles ++
nbytes += size
case
//定时显示当前进度
printDiskUsage(nfiles, nbytes)
}
}
//显示最终结果
printDiskUsage(nfiles, nbytes)
fmt.Printf("%v", time.Since(start))
}
func printDiskUsage(nfiles, nbytes int64) {
fmt.Printf("%d files %.1f GB\n", nfiles, float64(nbytes)/1e9)
}
此篇博客展示了如何利用Golang的goroutines和通道实现高效地遍历目录,计算文件大小,同时通过信号量限制并发。通过`flag`处理命令行参数,并在`verbose`模式下提供进度更新。

400

被折叠的 条评论
为什么被折叠?



