在 Go 中如何將 [][]byte 轉(zhuǎn)為 io.Reader ?
起因:在春節(jié)前的某一天,我在 ekit 項目的交流群里看到大明老師發(fā)了這樣一條消息:
各位大佬,問個小問題,有咩有誰用過 [][]byte 轉(zhuǎn)為 io.Reader 的東西?我以前搞過一次,但是我忘了是我手搓了一個實現(xiàn),還是用的開源的,還是SDK 自帶的。
并且大明老師還為此開了一個 issue。
看到這條消息,我想起了我在對 Go 還不太熟悉時,曾寫過一個 io.MultiReader 的實現(xiàn)(當(dāng)時寫完了我才知道原來 Go 中自帶了 io.MultiReader),想必應(yīng)該有相似之處,于是就嘗試寫了一個出來。
不過,當(dāng)我寫完時發(fā)現(xiàn)已經(jīng)有人提交了代碼,于是我就沒把它當(dāng)回事,也沒有寫測試代碼進(jìn)行測試,就放一邊了。春節(jié)假期閑來無事,我忽然想起來這件事,就看了下對應(yīng)的 pr,發(fā)現(xiàn)提交 pr 的作者和我的實現(xiàn)思路不太一樣。不過,雖然這個功能很小,既然我也實現(xiàn)了,就補齊下單元測試,發(fā)出來供參考,順便寫(水)一篇文章 :)。
思路設(shè)計
首先我設(shè)計了如下結(jié)構(gòu)體:
type MultiBytes struct {
 data  [][]byte // 存儲數(shù)據(jù)的嵌套切片
 index int      // 當(dāng)前讀/寫到的外層切片索引,data[index]
 pos   int      // 當(dāng)前讀/寫到的切片所處理到的位置下標(biāo),data[index][pos]
}有了這個結(jié)構(gòu)體,那么就可以設(shè)計 MultiBytes 的整體實現(xiàn)思路了。
首先,我們需要一個構(gòu)造函數(shù) NewMultiBytes 來創(chuàng)建 MultiBytes 對象。其次,則要實現(xiàn) io.Reader 接口。最后,我們也可以順便實現(xiàn)一下 io.Write 接口。
MultiBytes 支持的函數(shù)和方法設(shè)計如下:
type MultiBytes
    func NewMultiBytes(data [][]byte) *MultiBytes
    func (b *MultiBytes) Read(p []byte) (int, error)
    func (b *MultiBytes) Write(p []byte) (int, error)基于此,我為每個方法畫了一個流程圖,你可以參考下:
圖片
流程圖中包含了每個方法內(nèi)部的主體邏輯。
代碼實現(xiàn)
既然有了結(jié)構(gòu)體和方法簽名,那么就可以依次實現(xiàn)所有方法了。
首先是構(gòu)造函數(shù) NewMultiBytes 的實現(xiàn):
https://github.com/jianghushinian/blog-go-example/blob/main/iox/multi_bytes.go
// NewMultiBytes 構(gòu)造一個 MultiBytes
func NewMultiBytes(data [][]byte) *MultiBytes {
 return &MultiBytes{
  data: data,
 }
}這沒什么好說的,就是根據(jù)給定的 data 初始化了一個 *MultiBytes 對象,index 和 pod 都為默認(rèn)值 0。
接著是 Read 方法的實現(xiàn):
// Read 實現(xiàn) io.Reader 接口,從 data 中讀取數(shù)據(jù)到 p
func (b *MultiBytes) Read(p []byte) (int, error) {
 // 如果 p 是空的,直接返回
 if len(p) == 0 {
   return 0, nil
 }
 // 所有數(shù)據(jù)都已讀完
 if b.index >= len(b.data) {
   return 0, io.EOF
 }
 n := 0// 記錄已讀取的字節(jié)數(shù)
 for n < len(p) {
   // 如果當(dāng)前切片已經(jīng)讀完,則切換到下一個切片
   if b.pos >= len(b.data[b.index]) {
     b.index++
     b.pos = 0
     // 如果所有切片都已讀完,退出循環(huán)
     if b.index >= len(b.data) {
       break
     }
   }
  // 從當(dāng)前切片讀取數(shù)據(jù)
  bytes := b.data[b.index]
  cnt := copy(p[n:], bytes[b.pos:])
  b.pos += cnt
  n += cnt
 }
 // 未讀取到數(shù)據(jù)且已經(jīng)讀到結(jié)尾
 if n == 0 {
   return 0, io.EOF
 }
 return n, nil
}Read 方法就是按照流程圖中的整體脈絡(luò)實現(xiàn)的。需要強調(diào)的一點是,程序最后還有一個 if n == 0 的判斷,如果成立,返回 io.EOF。這是為了處理 data 中嵌套的內(nèi)部切片為空的情況,比如當(dāng) data 值為 [][]byte{[]byte{}} 這種情況時,程序就會走到這個分支。
然后是 Write 方法的實現(xiàn):
// Write 實現(xiàn) io.Writer 接口,將數(shù)據(jù)追加到 data 中
func (b *MultiBytes) Write(p []byte) (int, error) {
 // 如果 p 是空的,直接返回
 if len(p) == 0 {
  return 0, nil
 }
 // 創(chuàng)建副本以避免外部修改影響數(shù)據(jù)
 clone := make([]byte, len(p))
 copy(clone, p)
 b.data = append(b.data, clone)
 return len(p), nil
}值得注意的是,在 Write 方法實現(xiàn)中,對 p 進(jìn)行了拷貝,生成新的副本,目的是防止用戶在調(diào)用 Write(p) 以后,隨意修改 p 的值而影響 MultiBytes 對象內(nèi)部的 data。
最后,如果你不嫌麻煩,還可以增加如下兩行代碼,以檢查 MultiBytes 是否實現(xiàn)了 io.Reader 和 io.Write 接口:
var _ io.Reader = (*MultiBytes)(nil)
var _ io.Writer = (*MultiBytes)(nil)至此,能夠?qū)?nbsp;[][]byte 轉(zhuǎn)為 io.Reader 的 MultiBytes 實現(xiàn)完成。
我們可以簡單測試一下效果。
示例代碼:
https://github.com/jianghushinian/blog-go-example/blob/main/iox/examples/multi_bytes.go
package main
import (
"fmt"
"github.com/jianghushinian/blog-go-example/iox"
)
func main() {
 mb := iox.NewMultiBytes([][]byte{[]byte("Hello, World!\n")})
 _, _ = mb.Write([]byte("你好,世界!"))
 p := make([]byte, 32)
 _, _ = mb.Read(p)
 fmt.Println(string(p))
}執(zhí)行示例代碼,得到輸出如下:
$ go run examples/multi_bytes.go
Hello, World!
你好,世界!總結(jié)
本文帶大家實現(xiàn)了一個能夠?qū)?nbsp;[][]byte 轉(zhuǎn)為 io.Reader 的 MultiBytes,代碼邏輯并不復(fù)雜,不過一些細(xì)節(jié)還是需要注意。
你還可以點擊這里 https://github.com/jianghushinian/blog-go-example/blob/main/iox/multi_bytes_test.go 查看更多的單元測試,如果你在使用過程中,發(fā)現(xiàn)任何 bug,歡迎交流。
本文示例源碼我都放在了 GitHub 中,歡迎點擊查看。
希望此文能對你有所啟發(fā)。
延伸閱讀
- ekit issue:https://github.com/ecodeclub/ekit/issues/271
 - 本文 GitHub 示例代碼:https://github.com/jianghushinian/blog-go-example/blob/main/iox/multi_bytes.go
 - 本文 GitHub 測試代碼:https://github.com/jianghushinian/blog-go-example/blob/main/iox/multi_bytes_test.go
 
本文轉(zhuǎn)載自微信公眾號「 Go編程世界」,可以通過以下二維碼關(guān)注。轉(zhuǎn)載本文請聯(lián)系 Go編程世界公眾號。
















 
 
 










 
 
 
 