189 8069 5689

go语言scan方法 go语言示例

golang-redis系列——返回值助手函数(二)

从上一节的内容可知,Do() 和 Receive() 等方法的返回值,除了 error 外,是一个 interface{} 类型的返回值,因此当我们的复杂操作返回的不是基本数据类型时,就需要我们自己解析返回值,例如,当我们利用 HMGET 方法获取一批返回值时,就需要对返回结果进行解析,具体如下:

创新互联建站是一家专注于网站建设、成都网站制作与策划设计,郑州网站建设哪家好?创新互联建站做网站,专注于网站建设10余年,网设计领域的专业建站公司;建站业务涵盖:郑州等地区。郑州做网站价格咨询:13518219792

由于返回值是多条数据,因此需要先将 reply 转成 []interface 类型,然后在遍历结果时在分别转成 []uint8 (byte数组), 最后再转成 string 类型。

随着我们操作复杂度,数据解析的工作量也会非常大,(lua 脚本的使用,会使结果的解析更为复杂,因为可能存在多种类型的结果一起返回的情况,lua 脚本相关的内容会在下一节介绍)。

redigo 包中的返回值助手函数的存在,就是为了帮助我们完成这些枯燥繁琐的数据解析过程。

返回值助手函数相关源码路径为 github.com/gomodule/redigo/redis/reply.go 提供的主要方法如下:

上述返回值助手函数的具体使用,应该依据具体的命令进行选择。如果大家还记得上一节介绍的 Redis 基本数据类型,可能会有些疑问,对于 redis 来说,其数据据存储本质都是 []bytes, 为什么可以解析出 Int、int64、float等类型的数据呢?

我们以 Float64() 为例进行说明,具体源码如下:

其实,返回值助手函数是将 []byte 类型的原始数据,利用 strconv.ParseFloat(string(reply), 64) 转换成了 float64类型,因此在我们使用过程中返回值助手函数的选择,应该基于业务和实际存储的数据格式为依据。我们以第一小节的示例为例,看返回值助手函数如何降低我们的工作量,具体如下:

除了使用返回值助手函数对上述固定结构的结果进行解析外,redigo 包还提供了一个 Scan()函数用于解析自定义的复杂数据结构,我们依然以上一个示例进行说明,具体示例如下:

如果返回结果为结构化切片,也可以使用 canSlice() 方法,从而简化 loop 处理的部分,具体示例如下:

通过上述的示例,我们介绍了 scan 函数的基本用法,但是细心的同学可能会发现吗,为什么数据写入时,value 的类型为 []int64 但是读取时只能按照 string 类型读取呢。这是因为 Redis 底层存储的数据本质都是 string 类型,。 无论是 HMSET 还是 MSET 最终都只能按照 string 类型读取,因为其本质都是 hash 结构,不同之处仅在于 HMSET 是嵌套的 hash类型。 因此,[]int64 数据在写入阶段,就已经被自动处理为 []byte,写入 redis 之后,len 和 类型 属性会丢失。

如果强行按照 []int64解析将出错:

如果 value 必须以结构化的数据存储,那么可以提前对要写入的数据进行编码,例如 json、protobuf 等,取出后再进行解码获得原始数据。

Go 语言三色标记扫描对象是 DFS 还是 BFS?

最近在看左神新书 《Go 语言设计与实现》的垃圾收集器时产生一个疑惑,花了点时间搞清楚了记录一下。

Go 语言垃圾回收的实现使用了标记清除算法,将对象的状态抽象成黑色(活跃对象)、灰色(活跃对象中间状态)、白色(潜在垃圾对象也是所有对象的默认状态)三种,注意没有具体的字段标记颜色。

整个标记过程就是把白色对象标黑的过程:

1.首先将 ROOT 根对象(包括全局变量、goroutine 栈上的对象等)放入到灰色集合

2.选一个灰色对象,标成黑色,将所有可达的子对象放入到灰色集合

3.重复2的步骤,直到灰色集合中为空

下图是书上的插图,看上去是一个典型的深度优先搜索的算法。

下图是刘丹冰写的《Golang 修养之路》的插图,看上去是一个典型的广度优先搜索的算法。

我疑惑的点在于这个标记过程是深度优先算法还是广度优先算法,因为很多文章博客对此都没有很清楚的说明,作为学习者这种细节其实也不影响对整个 GC 流程的理解,但是这种细节我非常喜欢扣:)

对着书和源码摸索着大致找到了一个结果是深度优先。下面看下大致的过程,源码基于1.15.2版本:

gcStart 是 Go 语言三种条件触发 GC 的共同入口

启动后台标记任务

为每个处理器创建用于执行后台标记任务的 Goroutine

上面休眠的 G 会在调度循环中检查并唤醒执行

执行标记

gcw 是每个 P 独有的所以不用担心并发的问题 和 GMP、mcache 一样设计,减少锁竞争

尝试在全局列表中获取一个不为空的 buf

这是官方实现的无锁队列:)涨见识了,for 循环加原子操作实现栈的 pop

到这里从灰色集合中获取待扫描的对象逻辑说完了。找到对象了接着就是 scanobject(b, gcw) 了,里面有两段逻辑要注意

根据索引位置找到对象进行标色

尝试存入 gcwork 的缓存中,或全局队列中

无锁队列,for 循环加原子操作实现栈的 push

到这里把灰色对象标黑就完成了,又放回灰色集合接着扫下一个指针。

Go 语言设计与实现 垃圾收集器

Golang三色标记+混合写屏障GC模式全分析

基础知识 - Golang 中的格式化输入输出

【格式化输出】

// 格式化输出:将 arg 列表中的 arg 转换为字符串输出

// 使用动词 v 格式化 arg 列表,非字符串元素之间添加空格

Print(arg列表)

// 使用动词 v 格式化 arg 列表,所有元素之间添加空格,结尾添加换行符

Println(arg列表)

// 使用格式字符串格式化 arg 列表

Printf(格式字符串, arg列表)

// Print 类函数会返回已处理的 arg 数量和遇到的错误信息。

【格式字符串】

格式字符串由普通字符和占位符组成,例如:

"abc%+ #8.3[3]vdef"

其中 abc 和 def 是普通字符,其它部分是占位符,占位符以 % 开头(注:%% 将被转义为一个普通的 % 符号,这个不算开头),以动词结尾,格式如下:

%[旗标][宽度][.精度][arg索引]动词

方括号中的内容可以省略。

【旗标】

旗标有以下几种:

空格:对于数值类型的正数,保留一个空白的符号位(其它用法在动词部分说明)。

0 :用 0 进行宽度填充而不用空格,对于数值类型,符号将被移到所有 0 的前面。

其中 "0" 和 "-" 不能同时使用,优先使用 "-" 而忽略 "0"。

【宽度和精度】

“宽度”和“精度”都可以写成以下三种形式:

数值 | * | arg索引*

其中“数值”表示使用指定的数值作为宽度值或精度值,“ ”表示使用当前正在处理的 arg 的值作为宽度值或精度值,如果这样的话,要格式化的 arg 将自动跳转到下一个。“arg索引 ”表示使用指定 arg 的值作为宽度值或精度值,如果这样的话,要格式化的 arg 将自动跳转到指定 arg 的下一个。

宽度值:用于设置最小宽度。

精度值:对于浮点型,用于控制小数位数,对于字符串或字节数组,用于控制字符数量(不是字节数量)。

对于浮点型而言,动词 g/G 的精度值比较特殊,在适当的情况下,g/G 会设置总有效数字,而不是小数位数。

【arg 索引】

“arg索引”由中括号和 arg 序号组成(就像上面示例中的 [3]),用于指定当前要处理的 arg 的序号,序号从 1 开始:

'[' + arg序号 + ']'

【动词】

“动词”不能省略,不同的数据类型支持的动词不一样。

[通用动词]

v:默认格式,不同类型的默认格式如下:

布尔型:t

整 型:d

浮点型:g

复数型:g

字符串:s

通 道:p

指 针:p

无符号整型:x

T:输出 arg 的类型而不是值(使用 Go 语法格式)。

[布尔型]

t:输出 true 或 false 字符串。

[整型]

b/o/d:输出 2/8/10 进制格式

x/X :输出 16 进制格式(小写/大写)

c :输出数值所表示的 Unicode 字符

q :输出数值所表示的 Unicode 字符(带单引号)。对于无法显示的字符,将输出其转义字符。

U :输出 Unicode 码点(例如 U+1234,等同于字符串 "U+%04X" 的显示结果)

对于 o/x/X:

如果使用 "#" 旗标,则会添加前导 0 或 0x。

对于 U:

如果使用 "#" 旗标,则会在 Unicode 码点后面添加相应的 '字符'(前提是该字符必须可显示)

[浮点型和复数型]

b :科学计数法(以 2 为底)

e/E:科学计数法(以 10 为底,小写 e/大写 E)

f/F:普通小数格式(两者无区别)

g/G:大指数(指数 = 6)使用 %e/%E,其它情况使用 %f/%F

[字符串或字节切片]

s :普通字符串

q :双引号引起来的 Go 语法字符串

x/X:十六进制编码(小写/大写,以字节为元素进行编码,而不是字符)

对于 q:

如果使用了 "+" 旗标,则将所有非 ASCII 字符都进行转义处理。

如果使用了 "#" 旗标,则输出反引号引起来的字符串(前提是

字符串中不包含任何制表符以外的控制字符,否则忽略 # 旗标)

对于 x/X:

如果使用了 " " 旗标,则在每个元素之间添加空格。

如果使用了 "#" 旗标,则在十六进制格式之前添加 0x 前缀。

[指针类型]

p :带 0x 前缀的十六进制地址值。

[符合类型]

复合类型将使用不同的格式输出,格式如下:

结 构 体:{字段1 字段2 ...}

数组或切片:[元素0 元素1 ...]

映 射:map[键1:值1 键2:值2 ...]

指向符合元素的指针:{}, [], map[]

复合类型本身没有动词,动词将应用到复合类型的元素上。

结构体可以使用 "+v" 同时输出字段名。

【注意】

1、如果 arg 是一个反射值,则该 arg 将被它所持有的具体值所取代。

2、如果 arg 实现了 Formatter 接口,将调用它的 Format 方法完成格式化。

3、如果 v 动词使用了 # 旗标(%#v),并且 arg 实现了 GoStringer 接口,将调用它的 GoString 方法完成格式化。

如果格式化操作指定了字符串相关的动词(比如 %s、%q、%v、%x、%X),接下来的两条规则将适用:

4。如果 arg 实现了 error 接口,将调用它的 Error 方法完成格式化。

5。如果 arg 实现了 string 接口,将调用它的 String 方法完成格式化。

在实现格式化相关接口的时候,要避免无限递归的情况,比如:

type X string

func (x X) String() string {

return Sprintf("%s", x)

}

在格式化之前,要先转换数据类型,这样就可以避免无限递归:

func (x X) String() string {

return Sprintf("%s", string(x))

}

无限递归也可能发生在自引用数据类型上面,比如一个切片的元素引用了切片自身。这种情况比较罕见,比如:

a := make([]interface{}, 1)

a[0] = a

fmt.Println(a)

【格式化输入】

// 格式化输入:从输入端读取字符串(以空白分隔的值的序列),

// 并解析为具体的值存入相应的 arg 中,arg 必须是变量地址。

// 字符串中的连续空白视为单个空白,换行符根据不同情况处理。

// \r\n 被当做 \n 处理。

// 以动词 v 解析字符串,换行视为空白

Scan(arg列表)

// 以动词 v 解析字符串,换行结束解析

Scanln(arg列表)

// 根据格式字符串中指定的格式解析字符串

// 格式字符串中的换行符必须和输入端的换行符相匹配。

Scanf(格式字符串, arg列表)

// Scan 类函数会返回已处理的 arg 数量和遇到的错误信息。

【格式字符串】

格式字符串类似于 Printf 中的格式字符串,但下面的动词和旗标例外:

p :无效

T :无效

e/E/f/F/g/G:功能相同,都是扫描浮点数或复数

s/v :对字符串而言,扫描一个被空白分隔的子串

对于整型 arg 而言,v 动词可以扫描带有前导 0 或 0x 的八进制或十六进制数值。

宽度被用来指定最大扫描宽度(不会跨越空格),精度不被支持。

如果 arg 实现了 Scanner 接口,将调用它的 Scan 方法扫描相应数据。只有基础类型和实现了 Scanner 接口的类型可以使用 Scan 类方法进行扫描。

【注意】

连续调用 FScan 可能会丢失数据,因为 FScan 中使用了 UnreadRune 对读取的数据进行撤销,而参数 io.Reader 只有 Read 方法,不支持撤销。比如:

golang mysql Scan操作按顺序取值问题

rows, err := db.Query("SELECT * FROM user")

checkErr(err)

for rows.Next() {

var userId int

var userName string

var userAge int

var userSex int

rows.Columns()

err = rows.Scan(userId, userName, userAge, userSex)

checkErr(err)

fmt.Println(userId)

fmt.Println(userName)

fmt.Println(userAge)

fmt.Println(userSex)

}

Golang 指针和结构体

于c语言相同,go中也有指针和结构体的概念。指针表示变量的内存地址,结构体用来存储同一类型的数据。

定义一个指针变量,将变量a的地址赋给指针变量p。这样,指针变量p也就指向了变量a所在的内容空间。

new 函数返回一个指针变量

fmt.scan() 就是传入一个指针变量。

两种方法都可以使用。

以上简要介绍了go语言中的指针和结构体。


分享标题:go语言scan方法 go语言示例
标题链接:http://cdxtjz.cn/article/dosceso.html

其他资讯