python实战06多线程bug处理记录

多线程bug处理记录

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
Thread(target=func02)
while True:
dataA=DataA()
dataA.data=[[[xx,yy]]]
xxx,
yyy,
zzz,
dataA.data=[[[xx,yy]],[[ff,zz]]]
assert len(dataA.data)>1,error data#标记01
self.queue.put(dataA)


func02():
dataA=self.queue.get()
assert len(dataA.data)>1,error data#标记02

问题:func02获取的data有时为一维的,而理论上应该是二维的
添加标记01,标记02后发现,标记01是ok的(说明存放时的确是二维的),但标记02却偶然有报错(偶尔,而非绝对)
修改测试01,queue不支持多维数据存放?不大可能,经过独立测试,的确没有问题,可以存放
修改测试02,将多线程改为顺序执行,问题不存在=>说明是多线程导致的问题
当然最终也发现问题了,这也是多线程最常出现的问题,就是“以为没共享的数据,其实共享了”在博客python进阶12并发之八多线程与数据同步中也强调过,但不经意间依然会掉坑里。
其实对于此类问题,最好的调试方式是,出问题的是queue,那么就打印所有操作quque的地方,就可以发现queue其实会在2个线程中被操作,即使queue本身的存取是原子的,由于存放的数据是引用类型,所以queue临近的代码“上下文”,其实都属于“临界区”。需要“特殊防范”。
最简单的处理方式是self.queue.put(copy.deepcopy(dataA)),这样就彻底隔离了不同线程的数据,避免了一些隐患。

python实战系列
python实战02异常报错
python实战04常见坑
python实战05文件路径(找不到文件)
python实战06多线程bug处理记录
python实战07调试pdb
python实战08多线程性能分析(装饰器和chromeTrace)
python实战10pytest测试和覆盖率

Your browser is out-of-date!

Update your browser to view this website correctly. Update my browser now

×