初级(60)

涉及知识点：初步了解Linux系统特性、安装步骤以及基本命令和操作；具备计算机基础网络与数据通信基础知识，
成绩:60(https://developer.aliyun.com/exam/result/974568)
错题和原因:略

初级(70)

涉及知识点：了解Docker是什么，能做什么，产生的背景，理念是怎样。熟悉基本的Docker用法，知道怎么通过帮助命令来完成相应的操作，搞清楚一个完整的Docker有哪几个部分组成。
成绩：90（https://developer.aliyun.com/exam/result/975351)
错题和原因：
1.查看上一个容器的状态，怎么操作？

初级（90）

涉及知识点：具备数据库基础知识，了解数据库的分类，具备安装MySQL数据库的能力，掌握MySQL数据类型知识，基本了解常用SQL语句，对阿里云数据库产品有基本认知。
成绩：90（https://developer.aliyun.com/exam/result/975323）
错题和原因：
多选 16.数据库性能下降，执行时间长，等待时间长，可能的原因是？

初级（80）

涉及知识点：Java语法规则，搭建开发环境。Java变量、程序结构、数据类型、方法，了解JDBC工作原理。具备一定的前端开发能力。初步掌握Spring、SpringMVC和Mybatis。
成绩：80(https://developer.aliyun.com/exam/result/974537)
错题和原因：
1.Java网站src/main/java目录保存的是什么资源？

简介

偶尔发现，阿里云-开发者社区，里竟然有技能测试平台
覆盖知识面也较多

8.将字符串 “k:1 |k1:2|k2:3|k3:4”，处理成字典 {k:1,k1:2,…}

1
2
3
4
5
6
7
8
9

str1 = "k:1|k1:2|k2:3|k3:4"
def str2dict(str1):
    dict1 = {}
    for iterms in str1.split('|'):
        key,value = iterms.split(':')
        dict1[key] = value
    return dict1
#字典推导式
d = {k:int(v) for t in str1.split("|") for k, v in (t.split(":"), )}

需求

多线程开发时，需要进行性能分析时，希望查看各线程（进程的执行时序图）
类似如下效果

Python多线程的时候调试的简单方法(thread.run)

https://blog.csdn.net/york1996/article/details/89305847

插件安装：pip install pytest-cov
命令：pytest –cov=src –cov-report=html
src：python源代码路径（文件夹形式，不支持模块or模块.py等形式）
注意：文件夹下所有符合文件名:test_._test.py都必须能跑通，否则html报表中只有函数定义，没有函数内的代码执行情况。

其他插件:
1.多重校验 pytest-assume
2.设定执行顺序 pytest-ordering
3.失败重跑 pytest-rerunfailures
4.显示进度条 pytest-sugar
5.pytest-pep8，就是在做pytest测试时，自动检测代码是否符合PEP 8规范的插件。
6.pytest-mock是一个pytest的插件，安装即可使用。 它提供了一个名为mocker的fixture，仅在当前测试function或method生效，而不用自行包装。

30使用OpenCV实现图像孔洞填充

31使用OpenCV将一个三角形仿射变换到另一个三角形

20使用OpenCV实现基于增强相关系数最大化的图像对齐(略)

21使用OpenCV的Eigenface

Django默认提供了用户权限管理模块auth，

1
2
3

user表，User是auth模块中维护用户信息的表，在数据库中该表被命名为auth_user. 该表继承自Abstractuser.  
group表，定义用户组模型，该表只包含一个name字段和一个permissions(权限)多对多关系字段，在数据库中被命名为auth_group.  
Permission,  权限表，提供表级别的权限控制，可以检查用户是否对某个表拥有增（add），改(change)，删（delete）权限。

锁

1.1：乐观锁：
概念：同一条数据很少会因为并发修改而产生冲突，适用于读多写少的场景。
实现方式：读取一个字段，执行处理逻辑，当需要更新数据时，再次检查该字段是否和第一次读取一致。如果一致，更新数据，否则不更新，重新读取后再提交。
1.2：悲观锁：
概念：当一条数据正在被修改时，不允许其他任何关于这条数据的操作。
实现方式：读取一个字段之后，加锁，不允许其他任何读、写操作。执行处理逻辑，更新数据完毕后，释放锁。
1.3：二者比较：
乐观锁的开销远低于悲观锁
原因：当 A 锁定了 a 资源，需要 b 资源。而 b 被 B 锁定，正在等待 a 资源。此时，导致出现死锁。也可以通过设置超时来处理这个问题。
悲观锁可以有效降低冲突后，重试的次数
乐观锁可以提高响应速度
在并发比较少时，建议使用乐观锁，减少加锁、释放锁的开销，在并发比较高的时候，建议使用悲观锁。

什么是中间件

django的中间件（middleware）是一个轻量级的插件系统，在django中的请求和响应中，可以利用中间件干预视图的请求和响应。

父子进程内部变量是否可以直接共享，当然不是，需要“特殊加工”下才行。
那么在web开发中的单例模式，是真正的全局唯一的单例么？自然也是否
惭愧，自己用单例还是比较多的，还真是第一次注意到这一点。之前使用时，想当然的以为就是(应用程序级别)全局唯一的，譬如java的类里的static，python模块中的定义的对象(只会加载一次)，但严格说，都是错误的用法（侥幸的是，尚未出现由此导致的Bug，大概率因为自己用单例大多是为了保存静态内容（只查，不改）,加速查询而已。并未用来做全局性统计）。

如何理解单例模式中的唯一性？

何谓坑：凡是和大多数人的直观理解不一致的，都可称之为“坑”

一部分在其他博文中提到过，不再重复
比如：

文本处理

textwrap：文本段落格式化
re：正则表达式
difflib：字符比较

string类型的话可用find方法去查找字符串位置：

1

a_list.find('a')

What the f*ck Python! :https://github.com/leisurelicht/wtfpython-cn

Deep down, we’re all the same./本质上,我们都一样.

大学时学习的第一门编程语言就是C，实际开发时C++的使用还是较多的，基本上前三年均以Cpp为主。
无奈读研和工作后就从未再接触过C和CPP了，目前公司产品需要，再回头拾起Cpp的知识吧，复习为主，只摘录重点。

C++ 环境设置

10使用Hu矩进行形状匹配

Hu矩（或者更确切地说是Hu矩不变量）是使用对图像变换不变的中心矩计算的一组7个变量。事实证明，前6个矩不变量对于平移，缩放，旋转和映射都是不变的。而第7个矩会因为图像映射而改变。
OpenCV中，我们HuMoments()用来计算输入图像中的Hu矩。

资料:OpenCV-Practical-Exercise:https://github.com/luohenyueji/OpenCV-Practical-Exercise

学习目的

gcc,make,cmake关系

1.gcc是GNU Compiler Collection（就是GNU编译器套件），也可以简单认为是编译器，它可以编译很多种编程语言（括C、C++、Objective-C、Fortran、Java等等）。
2.当你的程序只有一个源文件时，直接就可以用gcc命令编译它。
3.但是当你的程序包含很多个源文件时，用gcc命令逐个去编译时，你就很容易混乱而且工作量大
4.所以出现了make工具
make工具可以看成是一个智能的批处理工具，它本身并没有编译和链接的功能，而是用类似于批处理的方式—通过调用makefile文件中用户指定的命令来进行编译和链接的。
5.makefile是什么？简单的说就像一首歌的乐谱，make工具就像指挥家，指挥家根据乐谱指挥整个乐团怎么样演奏，make工具就根据makefile中的命令进行编译和链接的。
6.makefile命令中就包含了调用gcc（也可以是别的编译器）去编译某个源文件的命令。
7.makefile在一些简单的工程完全可以人工手下，但是当工程非常大的时候，手写makefile也是非常麻烦的，如果换了个平台makefile又要重新修改。
8.这时候就出现了Cmake这个工具，cmake就可以更加简单的生成makefile文件给上面那个make用。当然cmake还有其他功能，就是可以跨平台生成对应平台能用的makefile，你不用再自己去修改了。
9.可是cmake根据什么生成makefile呢？它又要根据一个叫CMakeLists.txt文件（学名：组态档）去生成makefile。
10.到最后CMakeLists.txt文件谁写啊？亲，是你自己手写的。
11.当然如果你用IDE，类似VS这些一般它都能帮你弄好了，你只需要按一下那个三角形
12.cmake是make maker，生成各种可以直接控制编译过程的控制器的配置文件，比如makefile、各种IDE的配置文件。
13.make是一个简单的通过文件时间戳控制自动过程、处理依赖关系的软件，这个自动过程可以是编译一个项目。

多线程bug处理记录

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

Thread(target=func02)
while True:
    dataA=DataA()
    dataA.data=[[[xx,yy]]]
    xxx,
    yyy,
    zzz,
    dataA.data=[[[xx,yy]],[[ff,zz]]]
    assert len(dataA.data)>1,error data#标记01
    self.queue.put(dataA)


func02():
    dataA=self.queue.get()
    assert len(dataA.data)>1,error data#标记02

OpenCV-Python教程:50.理解k-近邻

https://www.jianshu.com/p/404e329e4e80
OpenCV里的kNN

OpenCV-Python教程:40.ORB

https://www.jianshu.com/p/49a84ddef11d
ORB最重要的事情是它是OpenCV实验室出来的，它在计算成本，匹配性能上是SIFT和SURF很好的替代品，还有最主要的，专利，对，SIFT和SURF都是有专利的，你得付费试用，但是ORB不是。
ORB基本上是一个FAST关键点检测和BRIEF描述子的融合，同时做了很多修改提高了性能。首先它使用FAST来找关键点，然后用Harris角点测量来找到头N个点。还使用金字塔来产生多层级特征，但是问题是FAST不计算方向，所以旋转不变呢？作者做了如下修改。

OpenCV-Python教程:30.霍夫圆变换

https://www.jianshu.com/p/a795171f8092
函数是cv2.HoughCircles()

OpenCV-Python教程:21.轮廓：更多函数

https://www.jianshu.com/p/07312149e60a
1.凸面缺陷
OpenCV提供了现成的函数来做这个，cv2.convexityDefects().
2.Point Polygon Test
这个函数找到图像里的点和轮廓之间的最短距离。它返回的距离当点在轮廓外的时候是负值，当点在轮廓内是正值，如果在轮廓上是0
3.匹配形状
OpenCV提供一个函数cv2.matchShapes()来让我们可以比较两个形状，或者两个轮廓来返回一个量表示相似度。结果越低，越相似，它是根据hu矩来计算的。不同的计算方法在文档里有介绍。

OpenCV-Python教程:11.图片阈值

https://www.jianshu.com/p/267a32ad0a23
cv2阈值处理:https://blog.csdn.net/u011070767/article/details/80639556
一、全局阈值
为整个图片指定一个阈值，函数为cv2.threshold(src, thresh, maxval, type, dst=None)

学习目标

1,opencv能做什么，不能做什么
2,阅读代码，知道某种func后图片怎么样了
3,在图片相关机器学习算法预处理阶段，希望通过对图片的简单处理，达到提升训练效果的目的。

django自身服务ok

python manage.py runserver，验证可正常访问

静态文件和模板

静态文件:css,js,image,如果作为纯粹的web应用来看，静态文件的响应并不属于web应用范畴，因为静态文件不涉及业务逻辑，也不需开发业务代码。但几乎100%的web应用都支持对静态文件的直接访问。为何？主要是web应用基本上必然依赖css,js,img等静态资源，我们不可能固执的开发一个纯粹的web应用，只支持从url里进入视图函数，也只能从视图函数返回内容（简单来说所有请求路径都必须体现在url_route和view视图中）。而要求用户独立开启静态资源的请求处理服务。所以，先把静态资源服务和包含业务逻辑的web应用独立认识，二者并不相同，但强相关。其本身是独立于应用的
模板:在代码中response渲染中使用的，可以看做view视图的组成部分.所以没有独立url配置，依赖view视图存在，属于应用一部分，包含了业务逻辑（需要渲染），这一点也可以从配置上看出来。

本文适合有一定websocket基础的，至少完整看过前后端demo的读者，一窍不通的小白建议先阅读“参考”部分的博文扫扫盲。
基于django的dwebsocket组件(目前虽然不在维护，但正常使用没问题）

前端方法

actor模型。actor模式是一种最古老的也是最简单的并行和分布式计算解决方案。
优点：充分利用单线程＋事件机制，达到了多线程效果。
缺点，对python而言，由于GIL的存在，毕竟只是单线程，难以匹敌多进程，目前使用并不多。

简单任务调度器

Nested functions

Python允许创建嵌套函数，这意味着我们可以在函数内声明函数并且所有的作用域和声明周期规则也同样适用。

垃圾收集三大手段

一、引用计数（计数器）

正则基础知识

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19

^`:匹配行首
`$`:匹配结尾
`*`:（**贪婪**）前面字符匹配任意多次
`+`:（**懒惰**）前面字符匹配1或者更多次
`?`:前面字符匹配0或1次，还作为懒惰限定符使用，详看后面

`{m}`:前面字符匹配m次
`{m,n}`:前面字符匹配m~n次
`{m,}`:前面字符匹配m或更多次
`{,n}`:前面字符匹配0~n次

`|`:或,必须加括号

`.`:匹配除换行符以外的任意字符
`[1357]`:匹配1，3,5,7中其中一个数字，当然也可以是字母
`[0-9]`:匹配0到9的其中一个数字，类似用法还有：[a-zA-Z]
`[\u4E00-\u9FA5]`:匹配中文
`[^012]`:表示除012外的任意字符，包括3-9,a-z,A-Z,等等
注意：[]里面的.和*等一些特殊字符都失去特殊意义，只表示本身。

原则：可读性第一（效率固然重要，除非非常明显的效率差异，否则可读性优先)
学习炫技巧，更多为了读懂他人代码，自己开发过程中，相似代码量（可读性），建议使用通俗写法。反对为炫而炫。

可直接运行的 zip 包

Mixin解释

为了让大家，对这个 Mixin 有一个更直观的理解，摘录了网上一段说明。
民航飞机是一种交通工具，对于土豪们来说直升机也是一种交通工具。对于这两种交通工具，它们都有一个功能是飞行，但是轿车没有。所以，我们不可能将飞行功能写在交通工具这个父类中。但是如果民航飞机和直升机都各自写自己的飞行方法，又违背了代码尽可能重用的原则（如果以后飞行工具越来越多，那会出现许多重复代码）。
怎么办，那就只好让这两种飞机同时继承交通工具以及飞行器两个父类，这样就出现了多重继承。这时又违背了继承必须是”is-a”关系。这个难题该怎么破？
这时候 Mixin 就闪亮登场了。飞行只是飞机做为交通工具的一种（增强）属性，我们可以为这个飞行的功能单独定义一个（增强）类，称之为 Mixin 类。这个类，是做为增强功能，添加到子类中的。为了让其他开发者，一看就知道这是个 Mixin 类，一般都要求开发者遵循规范，在类名末尾加上 Mixin 。

作用域

“作用域”定义了Python在哪一个层次上查找某个“变量名”对应的对象。接下来的问题就是：“Python在查找‘名称-对象’映射时，是按照什么顺序对命名空间的不同层次进行查找的？”
答案就是：使用的是LEGB规则，表示的是Local -> Enclosed -> Global -> Built-in，其中的箭头方向表示的是搜索顺序。

开发时遇到问题，文件路径不正确，找不到文件等等，都是这一类问题.

curdir,argv,file

使用进程，大概率出现情况是，想当然以为共享了，实际没共享。所以最终程序大概率卡死（部分逻辑没有数据进来，导致的业务逻辑性卡住，并非程序死锁）

哪些共享，哪些不共享

python并发首选进程，但偶尔有场景进程无法搞定，比如有些变量是无法序列化的，就无法使用工具包manager()的工具类进行共享。如果自己实现新的共享方法，可能开发量较大，且质量难以保证。此时可考虑用线程处理，规避进程的变量共享难题，而且实际场景中,IO大概率都是瓶颈，所以使用线程其实也的确有些优势。个人而言，选择进程和线程较为重视的安全性，进程数据隔离较好，互不干扰。其次就是公用数据占比，如果大多数数据都需公用，那么线程也会比进程更佳，避免了进程较多的数据共享问题。
线程而言，难点数据一致性，

哪些共享，哪些不共享

角色划分

flask(django):Python的Web应用程序（如Flask,django）
nginx:web服务器，用户角度直接对接使用,请求响应的request-response出入口
WSGI（Web Server Gateway Interface），翻译为Python web服务器网关接口，即Python的Web应用程序（如Flask）和Web服务器(如Nginx)之间的一种通信协议。也就是说，如果让你的Web应用在任何服务器上运行，就必须遵循这个协议。

测试map,apply_async,gevent协程爬虫
测试代码:网页爬虫

函数代码

图示变量含义说明:
1个大step中包含3个小step,大step内部的第一步，二步，三步存在依赖关系（就是内部保持顺序执行）
a1,b1,c1,表示子任务a的第一步，b的第一步，c的第一步.同理a2,表示子任务a的第二步。

无并行

这也是实际项目中使用较多的一种并发模式，用Queue(JoinableQueue)实现，是Python中最常用的方式(这里的queue特指multiprocess包下的queue，非queue.Queue)。

Queue

差异矩阵

python封装了4种常用方法，用于实现并发
其差异如下

何时使用多进程(线程)

使用多进程or线程,对于python，考虑到GIL锁，基本上默认使用多进程就对了。
除此之外，线程共享全局变量，进程全局变量则是隔离的，实际进程大多数情况需要通信的，所以也需要考虑共享数据读写问题处理。 决定因素稳定性和数据共享要求上（操作系统差异性，win偏好线程，linux偏好进程）
性能上虽然线程较好，但实际除了大型互联网公司和部分专业性质软件，大多数中小型公司的并发量，并不会带来很大影响，况且目前服务器领域，基本上LInux和Unix占比较高，线程相比进程在性能上优势并不十分突出。所以这方面考量不会太大的。

GIL,线程锁

python中存在GIL这个”线程锁”,
关键地方可以使用c语言解决 GIL问题 然后可以提高cpu占用效率