软件_搭建rtsp视频推送环境

live555编译安装启动

编译

软件_ubuntu命令cp目录路径和通配符

cp作为linux最常用命令,大部分情况正确使用,偶尔也会犯低级错误。比如,今天自己copy目录就犯错了。特此整理下
以下基于ubuntu16测试(xxx含义为目录a/下的所有文件)

copy目录a目录b结果
cpabb/a/xxx
cpa/bb/a/xxx
cpa/*bb/xxx
cpab/b/a/xxx
cpa/b/b/a/xxx
cpa/*b/b/xxx

软件_视频rtmp,rmvb,h265区别

h265,h264

视频压缩算法,原始视频是图片流,意味着[[r,g,b],[r,g,b],,]等等,极其占用空间,所以这种数据只能出现内存中(效率优先),硬盘和网络上只能是压缩后的(否则占用宽带或者存储资源),主要的压缩就是由他们来实现的。

软件_可用rtmp直播地址20200517

可用的rtmp直播地址
耀才证券 : rtmp://202.69.69.180:443/webcast/bshdlive-pc
湖南卫视 : rtmp://58.200.131.2:1935/livetv/hunantv
广东卫视:rtmp://58.200.131.2:1935/livetv/gdtv
东方卫视:rtmp://58.200.131.2:1935/livetv/dftv
广西卫视:rtmp://58.200.131.2:1935/livetv/gxtv
一段视频 :rtsp://wowzaec2demo.streamlock.net/vod/mp4:BigBuckBunny_115k.mov

以下也已经验证
rtmp://vod.qthtv.com:1935/live/live2
rtmp://218.3.205.46/live/ggpd_sd
rtmp://w3.wifijiangyin.com:1936/live/mspd_bq
rtmp://w3.wifijiangyin.com:1936/live/xwzh_bq
rtmp://hls.hsrtv.cn/hls/hstv2
rtmp://hls.hsrtv.cn/hls/hstv1
rtmp://video.vtibet.com/masvod/zangyuTV_q1
rtmp://58.200.131.2:1935/livetv/cctv15
rtmp://222.173.22.119:1935/live/jnds_sd
rtmp://218.3.205.46/live/wyys_sd
rtmp://218.3.205.46/live/xwzh_sd
rtmp://hls.hsrtv.cn/hls/hstv3
rtmp://video.vtibet.com/masvod/hanyuTV_q1
rtmp://v.btzx.com.cn/live/weishi.stream
rtmp://218.3.205.46/live/jjsh_sd
rtmp://livetv.dhtv.cn:1935/live/news
rtmp://livetv.dhtv.cn:1935/live/financial
rtmp://v.btzx.com.cn/live/news.stream
rtmp://222.173.22.119:1935/live/jnyd_sd
rtmp://livetv.dhtv.cn:1935/live/peoples
rtmp://livetv.dhtv.cn:1935/live/citylife
rtmp://222.173.22.119:1935/live/jnxw_sd
rtmp://125.75.232.142/live/c01
rtmp://222.173.22.119:1935/live/xwhd_hd
rtmp://58.200.131.2:1935/livetv/cctv16

软件_搭建rtmp视频推送环境,腾讯云,ubuntu16

1,安装conda,ffmpeg,nginx,nginx-rtmp-module

(建议先修改主机pip,conda的源)
安装conda,创建环境::conda create -n rstp python=3.7
报错:Solving environment: | failed

软件_crontab任务配置失败原因总结和技巧

 昨天,配置crontab时遇到一些坑。crontab虽然算比较熟悉了,但也有1年多没碰过,有点生疏了,低级错误基本又犯了一遍。顺便整理下。

如果配置了crontab,之后没有生效,怎么办?
按照如下顺序处理:
1,命令单独拿出来,终端中执行
这个可以暴露出如下问题
a,脚本是否存在权限问题(chmod +x xx.sh)
b,是否存在(手抖)写错路径等低级错误
c,如果依赖特定conda环境,则需要conda activate xxx

软件_mongo占用磁盘空间过大

何为过大:mongodump之前2G,导入后变成15G,大约8倍.
原因:如果mongo版本小于3,则正常,mongo请升级到3.0版本上,目前3.6.7较稳定版

错误安装方式mongo2.x版

脚本_采集博客友情链接

新建博客后,百度收录往往非常慢,除了常规的keywords优化,较易实现且效果较好的就是增加友情链接了。
友情链接的添加可以分成3个步骤
1,找寻博客友情链接
2,判断博客是否符合自己博客领域或类型(有无“眼缘”),将对方友情链接添加到自己博客
3,将个人站点信息留言方式给对方

其中第1步,很容易用脚本实现(手工挨个找站点,挨个点击,也能实现,面临是人工点很多次,且容易重复)。
而且大部分博客友链都会链同类型网站,其实等于做了类型过滤。
第2,3由于博客基于框架和对接后台消息系统不同,难以实现自动操作。故对第1步写了专门脚本进行处理。
脚本地址:点击这里github
脚本基于python(由于本人使用linux系统,故只能保证linux下无问题,win下未做测试)
脚本使用方法:

主机_云服务器vps价格比对

云服务价格比对(20191202)

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
公司,配置,价格,链接地址
腾讯云:16-32-30-1m,5.12小时,https://buy.cloud.tencent.com/cvm?tab=custom&step=1&devPayMode=hourly&regionId=4&zoneId=0&instanceType=S4.SMALL1&platform=CentOS&systemDiskType=CLOUD_PREMIUM&systemDiskSize=50&bandwidthType=TRAFFIC_POSTPAID_BY_HOUR&loginSet=SET_PASSWORD
百度云:16-32-40-1m,5.74小时,https://cloud.baidu.com/calculator.html#/bcc/price
青云:16-16-40-1m,2.8614小时,https://www.qingcloud.com/pricing#/InstancesKVM
京东云:16-32-none-1m,4.78小时,https://www.jdcloud.com/cn/calculator/calHost(计算优化)
华为云:16-31-30-1m,3.34,https://www.huaweicloud.com/pricing.html?tab=detail#/ecs,通过计算增前
ucloud:16-32-30-1m,3.03小时,https://www.ucloud.cn/site/product/jsq/#!/uhost
美团云:16-32-55-1m:1.7627小时,地址:https://www.mtyun.com/buy/server
比格云:16-32-60Gssd-2m:4.58小时,地址:https://www.biggeryun.com/Price
verycloud:16-32-30-1m,2.4801小时,https://portal.verycloud.cn/cloud/pricecalculator(价格可以,但按需要预存3天费用,那就没意义了)
淘宝:远程电脑出租,16-64-500-200M,35天,5小时
网宿云;
金山云:16-32-30-1m,4.008,地址,https://price.ksyun.com/#!/kec/price
滴滴云:16-32-40-1m,1.3848,地址:https://www.didiyun.com/calc-price.html#/price/dc2
新睿云:16-32-20-1m,3.15,地址:https://www.xrcloud.net/buy/
小鸟云:查看价格要登录
天意云:不支持分时
亿恩云:不支持分时
天河超计算机试用:http://www.nscc-gz.cn/Service/Igotto.html
亿速云:无分时
平安云:16-32-40-1m,3.64,地址:https://yun.pingan.com/ssr/pricing/ecs/calculator

软件_ubuntu(linux)代理神器v2ray和Qv2ray

安装等不在赘述,网上一堆
v2ray特殊之处在于其代理模式上
传统代理:本机不安装任何软件,直接配置浏览器代理(ubuntu),或者,window/网络/中配置代理,本机不需要增装软件
当前主流代理:购买软件授权码,使用软件授权码就可使用代理
v2ray模式:需要安装2个软件,1个本机,1个服务器,这个是比较特殊的,否则看他人文档时容易懵,为何刚才安装一次又要再安装?

1
2
3
浏览器 <——> 本机1080端口 <——> V2Ray客户端 <——> VPS服务器10086端口 <——> V2Ray服务端 <——> 当地互联网
比如在香港(美国)等购买云主机,ip,45.45.45.233
浏览器(中配置代理127.0.0.1:1080) <——> 本机1080端口 <——> V2Ray客户端(本机v2ray) <——> VPS服务器10086端口 <——> V2Ray服务端(云主机安装的v2ray,ip,45.45.45.233) <——> 当地互联网

系统_ubuntu中bashSh区别

区别:bash,sh,./,bash
当我们使用 sh test.sh 、bash test.sh 、 ./test.sh
运行脚本都会使用一个新的shell环境来执行脚本内的命令,
当子进程完成后,子进程内的各项变量和操作将会结束而不会传回到父进程中。

source方法执行脚本是在父进程中执行的,test.sh的各项操作都会在原本的shell内生效。
不注销系统而要让某些写入~/.bashrc的设置生效时,需要使用 source ~/.bashrc 而不能使用 bash ~/.bashrc

软件_聚合搜索引擎

在知乎搜索的时候发现一个新词聚合搜索
由此发现了3个网站
筛选了每个网站最好的一点
你看看能不能做到一款拓展或者网页带%s就可以了

即搜

软件_matplotlib绘图跳过时间段的处理方案

在绘制行情图时matplotlib,遇到时间索引会自动进行补全,导致dataframe不存在的记录实际绘图中也有,不过是一条连续平线。这个默认设计对大部分情况也是合理的,但在股票行情分析中,我们并不需要自动填充,反而需要跳过这些非交易时间段。
目前如果采用dataframe作为索引(index),网上也没有找到合适的解决方案

方案1,int映射到时间

系统_ubuntu终端一次多条命令方法和区别

1.每个命令之间用;隔开:各个命令都会执行,但不保证每个命令都执行成功。

2.每个命令之间用&&隔开:若前面的命令执行成功,才会去执行后面的命令。保证所有的命令执行完毕后,执行过程都是成功的。

系统_ubuntu环境变量相关文件profileBashrc

文件:/etc/profile,/etc/bash.bashrc,/.profile,/.bashrc区别
2个profile都是绑定了用户的登录操作,用户登录则读取执行
2个bashrc都是绑定了用户的启动shell操作,用户开启shell则执行。所以一旦修改就需要重新登录方能生效。
etc/下的文件/etc/profile,/etc/bash.bashrc,是对所有用户都适用的,所以只要开启新终端就能生效。
~/下的文件是对当前用户适用的
可以通过source /etc/profile立即生效等,使得相应配置立即生效。

交互式shell和非交互式shell,什么是login shell 和non-login shell。
交互式模式就是shell等待你的输入,并且执行你提交的命令。这种模式被称作交互式是因为shell与用户进行交互。这种模式也是大多数用户非常熟悉的:登录、执行一些命令、签退。当你签退后,shell也终止了。
shell也可以运行在另外一种模式:非交互式模式。在这种模式下,shell不与你进行交互,而是读取存放在文件中的命令,并且执行它们。当它读到文件的结尾,shell也就终止了。
bashrc用于交互式non-loginshell,而profile用于交互式login shell。

软件_intelliJIDEA快捷键整理自用版

 无论任何开发工具,都有众多快捷键,不可能对所有快捷键都做到精通或熟练使用。况且每个人的开发水平,开发习惯都是不同的,所以很难提取出一个大家都公认的“常用快捷键”的精华版。所以建议在别人整理出的快捷键基础上提取或者修改出符合自己开发习惯的“常用快捷键版本”。这个版本就是符合本人开发习惯的快捷键。大家有兴趣可以参考。
修改:

1
2
3
4
5
6
7
8
Alt+回车 导入包,自动修正  
Ctrl+Alt+L 格式化代码
Alt+Insert 生成代码(如get,set方法,构造函数等)
Shift+F6 重构-重命名
Ctrl+X 删除行
Ctrl+D 复制行
Ctrl+/ 或 Ctrl+Shift+/ 注释(// 或者/*...*/ )
Ctrl+J 自动代码

软件_安装docker和jupyter采坑历程

背景:发现自己电脑配置不够,在进行模型参数调优时基本进行不下去了。计划使用云服务器,由于自己只是用来跑模型。所以按需计费最为合适。考虑到每次使用都需要部署开发环境,索性用docker实现。这样每次部署可以省去很多软件安装和部署工作。留下过程和采坑经历。供大家借鉴。
个人系统:ubuntu16.04
1,安装系统默认版本docker

输入Y,安装好后
输入:docker –version,检查是否安装成功。

2,尝试安装最新版本docker
了解到ubuntu16.04自带的docker源中的docker不是最新版的,
需要通过添加源的方式来安装最新版本的docker
#添加ubuntu apt 的https访问能力
$ sudo apt-get install apt-transport-https
#将Docker官方资料库的访问Key添加到你本地系统
$ sudo apt-key adv –keyserver hkp://keyserver.ubuntu.com:80 –recv-keys 36A1D7869245C8950F966E92D8576A8BA88D21E9
#将docker 资料库地址添加到apt源列表

软件_vnpy20异常错误

vnpy2.0安装后报错ModuleNotFoundError: No module named ‘vnpy.api.ctp.vnctpmd’

1,git clone vnpy的代码
2,安装bash install.sh
3,新建run.py
copy如下内容

软件_VNPY20火币期货交易接口配置使用

最近期货ctp穿透接口还在等待期货公式审批,看了vnpy2.0支持的数字货币,自己之前主要使用1.9,但是里面很多接口都以及无法使用了,所以长远来看,还是要转到2.0版本的,不妨试试。
推荐先使用火币的普通交易接口,测试通过了在使用期货接口
首先配置appkey和appsec都是类似的,
需要注意的如下
第一点,交易所选择,直观感受hbdm,但下拉框没有,其实选择huobi就行了
第二点,代码,官方的网页代码 ETH0628 这种格式,但是个人测试不行
然后还有ETH_CQ,这中格式尝试了也不行,最红发现ETH19628这样的才可以
即使这样也会有报错
ws_contract_type = CONTRACT_TYPE_MAP[contract_type] KeyError: ‘quarter’
需要修改代码:
hbdm_gateway里面的CONTRACT_TYPE_MAP改为如下信息,则可以解决报错问题

1
2
3
4
5
6
CONTRACT_TYPE_MAP = {
"this_week": "CW",
"next_week": "NW",
"this_quarter": "CQ",
"quarter": "CQ"
}

软件_mongo异常错误

mongo报错WiredTiger.wt, connection: /data/db/WiredTiger.wt: handle-open: open: Operation not permitted

表现:sudo mongod可以成功启动mongo,但是不加sudo则不行,自然不希望每次都加sudo
完整报错:

系统_ubuntu异常错误

qt.qpa.screen: QXcbConnection: Could not connect to display(vnpy,云主机,图形界面)

1
2
3
4
5
6
7
8
9
10
11
12
qt.qpa.screen: QXcbConnection: Could not connect to display 
Could not connect to any X display.

解决方案很简单:
export DISPLAY=':0.0'
如果不行的话则尝试

export DISPLAY=':1.0'或export DISPLAY=':2.0'
至于为何时1.0或2.0或0.0,
可以在终端执行:
echo ${DISPLAY}
显示的是什么配置成什么就行了

系统_ubuntu使用docker的Huginn上手记

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
sudo apt-get remove docker docker-engine docker.io containerd runc
sudo apt-get -y install apt-transport-https ca-certificates curl
sudo apt-get update

sudo apt-get install \
apt-transport-https \
ca-certificates \
curl \
gnupg-agent \
software-properties-common


国内源(参考:https://www.cnblogs.com/youran-he/p/9566059.html)
curl -fsSL https://mirrors.ustc.edu.cn/docker-ce/linux/ubuntu/gpg | sudo apt-key add -
sudo add-apt-repository "deb [arch=amd64] https://mirrors.ustc.edu.cn/docker-ce/linux/ubuntu \
$(lsb_release -cs) stable"
sudo apt install docker-ce

docker run -it -p 3000:3000 huginn/huginn

docker的加速:https://blog.csdn.net/xinshuzhan/article/details/78982265
4.启动Huginn
打开你的浏览器,输入
http://localhost:3000
用户名:admin,密码:password

系统_ubuntu18安装node.js以及npm提速(通过nvm安装)

nodejs主要2种安装方式,

源代码安装

软件_pycharm报错pleaseSecifyADiffeentSdkName

这里有重复的名字 ,右侧的-号,把它移除掉就行了(本例子,都正常)

软件_避免用chrome进行网站配置调试

坑1:自动填充

 chrome地址栏默认自动填充,关键是他完全接管了地址栏,即使你输入对的,它依然给你自动上一个错的,错的可能是之前对的网站,但现在关闭了。用户才应该掌控地址栏,而不是它,况且它还偶尔出错,这种错误虽是偶尔,但确是突破底限的错误。查了下这是chrome一个bug,大部分情况用户不会直接输入地址,都是百度等点进去的,所以也不会有问题,所以大部分时候体会不到这一点。

软件_印象笔记无法同步EDAMSystemException

可能国内软件做的太人性化了,最近用的几个国外软件,真的各种反人性,尤其是今天的evernote,窝火!
1,网页web版,新版旧版并存,新版切换旧版,链接明显。旧版切新版,找不到入口!!请问,是在鼓励用户使用旧版么?那做新版干干嘛呢?用户一旦误点击,切换到旧版,发现,回不到新版了!!!!
2,同步问题,evernote在win上有客户端,可以正常同步,但是,我第一次用就无法同步,折腾了大半天,最后还是csdn搞定,
解决方案:工具——>选项——>同步——>勾选开启部分同步——>点击确认
猜测是某一篇文章,可能哪里有残缺,同步过程抛出异常,导致同步失败。
难道设计、开发人员都不动脑子?博文本身互相独立,即使某一篇报错,也不该影响其他文章吧!一篇文章报错,全部无法同步!!还有就是,既然有兼容性的配置项,难道不应该默认放开么??
evernote这种toC软件,理论上不应该出现这种低级问题,毕竟面向用户很广泛,而且大多小白用户,难道让人家去debug么?

参考:https://blog.csdn.net/weixin_42719896/article/details/89449649

脚本_vnote同步到hexo步骤

1,批量跑md2hexo命令

1
2
3
4
5
6
7
cd /home/john/文档/vnote_notebooks/vnote
conda activate py35
python md2hexo.py $(ls -I _v_recycle_bin)

变更部分比对
gitk:验证只有文件头部被修改
或者:meld .

脚本_vnote格式md转hexo格式

动机,原有md希望快捷发布

本来原来有笔记,已经为md格式,希望批量发布。而不是一个个hexo new page xxx,然后复制过去,太慢了,而且每次修改都需要手工在相应hexo里面的md在修改一次。
但是,由于vnote笔记格式和hexo所需要的md格式并不完全相同,所以需要开发脚本将vnote的md内部格式修改为和hexo内部md格式一致。
hexo的标准POST格式除了有正文md,还多了头部的如下格式信息

软件_nginx建立hexo和wp双博客

 hexo结合github pages本来是绝佳组合,免费安全高效,无奈github国内访问太慢。同类的coding的pages自定义域名坑太多,大概率失败.gitee自定义域名直接收费月99,果然比抢更好(99可以买腾讯低配置云主机1年了。)。所以说了半天国内如果坚持自定义域名且少花钱,那么就是都不行。必须借助github,那么就只有github+cdn加速。但国外cdn大多数一样慢,国内使用cdn,则网站必须备案,github备案也过不了。所以此路不通。github+亚马逊CDN(可能名字不叫这个)可能可以,据说还行。但是可能收费。
 所以那么麻烦干么,干脆自己建了,不用github类似Pages服务,hexo生成的是静态页面,nginx轻松搞定。

 重点在nginx配置
 hexo博客系统搭建(hexo+nginx)(不是借助github(coding,gitee) pages服务),自己找找,推荐如下两篇:
https://segmentfault.com/a/1190000009723457
https://www.jianshu.com/p/069b8ad1d1e8

软件_wordpress站点地址和wordpress地址

 站点地址:用于生成拼接url文章地址的东西
 比如:机器ip:118.12,12.12,有wordpress,同时域名a.com指向这个ip。
则站点地址配置http://118.12,12.12和http://a.com,都没问题,只是用户地址栏显示不同,内容正确且相同。若配置为www.baidu.com, 此时文章地址就是用www.baidu.com/开头的,自然访问不到任何东西。
 wordpress地址:完整名称应该是wordpress的管理后台wp-admin地址。这个比较重要,一旦没了就失去对wp的控制了。再搞回来就要修改数据库了。一般小白不大搞得定。 这里只能配置自己机器ip或者指向机器ip的域名。
比如配置http://a.com

1
2
访问:a.com/wp-amdin,没问题,  
访问:118.12,12.12/wp-admin,自动跳转到a.com/wp-amdin,所以也没问题。

软件_hexo如何召唤心仪妹子(live2d模型配置无效)

 hexo启用看板娘后发现一个问题,无论如何修改配置,妹子始终都是那个座桌子边上的那个。想换一个,修改配置,重启,无效!
 网上查了查,也没有类似的结果,只好硬着头皮自个找了。重新核对官方步骤,的确没问题,一模一样的,那为何自己的就不行呢?仔细检查配置后发现。

 其中assets/这个文件夹在本机并不存在!!。查询官方说明,这里恰好就是保存模型文件的位置。难怪了,那就是说系统没搜索到模型,所以用一个默认的代替了?。用npm重装模型文件,发现没error,但是有warn,难道warn有鬼?warn粘网上搜了下,发现npm安装时有warn存在安装失败的风险,用npm update;npm install,进行更新,尝试了下的确download了一些东西。在重新部署,有了,多了一些js在asset中,说明方向对了!
 启动后发现,还是不行,还是原来的妹子!什么情况?又翻了几篇文章,发现对于live2d的配置上,大家没有统一的结果,有的在主题中配置,有的在根配置中配置。那就试试吧。把live2d配置迁移到根配置中,启动,好使。ok!
 总结:召唤妹子要诀:
1,检查assets是否存在,里面是否有js脚本
2,如果live2d配置在主题下,尝试迁移到根配置。同理如果根配置不好使,则向主题中迁移,试试。之所以试试主要是考虑到next有太多版本了。网上资料不一定对应那一种版本,况且不一定那个版本就存在bug,导致无法识别主题配置or根配置的信息。所以试试可能最省时的方案!
3,hexo部署时最好hexo clean下。最彻底,防幺蛾子!

软件_flask的安装

pip install 安装后报错ModuleNotFoundError: No module named ‘flask’
解决:采用如下方式安装(对应conda环境下执行)

1
2
3
4
pip uninstall flask && python -m pip install flask

pip install gevent
pip install gunicorn

软件_ubuntu期货看穿监管信息查看

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
经期货市场监控中心反馈,您在我司报备使用的第三方外部交易终端软件在生产环境中不满足看穿式监管要求。无法采集到您的私网IP1。

但是无法采集到您的硬盘序列号等其他序列号信息。

如何定位问题呢?提供下个人方法
1,官方提供的linux版本的so包,v6.3.13_20181119_tradeapi中有
v6.3.13_20181119_tradeapi/v6.3.13_20181119_api_clientdollectdll_linux64/LinuxDataCollect.so
这里应该有获取机器信息的c函数,那个呢?
和这个so在一起有个DataCollect.h
内容:
///获取AES加密和RSA加密的终端信息
///@pSystemInfo 出参 空间需要调用者自己分配 至少270个字节
///@nLen 出参 获取到的采集信息的长度
///采集信息内可能含有‘\0’ 建议调用者使用内存复制
DATA_COLLECT_API_EXPORT int CTP_GetSystemInfo(char* pSystemInfo, int& nLen);
明显是获取机器信息的函数

2,但是如果直接调用so里面的这个方法,会提示找不到方法
3,不妨在so中查看找类似名称
nm LinuxDataCollect.so |grep SystemInfo
0000000000085230 T _Z17CTP_GetSystemInfoPcRi
0000000000084c40 T _Z21CTP_GetRealSystemInfoPcRi
00000000000850e0 T _Z28CTP_GetSystemInfoUnAesEncodePcRi
也就是这三个方法大概率时获取信息,具体那个,名字看应该时加密或encode的差异,无所谓,都尝试下就行了

4,在python中使用cdll.LoadLibrary调用方法_Z21CTP_GetRealSystemInfoPcRi,即可(挨个试出来的)
5,最终结果实例
b'2@2019-07-16 18:47:37@172.16.0.154@@aced5cf6d10a@@john-P95-@4.15.@AA00000000000000@E9060900FFFBEBBF@Not'
c_int(103)
大概是2@2019-07-16 18:47:37[当前时间]@172.16.0.154[本机IP]@@aced5cf6d10a[MAC地址]@@john-P95-[机器名]@4.15.@AA00000000000000@E9060900FFFBEBBF@Not
剩下的我也不晓得干嘛的


在windows上的可参考东吴证券文档:http://www.dwfutures.com/upload/common/3/201905211006437757.doc
终端采集WinDataCollect.dll由上期技术提供,该文件在上期技术提供的API接口文件包的20181119_clientdll_windows或20181119_clientdll64_windows目录中。将本地信息采集具体内容显示,该内容即穿透式监管验证搜集的相关信息内容(目前暂定)。

功能类似如下:

软件_ubuntu剪贴板工具比较

clipit

有历史,无法批量粘贴

软件_笔记工具比较

gitnote:开发中,目测不是很完善。好处,支持历史查询且依赖于git比较稳,跨平台。每次一保存就是一次提交,有点多

CherryTree:python2,可能未来在win上兼容性有问题

软件_pyspider抓取数字货币价格bitcoin

第一步,找数据源,发现数据源url的pattern

试试抓取数字货币价格,
数据源:https://coinmarketcap.com/zh/currencies/bitcoin/
点击历史数据,然后选择开始结束日期:
https://coinmarketcap.com/zh/currencies/bitcoin/historical-data/?start=20190201&end=20190228
可以发现查询历史价格的URLpattern,
base_url=https://coinmarketcap.com/zh/currencies/bitcoin/historical-data/?start=xx&end=yy
xx=开始时间,yyyymmdd
yy=结束时间,yyyymmdd
爬虫默认模板代码:

软件_视频or音频转文字的处理方案

1,windows下有软件,百度一搜索一堆,但效果一般,推荐“录音啦”

2,开源软件autosub,archtime(视频添加字幕),其中autosub以来google的语音识别接口,国内翻“强”后稳定性不佳可能导致翻译失败(400M的视频,从来没成功过)

主机_virmach主机购买和使用

01购买

参考教程:https://www.jb51.net/yunying/470007.html
需要注意的是购买后,登录的帐号和密码会发送到默认邮箱中,拿到用户名密码可以先使用ssh登录,查看机器是否可以连接,查看机器的操作系统等是否和购买一致

软件_其他异常错误

TB创建公式应用dll失败 请检查用户权限,终极解决方案

使用TB遇到问题,
编译公式时提示,创建公式应用dll失败,请检查用户权限
尝试了多种方法后最终搞定
将方案整理下,后续有遇到的战友可用参考下
1,权限问题:使用,右键,管理员权限启动
2,登录电脑系统的用户名是否为administrator,
3,用户账户控制改为从不通知,(关闭UAC控制)
4,软件存放路径不能有中文
5,如果装有360杀毒软件卸载后尝试,电脑系统不能是ghost版的
6,解决 别放C盘D盘或者Program Files文件夹下就行了
7,软件需要放(or安装)C盘的文件夹下就行了
需要注意,6,7矛盾的,但是有的人用6,有的人用7

系统_阿里云数加平台类HQL的那些坑

简介
近期在练习机器学习算法,部分数据本机跑太慢了。恰好阿里云有在线的机器学习平台,所以不妨用阿里云来实现了。
将之前MySQL数据迁移到阿里云上,这个过程主要比较顺利的。但后面修改特征提取sql时就遇到各种问题。问题根源是阿里云_数加平台基于的maxComputer组件的sql不是常规的sql,不支持update操作。之前sql大多使用了update(主要为了逻辑清晰,创建表后修改,减少中间表)。所以特征提取的sql需要重写。

官方文档
地址:https://help.aliyun.com/document_detail/27860.html?spm=5176.doc48950.6.601.yR58qr
和常用sql区别
官方文档给出的差异:https://help.aliyun.com/document_detail/50985.html?spm=5176.doc27860.6.623.0QzCDZ

软件_docker內安装TOPT

1,启动并进入docker
启动:john@john-PAY4:~$ docker run -d -p 8888:8888 -v /media/john/10167DFA167DE0E0/WPAN/GIT/PYTHON:/home/ds/notebooks dataquestio/python2-starter
查询id:docker ps
进入docker机器终端:sudo docker exec -it 775c7c9ee1e1(上一步查询的id) /bin/bash

2,安装TOPT
参考:https://github.com/rhiever/tpot/blob/master/docs_sources/installing.md

软件_ubuntu18下vnpy的安装

第一次安装:官方较长+pip安装+源代码安装,目标v2.0

01,先按照官方教程来:
参考教材:https://github.com/vnpy/vnpy/wiki/Ubuntu%E7%8E%AF%E5%A2%83%E5%AE%89%E8%A3%85
02,一次执行如下命令安装依赖包:
sudo apt-get install mongodb #head /etc/mongodb.conf
sudo apt-get install libboost-all-dev
sudo apt-get install cmake
sudo apt-get install git
sudo apt-get install libsnappy-dev
sudo apt-get install python-snappy
表现正常,未报错
03,在执行
sudo apt-get install build-essential
sudo apt-get install python-dev
表现正常,未报错

软件_win10安装rqalpha

win10安装rqalpha
参考文档
rqalpha地址:https://rqalpha.readthedocs.io/zh_CN/latest/intro/detail_install.html#intro-detail-install
1,安装ubuntu和win10共存的双系统,失败,放弃
2,使用win10已安装的Anaconda2-5.3.0-Windows-x86_64.exe,参考官方文档继续安装
pip install -U pip
pip install -U setuptools

pip install bcolz==1.2.0 -i https://pypi.douban.com/simple

系统_ubuntu18常用软件安装设置

Ubuntu18.04 安装后应该做的事:https://blog.csdn.net/hymanjack/article/details/80285400
Ubuntu 18.04 安装后的主题美化与软件安装:https://blog.csdn.net/MasterAnt_D/article/details/56839492

01,修改软件源,修改nvidia显卡驱动

系统_ubuntu18下ML环境(anaconda)

环境搞坏了,conda无法识别了
删除:rm -rf anaconda3
rm -rf .conda
修改.bashrc

20181210,第二次,
1,安装anaconda4.2
source activate root
执行:
pip -V
sudo pip -V
=>sudo pip 和pip指向不同
find . -name pip
=>真实可用的pip命令有2个

主机_使用百度云主机的GPU主机教程

内容提要

第一部分:百度云主机GPU使用尝试

主机_使用青云主机的GPU主机教程(不完整版)

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
建议使用百度云,青云坑小多,我放到云磁盘中的数据离奇消失,,,
我已改用百度云,这个教程可能有疏漏

第一部分:准备工作
Aria2+chrome插件安装(见wiz)
方便下载百度云资源

第二部分:GPU机器建立
检查机器配置
cat/proc/cpuinfo
lspci|grepVGA(或者lspci-vnn|grepVGA-A12)

第三部分:按照实验步骤实验
预准备or检查
1,查看sudovi/etc/apt/sources.list
注意到ucloud已经采用本地的源了,所以不需要修改
2,更新pip源
mkdir~/.pip
cd~/.pip
echo'[global]'>pip.conf
echo'index-url=https://pypi.tuna.tsinghua.edu.cn/simple'>pip.conf
echo'[install]'>pip.conf
echo'trusted-host=mirrors.aliyun.com'>pip.conf

按照老师步骤开工
1、更新apt-get源列表
sudoapt-getupdate
sudoapt-getupgrade

2、添加驱动源
sudoadd-apt-repositoryppa:graphics-drivers/ppa
sudoapt-getupdate

3、安装Nvidia驱动
sudoapt-getinstallnvidia-367
sudoapt-getinstallmesa-common-dev
sudoapt-getinstallfreeglut3-dev

4、使用Firefox下载CUDA8.0
(本实验中用的是GTX1070显卡,CUDA8.0,其他版本不确定是否兼容)
用ubuntu自带的Firefox进行下载,然后
cp~/Downloads/cuda_8.0.61_375.26_linux.run.
sudoshcuda_8.0.61_375.26_linux.run

我执行命令
sudoapt-getinstallaria2
sudoshcuda_8.0.61_375.26_linux.run

5、更改配置文件
vim~/.bashrc
添加
exportPATH=/usr/local/cuda-8.0/bin:$PATH
exportLD_LIBRARY_PATH=/usr/local/cuda-8.0/lib64:$LD_LIBRARY_PATH
保存

6、下载安装CUDNN
wgethttp://developer.download.nvidia.com/compute/redist/cudnn/v6.0/cudnn-8.0-linux-x64-v6.0-rc.tgz

我使用:aria2chttp://developer.download.nvidia.com/compute/redist/cudnn/v6.0/cudnn-8.0-linux-x64-v6.0-rc.tgz
mkdir cuda
mv cudnn-8.0-linux-x64-v6.0-rc.tgz cuda/
cd cuda/
gunzip cudnn-8.0-linux-x64-v6.0-rc.tgz
tar xvf cudnn-8.0-linux-x64-v6.0-rc.tar
cd cuda/
cd..
sudo cp cuda/include/cudnn.h /usr/local/cuda/include
sudo cp cuda/lib64/libcudnn* /usr/local/cuda/lib64/ -d
sudo chmod a+r /usr/local/cuda/include/cudnn.h
sudo chmod a+r /usr/local/cuda/lib64/libcudnn*

7,后续步骤可参考上一篇百度云的教程,基本一致的

系统_ubuntu常用命令或设置

常用命令or设置

01,软件删除

系统_ubuntu常用软件安装_机器学习01本机

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
第一部分:纯命令版本(整理自第二部分)
sudo apt-get install python-dev
sudo apt-get install python-pip
sudo apt-get install python-setuptools

sudo pip install numpy
sudo pip install scipy
sudo pip install matplotlib
sudo pip install pandas

pip install xgboost
sudo pip install seaborn
sudo pip install jupyter

pip install tensorflow # Python 2.7; 仅支持CPU

pip install deap
pip install git+https://github.com/DEAP/deap@master
pip install tqdm stopit
pip install tpot

jupyter notebook --no-browser --port=8889
ssh -N -f -L localhost:8888:localhost:8889 ubuntu@139.198.190.254

jupyter notebook --generate-config
mkdir jupyter/officialData
cd .jupyter
vi xxxxxx.conf
scp /media/john/10167DFA167DE0E01/WPAN/GIT/PYTHON/kaggle_digit_recognizer/* ubuntu@139.198.190.254:/home/ubuntu/jupyter/
scp /media/john/10167DFA167DE0E01/WPAN/GIT/PYTHON/kaggle_digit_recognizer/officialData/* ubuntu@139.198.190.254:/home/ubuntu/jupyter/officialData/

scp ubuntu@139.198.190.254:/home/ubuntu/jupyter/* /media/john/10167DFA167DE0E01/WPAN/GIT/PYTHON/kaggle_digit_recognizer01/


tensorflow降级安装
实验二:
安装gpu的tensorflow(之所以pip3是应为本机pip总是安装到python2.7,只能这样将就了)
sudo pip3 install tensorflow-gpu
如果报错:
libcublas.so.9.0: cannot open shared object file: No such file or directory
则执行:
sudo pip3 install tensorflow-gpu==1.4
参考:
ImportError: libcublas.so.9.0: cannot open shared object file: No such file or directory:http://blog.csdn.net/w5688414/article/details/79187499

系统_ubuntu常用软件安装_机器学习02青云机器学习(独立安装)

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
第二部分:青云主机软件安装(独立安装)
1,更新软件与源
apt-get源泉更新
a:备份:cp /etc/apt/sources.list /etc/apt/sources.list.backup
b:修改:sudo vi /etc/apt/sources.list(个人使用了阿里云,网易,上交)
c:保存,刷新:
sudo apt-get update
sudo apt-get upgrade
参考:
http://blog.csdn.net/wuzuodingfeng/article/details/76155829

pip源更新:
mkdir ~/.pip
vi ~/.pip/pip.conf
[global]
index-url = https://pypi.tuna.tsinghua.edu.cn/simple
[install]
trusted-host=mirrors.aliyun.com
参考:https://www.cnblogs.com/microman/p/6107879.html

补充:安装python-dev,python-pip
sudo apt-get install python-dev
sudo apt-get install python-pip

2,安装setuptools
1) 最简单安装,假定在ubuntu下
sudo apt-get install python-setuptools
2) 启动脚本安装
wget http://peak.telecommunity.com/dist/ez_setup.py
sudo python ez_setup.py

3,安装xgboost,seaborn
pip install xgboost
sudo pip install seaborn

4,安装jupyter
sudo pip install jupyter
报错:ipython6不支持python2.7
安装新版setuptools后;
sudo pip install jupyter


5,安装sklearn等
sudo pip install numpy
sudo pip install scipy
sudo pip install matplotlib
sudo pip install pandas

以上1-4参考:http://www.mamicode.com/info-detail-1897196.html

6,安装tensorflow:
$ pip install tensorflow # Python 2.7; 仅支持CPU
$ pip3 install tensorflow # Python 3.n; 仅支持CPU
$ pip install tensorflow-gpu # Python 2.7; 支持CPU
$ pip3 install tensorflow-gpu # Python 3.n; 支持CPU

验证tensorflow是否安装成功
启动终端,输入python
输入以下代码:
>>> import tensorflow as tf
>>> hello = tf.constant('Hello, TensorFlow!')
>>> sess = tf.Session()
>>> print(sess.run(hello))
参考:http://blog.csdn.net/cxq234843654/article/details/70857562
安装tensorflow end:

7,安装TPOT
安装deap
pip install deap
pip install git+https://github.com/DEAP/deap@master
机器中输入python,进入python终端,
from deap import creator
没有报错,认为安装成功。

安装tqdm stopit
pip install tqdm stopit

安装TPOT
pip install tpot
验证tpot安装
python
from tpot import TPOTClassifier
参考:http://blog.csdn.net/u011331731/article/details/78847186
安装TPOT end。

8,其他,SSH远程jupyter notebook
jupyter notebook --generate-config
mkdir jupyter/officialData
cd .jupyter
vi xxxxxx.conf
jupyter notebook --no-browser --port=8889
ssh -N -f -L localhost:8888:localhost:8889 ubuntu@139.198.190.254
参考:http://blog.csdn.net/patrick75/article/details/51473884

9,其他,ssh scp 复制文件和文件夹
本地192.168.1.8客户端
scp /media/john/10167DFA167DE0E01/WPAN/GIT/PYTHON/kaggle_digit_recognizer/* ubuntu@139.198.190.254:/home/ubuntu/jupyter/
scp /media/john/10167DFA167DE0E01/WPAN/GIT/PYTHON/kaggle_digit_recognizer/officialData/* ubuntu@139.198.190.254:/home/ubuntu/jupyter/officialData/

本地192.168.1.8客户端取远程服务器12、11上的文件
scp ubuntu@139.198.190.254:/home/ubuntu/jupyter/* /media/john/10167DFA167DE0E01/WPAN/GIT/PYTHON/kaggle_digit_recognizer01/

10,补充:
提示缺少bufxx时安装:sudo pip install protobuf
Your browser is out-of-date!

Update your browser to view this website correctly. Update my browser now

×