作者归档:worker

告别2018,再前进!

赶到了2018的尾子,告诉自己,忘掉得失,拾掇拾掇再出发!
拾掇拾掇2018扒拉得乱糟糟的心情和事儿:
总结起来就是收获不多,进步不大,赶在尾子上想让自己放弃那些不爽,重新开始,发现当下如此重要,未来如此不堪!还是要活在当下,当那只活在笼子里还有理想的小鸟,万一哪一天笼子被打开了呢!
去年的这个时候在忙,没有总结也没有计划,所以无从对比! 继续阅读

win10 bash安装R总结

1、cmd->输入bash进入bash shell命令下,输入R,提示系统不存在该程序,可以通过apt-get install r-base-core安装;
2、使用root权限,输入sudo -s 输入密码进入root权限;
3、sudo apt-get install r-base-core,中途出错提示下载软件出错,可以尝试apt-get upgrade后重试;
4、尝试后问题依旧如3,发现下载过程中网速不稳定,怀疑是源的问题,进入到/etc/apt/将默认源备份后换成阿里云的源,随后apt-get upgrade更改生效;
5、漫长的等待后,再次使用sudo apt-get install r-base-core,继续漫长等待,成功!

windows创建软连接附加mysql数据库

mysql数据库MyISAM引擎数据库表有三个文件,分别是*.frm、*.MYD、*.MYI,只要备份这三个文件也就完全备份了数据库,非常方便,有时候会遇到临时读取备份数据库的情况,全部拷贝到开发环境未免太过繁琐,其实合理利用windows系统的软连接即可解决问题,即把移动硬盘(或其他目录)的数据库文件夹软连接到mysql的数据库文件夹即可,命令如下:
mklink /J linkname dstdir
例如:mklink /J mydata D:\mydata\
重启mysql服务后,即可在数据库里正常使用D:\mydata\目录下的数据库了。

一次千万级数据迁移遇到的问题及解决方法

这次是4千万记录从oracle迁移到mysql数据库,操作系统均为windows,oracle端使用PL/SQL Developer操作:
1、select出所有数据后,使用PL/SQL Developer自带导出工具导出sql文件,文件巨大,然后mysql端命令行下登录后使用source命令直接导入,那叫一个慢,而且plsql导出的sql文件是每条记录一行insert into 所以导致文件巨大,而且效率低下,如果使用ultraedit编辑替换掉insert into语句也要很长时间,所以这个方法放弃,想到了使用mysql的load data方法; 继续阅读

Macbook/iMac/Mac电脑产品安装windows系统后驱动的安装

今天在为macbook air使用boot camp安装双系统,直接选择win10镜像,调整windows分区大小就可以安装了,整个过程没有网上教程里写的制作windows系统安装盘的选项,安装完也没有弹出安装boot camp工具的窗口,重启进入macOS打开boot camp助理发现只能删除windows分区。。。
各种无奈后联系苹果售后,几分钟的等待连线,几句话客服就点破了,原来2015年下半年往后生产的苹果计算机设备里的boot camp助理升级,安装双系统不需要再制作windows系统安装盘,直接安装完,自动挂载boot camp支持软件驱动虚拟盘 继续阅读

浅谈如何利用ip数据来辅助风控和安全系统

原作者:陆文 岂安科技CTO
本文转自岂安科技(http://bigsec.com)微信公众号:bigsec
如有侵权,请告知第一时间删除!

互联网时代,ip一直在网络安全和风险控制领域占据着最为重要的地位,主要是出于以下因素:
1.所有的网络请求都会带有ip信息,因此其天然的成为访问者的身份标识。
2.由于ip的管理和分配比较严格,很难造假。虽然会有代理、肉鸡等掩藏踪迹的手法。但绝大部分情况下,ip数据的真伪是可以信得过的。
3.由于ip属于网络层,可以轻松的对其进行阻断。现有的各种网络安全、负载均衡的设备和软件,都是以ip为对象进行追踪和管理的。
因此,常见的攻击防范和风险控制都会利用IP来作为用户的身份标识,来进行分析和处理。 继续阅读

Python多线程爬虫越爬越慢的解决方法

系统环境:
Ubuntu 16.04 Server
Python3.5
爬虫情况:
1、从Mysql数据库获取任务
2、任务导入列表后开始http请求,将数据以文件形式保存到硬盘
3、开80线程
遇到的问题:
1、家用路由器频繁死机(一天两三次)
2、爬虫开始时爬取速度很快,但是越来越慢
解决思路: 继续阅读

Linux(ubuntu)开机启动脚本遇到的坑

使用python制作了一个脚本,想法是每6小时重新执行一次,而脚本是重复循环的也就是6小时里它是不会自动结束运行,所以单纯使用crontab定制定时任务不能直接达到目的,需要使用脚本检查PID,太麻烦!于是想到是使用crontab定制每6小时重启一次主机,然后脚本放在/etc/rc.local里达到开机启动的目的,坑也在这里挖好了,其实还是自己技术不精导致的!!!
1、crontab脚本是在root下编辑的,如下:

0 */6 * * * reboot

这里是第一个坑,到时间主机就是不重启?!原来reboot需要root权限所以脚本要写成如下形式,改完立即好用:

0 */6 * * * sudo reboot

2、rc.local中脚本是这样写的:

/usr/bin/python3 /root/dl.py

这里是第二大坑,问题不在语法,而是dl.py文件没有可执行权限!使用命令chmod 111 dl.py解决
第三大坑是脚本执行了,却提示mysql错误没有conn对象,原来是脚本启动时mysql还没有准备好所以连接失败解决方法很多,异常判断等待几秒重连mysql数据库,我索性脚本运行开始先等10s后再连接数据库,问题解决。