作者归档:worker

windows创建软连接附加mysql数据库

mysql数据库MyISAM引擎数据库表有三个文件,分别是*.frm、*.MYD、*.MYI,只要备份这三个文件也就完全备份了数据库,非常方便,有时候会遇到临时读取备份数据库的情况,全部拷贝到开发环境未免太过繁琐,其实合理利用windows系统的软连接即可解决问题,即把移动硬盘(或其他目录)的数据库文件夹软连接到mysql的数据库文件夹即可,命令如下:
mklink /J linkname dstdir
例如:mklink /J mydata D:\mydata\
重启mysql服务后,即可在数据库里正常使用D:\mydata\目录下的数据库了。

一次千万级数据迁移遇到的问题及解决方法

这次是4千万记录从oracle迁移到mysql数据库,操作系统均为windows,oracle端使用PL/SQL Developer操作:
1、select出所有数据后,使用PL/SQL Developer自带导出工具导出sql文件,文件巨大,然后mysql端命令行下登录后使用source命令直接导入,那叫一个慢,而且plsql导出的sql文件是每条记录一行insert into 所以导致文件巨大,而且效率低下,如果使用ultraedit编辑替换掉insert into语句也要很长时间,所以这个方法放弃,想到了使用mysql的load data方法; 继续阅读

Macbook/iMac/Mac电脑产品安装windows系统后驱动的安装

今天在为macbook air使用boot camp安装双系统,直接选择win10镜像,调整windows分区大小就可以安装了,整个过程没有网上教程里写的制作windows系统安装盘的选项,安装完也没有弹出安装boot camp工具的窗口,重启进入macOS打开boot camp助理发现只能删除windows分区。。。
各种无奈后联系苹果售后,几分钟的等待连线,几句话客服就点破了,原来2015年下半年往后生产的苹果计算机设备里的boot camp助理升级,安装双系统不需要再制作windows系统安装盘,直接安装完,自动挂载boot camp支持软件驱动虚拟盘 继续阅读

浅谈如何利用ip数据来辅助风控和安全系统

原作者:陆文 岂安科技CTO
本文转自岂安科技(http://bigsec.com)微信公众号:bigsec
如有侵权,请告知第一时间删除!

互联网时代,ip一直在网络安全和风险控制领域占据着最为重要的地位,主要是出于以下因素:
1.所有的网络请求都会带有ip信息,因此其天然的成为访问者的身份标识。
2.由于ip的管理和分配比较严格,很难造假。虽然会有代理、肉鸡等掩藏踪迹的手法。但绝大部分情况下,ip数据的真伪是可以信得过的。
3.由于ip属于网络层,可以轻松的对其进行阻断。现有的各种网络安全、负载均衡的设备和软件,都是以ip为对象进行追踪和管理的。
因此,常见的攻击防范和风险控制都会利用IP来作为用户的身份标识,来进行分析和处理。 继续阅读

Python多线程爬虫越爬越慢的解决方法

系统环境:
Ubuntu 16.04 Server
Python3.5
爬虫情况:
1、从Mysql数据库获取任务
2、任务导入列表后开始http请求,将数据以文件形式保存到硬盘
3、开80线程
遇到的问题:
1、家用路由器频繁死机(一天两三次)
2、爬虫开始时爬取速度很快,但是越来越慢
解决思路: 继续阅读

Linux(ubuntu)开机启动脚本遇到的坑

使用python制作了一个脚本,想法是每6小时重新执行一次,而脚本是重复循环的也就是6小时里它是不会自动结束运行,所以单纯使用crontab定制定时任务不能直接达到目的,需要使用脚本检查PID,太麻烦!于是想到是使用crontab定制每6小时重启一次主机,然后脚本放在/etc/rc.local里达到开机启动的目的,坑也在这里挖好了,其实还是自己技术不精导致的!!!
1、crontab脚本是在root下编辑的,如下:

0 */6 * * * reboot

这里是第一个坑,到时间主机就是不重启?!原来reboot需要root权限所以脚本要写成如下形式,改完立即好用:

0 */6 * * * sudo reboot

2、rc.local中脚本是这样写的:

/usr/bin/python3 /root/dl.py

这里是第二大坑,问题不在语法,而是dl.py文件没有可执行权限!使用命令chmod 111 dl.py解决
第三大坑是脚本执行了,却提示mysql错误没有conn对象,原来是脚本启动时mysql还没有准备好所以连接失败解决方法很多,异常判断等待几秒重连mysql数据库,我索性脚本运行开始先等10s后再连接数据库,问题解决。

PIL(Pillow)常用功能(一)

#首先导入Image、
from PIL import Image
#1、打开图像
image=Image.open('C:/1.png')
#2、显示图片
image.show()
#3、图像转化为灰度,参数用'L',转化为阈值为127的黑白图像,参数用'1'
image.convert('L')
#4、图像转化为自定义阈值的图像,需要先转化为灰度或者黑白,再执行point
threshold = 150
table = []
for i in range(256):
    if i < threshold:
        table.append(0)
    else:
        table.append(1)
image.convert('L').point(table,'1')
#5、裁剪图像,裁剪区域用左上顶点和右下顶点坐标圈定
#region=(left,uper,right,lower)
region=(1,1,79,17)
image.crop(region)
#6、图像保存
image.save('C:/2.png')

python通过OCR引擎识别字符型验证码

写爬虫的过程中不可避免地要面对打码,一般打码工具都有很强的针对性,一款通用的验证码识别工具非常必要,tesseract-ocr开源工具就是这一需求的最好解决方法,它来自于大名鼎鼎的google,可以支持中文,可以使用再带工具训练自己的字符集。
环境:
python2.7
PIL:使用pip install Pillow即可安装,版本无限制
pytesser3:使用pip install pytesser3即可安装,该模块通过tesseract-ocr开源引擎实现
tessertact-ocr引擎:该引擎可以到github根据自己的系统下载,该链接为4.0版本 继续阅读

阿里云ECS云主机Linux系统盘扩容方法

早期开通的阿里云主机的系统盘如果选择安装linux,则系统盘只有20G大小,而Windows系统则是40G,后来大约是2016年早些时候所有系统盘默认为40G了,而之前开通的云主机没有给出系统盘扩容的方法,经自行尝试我发现可以使用镜像变相解决老主机扩容的问题,实现方法是首先制作云磁盘镜像-》更换系统盘-》更换操作系统时选择自定义镜像-》选择刚才制作的镜像文件即可。
1、aliyun管理控制台->云服务器ECS->实例->选择需要扩容的实例->更多->创建自定义镜像
继续阅读