mirror of https://gitee.com/zorlan/skycaiji
zorlan
2 years ago
1 changed files with 272 additions and 0 deletions
@ -0,0 +1,272 @@
|
||||
<?php |
||||
/* |
||||
|-------------------------------------------------------------------------- |
||||
| SkyCaiji (蓝天采集器) |
||||
|-------------------------------------------------------------------------- |
||||
| Copyright (c) 2018 https://www.skycaiji.com All rights reserved. |
||||
|-------------------------------------------------------------------------- |
||||
| 使用协议 https://www.skycaiji.com/licenses |
||||
|-------------------------------------------------------------------------- |
||||
*/ |
||||
|
||||
namespace skycaiji\admin\model; |
||||
|
||||
class ProxyIp extends \skycaiji\common\model\BaseModel { |
||||
public function __construct($data=[]){ |
||||
parent::__construct($data); |
||||
} |
||||
/*数据库ip转换成get_html格式的ip*/ |
||||
public function to_proxy_ip($proxyDbIp){ |
||||
if(empty($proxyDbIp)||empty($proxyDbIp['ip'])){ |
||||
|
||||
return null; |
||||
} |
||||
$ip=explode(':',$proxyDbIp['ip']); |
||||
if(empty($ip[0])){ |
||||
return null; |
||||
} |
||||
$proxyIp=array( |
||||
'ip'=>$ip[0], |
||||
'port'=>$ip[1], |
||||
'type'=>$proxyDbIp['type'], |
||||
); |
||||
if(!empty($proxyDbIp['user'])){ |
||||
|
||||
$proxyIp['user']=$proxyDbIp['user']; |
||||
$proxyIp['pwd']=$proxyDbIp['pwd']; |
||||
} |
||||
return $proxyIp; |
||||
} |
||||
/*获取可用的ip*/ |
||||
public function get_usable_ip(){ |
||||
$config=g_sc_c('proxy'); |
||||
init_array($config); |
||||
|
||||
if(!empty($config['open'])){ |
||||
|
||||
$cond=array(); |
||||
$order=null; |
||||
if(!empty($config['use'])){ |
||||
|
||||
if($config['use']=='num'){ |
||||
|
||||
$cond['num']=array('lt',$config['use_num']); |
||||
$order='no desc'; |
||||
}elseif($config['use']=='time'){ |
||||
|
||||
$cond['time']=array(array('eq',0),array('gt',time()-$config['use_time']*60), 'or') ; |
||||
$order='no desc'; |
||||
} |
||||
}else{ |
||||
|
||||
$cond['num']=array('lt',1); |
||||
} |
||||
if(!empty($config['group_id'])){ |
||||
|
||||
$cond['group_id']=$config['group_id']; |
||||
} |
||||
$cond['invalid']=0; |
||||
$proxyipData=$this->where($cond)->order($order)->find(); |
||||
|
||||
if(empty($proxyipData)&&!empty($config['api']['open'])){ |
||||
|
||||
$apiInsert=strtolower($config['api']['insert']); |
||||
if(empty($apiInsert)){ |
||||
|
||||
$cond2=array(); |
||||
if(!empty($config['group_id'])){ |
||||
|
||||
$cond2['group_id']=$config['group_id']; |
||||
} |
||||
$cond2['invalid']=0; |
||||
if($this->where($cond2)->count()<=0){ |
||||
|
||||
$this->add_api_ips(); |
||||
$proxyipData=$this->where($cond)->order($order)->find(); |
||||
} |
||||
}elseif($apiInsert=='end'){ |
||||
|
||||
$this->add_api_ips(); |
||||
$proxyipData=$this->where($cond)->order($order)->find(); |
||||
} |
||||
} |
||||
|
||||
if(empty($proxyipData)){ |
||||
|
||||
if(!empty($config['use'])){ |
||||
|
||||
if($config['use']=='num'){ |
||||
$this->strict(false)->where('1=1')->update(array('num'=>0)); |
||||
}elseif($config['use']=='time'){ |
||||
$this->strict(false)->where('1=1')->update(array('time'=>0)); |
||||
} |
||||
}else{ |
||||
|
||||
$this->strict(false)->where('1=1')->update(array('num'=>0)); |
||||
} |
||||
$proxyipData=$this->where($cond)->order($order)->find(); |
||||
} |
||||
if(!empty($proxyipData)){ |
||||
|
||||
$upData=array(); |
||||
if(!empty($config['use'])){ |
||||
|
||||
if($config['use']=='num'){ |
||||
|
||||
$upData['num']=$proxyipData['num']+1; |
||||
}elseif($config['use']=='time'){ |
||||
|
||||
if(empty($proxyipData['time'])){ |
||||
|
||||
$upData['time']=time(); |
||||
} |
||||
} |
||||
}else{ |
||||
|
||||
$upData['num']=$proxyipData['num']+1; |
||||
} |
||||
$this->strict(false)->where(array('ip'=>$proxyipData['ip']))->update($upData); |
||||
} |
||||
return $proxyipData; |
||||
} |
||||
return null; |
||||
} |
||||
/*ip失败次数*/ |
||||
public function set_ip_failed($proxy_ip){ |
||||
if(empty($proxy_ip)){ |
||||
return; |
||||
} |
||||
$upData=array(); |
||||
$upData['failed']=intval($proxy_ip['failed'])+1; |
||||
$failed=g_sc_c('proxy','failed'); |
||||
if(!empty($failed)){ |
||||
|
||||
if($upData['failed']>=$failed){ |
||||
|
||||
$upData['invalid']=1; |
||||
} |
||||
} |
||||
$this->strict(false)->where(array('ip'=>$proxy_ip['ip']))->update($upData); |
||||
} |
||||
/*代理类型*/ |
||||
public function proxy_types(){ |
||||
return array('http(s)'=>'','socks4'=>'socks4','socks5'=>'socks5'); |
||||
} |
||||
/*匹配格式的ip*/ |
||||
public function get_format_ips($html,$format,$multiple=false){ |
||||
if(empty($html)||empty($format)){ |
||||
return null; |
||||
} |
||||
$format=$this->convert_format($format); |
||||
|
||||
if(!$multiple){ |
||||
|
||||
$ip=null; |
||||
if(preg_match('/'.$format.'/i',$html,$mip)){ |
||||
$ip=array( |
||||
'ip'=>$mip['ip'], |
||||
'port'=>$mip['port'], |
||||
'user'=>$mip['user'], |
||||
'pwd'=>$mip['pwd'], |
||||
); |
||||
} |
||||
return $ip; |
||||
}else{ |
||||
|
||||
$ips=array(); |
||||
if(preg_match_all('/'.$format.'/i',$html,$mips)){ |
||||
init_array($mips['ip']); |
||||
init_array($mips['port']); |
||||
init_array($mips['user']); |
||||
init_array($mips['pwd']); |
||||
for($i=0;$i<count($mips[0]);$i++){ |
||||
$ips[$mips['ip'][$i].':'.$mips['port'][$i]]=array( |
||||
'ip'=>$mips['ip'][$i], |
||||
'port'=>$mips['port'][$i], |
||||
'user'=>$mips['user'][$i], |
||||
'pwd'=>$mips['pwd'][$i], |
||||
); |
||||
} |
||||
} |
||||
return $ips; |
||||
} |
||||
return null; |
||||
} |
||||
/*转换api匹配格式*/ |
||||
public function convert_format($format){ |
||||
static $list=array(); |
||||
$md5=md5($format); |
||||
if(!isset($list[$md5])){ |
||||
$format=controller('admin/Cpattern','event')->correct_reg_pattern($format); |
||||
$format=str_replace(array('[ip]','[端口]','[用户名]','[密码]','(*)') |
||||
,array('(?P<ip>(\d+\.){3}\d+)','(?P<port>\d+)','(?P<user>[^\s\\\'\"\<\>\,]*)','(?P<pwd>[^\s\\\'\"\<\>\,]*)','[\s\S]*?') |
||||
,$format); |
||||
|
||||
$list[$md5]=$format; |
||||
}else{ |
||||
$format=$list[$md5]; |
||||
} |
||||
return $format; |
||||
} |
||||
/*转换成数据库形式*/ |
||||
public function ips_format2db($ipList,$default=array()){ |
||||
$ipList=is_array($ipList)?$ipList:array(); |
||||
$default=is_array($default)?$default:array(); |
||||
$nowTime=time(); |
||||
foreach ($ipList as $k=>$ip){ |
||||
if(empty($ip)||empty($ip['ip'])){ |
||||
unset($ipList[$k]); |
||||
continue; |
||||
} |
||||
if(empty($ip['user'])){ |
||||
$ip['user']=$default['user']; |
||||
|
||||
$ip['pwd']=$default['pwd']; |
||||
} |
||||
$ip['ip']=$ip['ip'].':'.$ip['port']; |
||||
$ip['type']=$default['type']; |
||||
$ip['group_id']=$default['group_id']; |
||||
$ip['addtime']=$nowTime; |
||||
unset($ip['port']); |
||||
$ipList[$k]=$ip; |
||||
} |
||||
return $ipList; |
||||
} |
||||
|
||||
|
||||
private function add_api_ips(){ |
||||
$config=g_sc_c('proxy'); |
||||
if(!is_array($config)||empty($config['api'])||empty($config['api']['open'])||!is_array($config['apis'])){ |
||||
return; |
||||
} |
||||
foreach ($config['apis'] as $api){ |
||||
if(empty($api['api_url'])||!preg_match('/^\w+\:\/\//',$api['api_url'])||empty($api['api_format'])){ |
||||
|
||||
continue; |
||||
} |
||||
$timeout=intval($api['api_interval']); |
||||
$timeout=$timeout>0?$timeout*60:60; |
||||
$cname=md5($api['api_url']); |
||||
$mcahce=CacheModel::getInstance('proxy_api'); |
||||
if($mcahce->expire($cname,$timeout)){ |
||||
|
||||
$mcahce->setCache($cname, 1); |
||||
$html=get_html($api['api_url']); |
||||
$ips=$this->get_format_ips($html, $api['api_format'],true); |
||||
$ips = $this->ips_format2db ( $ips, array ( |
||||
'type' => $api ['api_type']?$api ['api_type']:'', |
||||
'user' => $api ['api_user']?$api ['api_user']:'', |
||||
'pwd' => $api ['api_pwd']?$api ['api_pwd']:'', |
||||
'group_id' => $api ['api_group_id']?$api ['api_group_id']:'', |
||||
) ); |
||||
|
||||
if(!empty($ips)){ |
||||
|
||||
$this->strict(false)->insertAll($ips,true,500); |
||||
} |
||||
} |
||||
} |
||||
} |
||||
} |
||||
|
||||
?> |
||||
Loading…
Reference in new issue