Category: IT

Git安装经验

最近安装Git服务器折腾了很多时间Sad smile, 其实就卡在一些小地方。大多数git安装指南提到的东西就不说了,就记录一下卡住我的两点:

  1. git访问接口有ssh, http, git://。 刚开始找到的安装指南这几种方式都实现了,于是也一样画葫芦做了一遍,尤其指南中说git:// 方式最快,所以特别看重这个。实现git://协议需要在服务器安装git-daemon, 在debian用apt-get install git-daemon-run安装, 记得要开放tcp 9418 端口。 后来发现压根不需要实现全部接口,只保留一种就足够了。 其中http方式是readonly的,而git://方式需要多开放一个端口,于是只保留了ssh方式
  2. 桌面是windows,用msysgit+TortoisGit。msysgit用ssh-keygen生成的密钥,需要放到msysgit安装目录下的.ssh目录下,很多安装指南上说要放到C:\Users\[用户名]\.ssh下, 耽误了我很多时间。但这个密钥只是对命令行的git有效。 TortoiseGit要用随它一起安装的Puttygen生成密钥,其中的公钥不要保存文件,而是直接从生成窗口中拷贝,追加到服务器上authorized_keys里。某个指南讲的保存公钥文件再cat 公钥文件>>authorized_keys的方式是行不通的。

Tags:

categories IT

Google搜索结果预览

刚才第一次看到Google搜索结果预览,搜索感恩节,结果的前5个都支持预览。下图红框标出来的就是预览图。让我佩服的是,预览图中加上了搜索关键词所在的段落特别强调标出,关键词用红字显示。

Google Instant Previews

 

通过这项技术的实现我猜google搜索技术已经实现了如下功能:

  1. 索引一个关键词时,google能准确知道这个关键词在真实网页中所在的位置,大小
  2. 搜索爬虫能够解析javascript。 在firefox中用noscript关闭js解析,第一个搜索结果的页面中右侧是显示是完全不同的

本来这就要点发布,突然才又想了想,感觉google很有可能是用webkit之类的浏览器rendering engine渲染出来的,并不能证明google爬虫就有真正完全解析html,css, js的能力。 大家认为呢?

Tags:

categories IT

服务器备份脚本

前些天Linode的Fremont机房出现电源事故,造成一些服务器数据丢失,给一些人造成不小的影响。 以前自己也写过简单的在线备份脚本,但功能太弱,所以后来又写了个复杂点的。这里共享现在用的服务器备份脚本,希望对大家有用。该脚本特点如下:

  1. 用php开发
  2. 通过sftp把指定的目录和数据库备份到指定服务器
  3. 备份目录时会检测目录内文件的最后修改日期,如果和上次备份一样就不会再备份
  4. 每个备份文件都加日期戳,备份文件名是www.20101120.tar.gz 这种。
  5. 备份目录时可指定剔除的文件名
  6. 可以设定一个备份文件的保留时间,超过这个时间就删除。还可以设定一个备份文件保留的最少分数,如果一个数据库或一个目录的备份少于这个份数,超过设定时间也不会删除。

代码遵守GPL协议,请在该协议基础上随便使用。

因为当时是自用,而且对php不熟,所以很多地方写得并不严谨,欢迎指出。

下载链接是: http://www.doyj.com/wp-content/uploads/2010/11/phpbk.zip

下面是备份文件中最主要的phpbk.php的代码
[coolcode lang=”php”]
.
*/

require_once(“sftp.php”);

define(‘BKFTP_SERVER’,’www.bkserver.com’); //backup server address
define(‘BKFTP_USER’,’bkuser’); //backup server user name
define(‘BKFTP_PASS’,’password’); //backup server password
define(‘BKFTP_PORT’, 22); //backup server port
define(‘BKFTP_KEEPDAYS’,’60’); //backup files keep days
define(‘BKFTP_MAXBKCOUNT’,’4′); //定义备份保留的最大个数, 当一个备份文件已经超过了设定的保留最大天数,但这个备份的数量少于最大备份个数时不删除此文件

function load_array_dump($filename)
{
return unserialize(file_get_contents($filename));
}

//first char of filepath must be “/”.
function get_bkpath( $filepath )
{
return ‘/home/’.BKFTP_USER.$filepath ; //need be changed according your server configuration. 这段是因为备份服务器的目录结构是 /home/用户名,请根据自己服务器器的情况修改,
}

function save_array_dump($filename, $array)
{
$fp = fopen($filename, ‘w+’) or die(“I could not open $filename.”);
fwrite($fp, serialize($array));
fclose($fp);
}

function nftpupload( $srcfile, $dest )
{
try
{
$ftp_dir=$dest;

$filename = end(explode(‘/’,$srcfile )) ;

//build a fully qualified (FTP) path name where the file will reside
$destination_file= get_bkpath( $ftp_dir.$filename ) ;

$sftp = new SFTPConnection(BKFTP_SERVER, BKFTP_PORT);
$sftp->login(BKFTP_USER, BKFTP_PASS);

$sftp->uploadFile($srcfile, $destination_file);
}
catch (Exception $e)
{
echo $e->getMessage() . “\n”;
}
}

function IsFTPFileExist( $ftpfile )
{
try
{
$sftp = new SFTPConnection(BKFTP_SERVER, BKFTP_PORT);
$sftp->login(BKFTP_USER, BKFTP_PASS);

$filelist = $sftp->scanFilesystem( get_bkpath( dirname( $ftpfile ) ) );

return in_array( basename( $ftpfile ) , $filelist ) ;
}
catch (Exception $e)
{
echo $e->getMessage() . “\n”;
}

return false ;
}

function DeleteNDaysAgoInDirFTPFile( $ftpdir , $days )
{
try
{
$sftp = new SFTPConnection(BKFTP_SERVER, BKFTP_PORT);
$sftp->login(BKFTP_USER, BKFTP_PASS);

$filelist = $sftp->scanFilesystem( get_bkpath( $ftpdir ) );

$ic = count( $filelist ) ;
$afiles = array() ;
for( $i = 0 ; $i < $ic ; $i++ ) { $afn = explode('.',$filelist[ $i ] ) ; if( count( $afn ) != 4 ) continue ; if( strlen( $afn[ 1 ] ) != 8 ) continue ; if( !isset( $afiles[ $afn[ 0 ] ] ) ) $afiles[ $afn[ 0 ] ] = array() ; $afiles[ $afn[ 0 ] ][ $afn[ 1 ] ] = $filelist[ $i ] ; } $ic = count( $afiles ) ; foreach ( $afiles as $key => $value )
{
$jc = count( $value ) ;
if( $jc < BKFTP_MAXBKCOUNT ) continue ; ksort( $value ) ; foreach( $value as $date => $filepath )
{
$bktime = strtotime( substr( $date , 0 , 4 ).’-‘.substr( $date , 4 , 2 ).’-‘.substr( $date , 6 , 2 ).’ 00:00:00′ ) ;
if( $bktime == false )
continue ;

$diff = time() – $bktime ;
if( $diff > 86400 * $days )
{
$jc– ;

$sftp->deleteFile( get_bkpath( $ftpdir.$filepath ) ) ;
if( $jc < BKFTP_MAXBKCOUNT ) break ; } } } } catch (Exception $e) { echo $e->getMessage() . “\n”;
}
}

//获取一个目录下所有文件最晚的最后修改时间
function GetPathLastMTime( $filepath , $aexcludefiles )
{
if (is_dir($filepath))
{
$lmtime = strtotime( ‘2000-01-01 00:00:00’ ) ;
if ($dh = opendir($filepath))
{
while (($file = readdir($dh)) !== false)
{
if( $file == ‘.’ || $file == ‘..’ )
continue ;

if( in_array( $file , $aexcludefiles ) )
continue ;

if( is_link( $filepath.”/”.$file ) )
continue ;

$lt1 = GetPathLastMTime( $filepath.”/”.$file , $aexcludefiles ) ;

if( $lt1 > $lmtime )
$lmtime = $lt1 ;
}

closedir($dh);
}

return $lmtime ;
}
else
return filemtime( $filepath ) ;
}

$bkdatafile = ‘/backup/bkdata.dat’ ; //备份时用到的数据文件,会在这里保存目录的最后修改时间,用来在下次备份中做比对,看是否有被修改
$bkdatdir = ‘/backup/tmp’ ; //备份用到的临时目录
$bklogfile = ‘/backup/bk.log’ ; //备份日志文件
$tarexclude = ‘/backup/tarexclude.cfg’ ; //备份tar目录时需要剔除的文件名列表,会把日志,缓存等文件剔除掉

$dbbkftppath = ‘/backup/db/’ ; //数据库备份到备份服务器上的目录名
$filebkftppath = ‘/backup/’ ; //目录备份到备份服务器上的目录名

DeleteNDaysAgoInDirFTPFile( $dbbkftppath , BKFTP_KEEPDAYS ) ;
DeleteNDaysAgoInDirFTPFile( $filebkftppath , BKFTP_KEEPDAYS ) ;

$aexcludefiles = array( ‘logs’ , ‘nobk’ , ‘cache’ , ‘.log.gz’ , ‘.log’ ) ;

$abkdb = array( array( ‘user’ => ‘dbadmin1’ , ‘pin’ => ‘dbpassword1’ , ‘dbname’ => ‘db1’ ) , //这个数组里放入要备份的数据库列表,用户名,口令,数据库名
array( ‘user’ => ‘dbadmin2’ , ‘pin’ => ‘dbpassword2’ , ‘dbname’ => ‘db2’ ) ,
array( ‘user’ => ‘dbadmin3’ , ‘pin’ => ‘dbpassword3’ , ‘dbname’ => ‘db3’ ) ,
) ;

$abkdir = array( ‘/home/user’ , ‘/var/www’ , ‘/etc’ ) ; //在这个数组里放入要备份的目录路径

$bklog = fopen( $bklogfile, ‘a’);

if( file_exists( $bkdatafile ) )
{
$aLastBkTime = load_array_dump( $bkdatafile ) ;
}
else
{
$ic = count( $abkdir ) ;
for( $i = 0 ; $i < $ic ; $i++ ) { $aLastBkTime[ $abkdir[ $i ] ] = strtotime( '2000-01-01 00:00:00' ) ; } } //备份数据库 $ic = count( $abkdb ) ; for( $i = 0 ; $i < $ic ; $i++ ) { $sqlfile = $bkdatdir.$abkdb[ $i ][ 'dbname' ].'.'.gmstrftime ('%Y%m%d', time()).'.sql' ; $gzsqlfile = $sqlfile.'.gz' ; $ftpfile = $dbbkftppath.basename( $gzsqlfile ) ; if( IsFTPFileExist( $ftpfile ) ) { $smsg = gmstrftime ('%b %d %Y %H:%M:%S', time()).' ftp file exist '.$ftpfile."\n" ; fwrite($bklog, $smsg); echo $smsg ; continue ; } $cmd = '/usr/bin/mysqldump -u'.$abkdb[ $i ][ 'user' ].' -p'.$abkdb[ $i ][ 'pin' ].' -f '.$abkdb[ $i ][ 'dbname' ].'>‘.$sqlfile ;

$sr = shell_exec( $cmd ) ;
$smsg = gmstrftime (‘%b %d %Y %H:%M:%S’, time()).’ backup database ‘.$abkdb[ $i ][ ‘dbname’ ].” $sr\n” ;
fwrite($bklog, $smsg);
echo $smsg ;

$cmd = ‘/bin/gzip -9 -f ‘.$sqlfile ;
$sr = shell_exec( $cmd ) ;
$smsg = gmstrftime (‘%b %d %Y %H:%M:%S’, time()).’ compress sql file ‘.$sqlfile.” $sr\n” ;
fwrite($bklog, $smsg );
echo $smsg ;

nftpupload( $gzsqlfile , $dbbkftppath ) ;

$smsg = gmstrftime (‘%b %d %Y %H:%M:%S’, time()).’ ftp upload file ‘.$gzsqlfile.’ to ‘.$dbbkftppath.”\n” ;
fwrite($bklog, $smsg );
echo $smsg ;

unlink( $gzsqlfile ) ;
}

//备份文件
$ic = count( $abkdir ) ;
for( $i = 0 ; $i < $ic ; $i++ ) { $tarfile = $bkdatdir.end(explode('/',$abkdir[ $i ] )).'.'.gmstrftime ('%Y%m%d', time()).'.tar.gz' ; $ftpfile = $filebkftppath.basename( $tarfile ) ; if( IsFTPFileExist( $ftpfile ) ) { $aLastBkTime[ $abkdir[ $i ] ] = time() ; $smsg = gmstrftime ('%b %d %Y %H:%M:%S', time()).' ftp file exist '.$ftpfile."\n" ; fwrite($bklog, $smsg); echo $smsg ; continue ; } $smsg = gmstrftime ('%b %d %Y %H:%M:%S', time()).' check last update time '.$abkdir[ $i ]."\n" ; fwrite($bklog, $smsg ); echo $smsg ; $lmtime = GetPathLastMTime( $abkdir[ $i ] , $aexcludefiles ) ; if( $lmtime <= $aLastBkTime[ $abkdir[ $i ] ] ) { $smsg = gmstrftime ('%b %d %Y %H:%M:%S', time()).' file is not changed '.$abkdir[ $i ]."\n" ; fwrite($bklog, $smsg ); echo $smsg ; continue ; } //备份文件 $cmd = 'tar -czf '.$tarfile.' --exclude-caches --exclude-from='.$tarexclude.' '.$abkdir[ $i ] ; $sr = shell_exec( $cmd ) ; $smsg = gmstrftime ('%b %d %Y %H:%M:%S', time()).' compress file '.$tarfile." $sr\n" ; fwrite($bklog, $smsg ); echo $smsg ; nftpupload( $tarfile , $filebkftppath ) ; $smsg = gmstrftime ('%b %d %Y %H:%M:%S', time()).' ftp upload file '.$tarfile.' to '.$filebkftppath."\n" ; fwrite($bklog, $smsg ); echo $smsg ; $aLastBkTime[ $abkdir[ $i ] ] = time() ; unlink( $tarfile ) ; } save_array_dump( $bkdatafile , $aLastBkTime ) ; ?>

[/coolcode]

下面是sftp.php的内容
[coolcode lang=”php”]
//Need libssh2 libssh2-php, PECL ssh2 >= 0.9.0
class SFTPConnection
{
private $connection;
private $sftp;

public function __construct($host, $port=22)
{
$this->connection = @ssh2_connect($host, $port);
if (! $this->connection)
throw new Exception(“Could not connect to $host on port $port.”);
}

public function login($username, $password)
{
if (! @ssh2_auth_password($this->connection, $username, $password))
throw new Exception(“Could not authenticate with username $username ” . “and password $password.”);
$this->sftp = @ssh2_sftp($this->connection);
if (! $this->sftp)
throw new Exception(“Could not initialize SFTP subsystem.”);
}

public function uploadFile($local_file, $remote_file)
{
$sconn = $this->connection;
ssh2_scp_send ( $sconn , $local_file , $remote_file ) ;
/*$sftp = $this->sftp;
$stream = @fopen(“ssh2.sftp://$sftp$remote_file”, ‘w’);
if (! $stream)
throw new Exception(“Could not open file: $remote_file”);
$data_to_send = @file_get_contents($local_file);
if ($data_to_send === false)
throw new Exception(“Could not open local file: $local_file.”);
if (@fwrite($stream, $data_to_send) === false)
throw new Exception(“Could not send data from file: $local_file.”);
@fclose($stream);*/
}

function scanFilesystem($remote_file) {
$sftp = $this->sftp;
$dir = “ssh2.sftp://$sftp$remote_file”;
$tempArray = array();
$handle = opendir($dir);
// List all the files
while (false !== ($file = readdir($handle))) {
if (substr(“$file”, 0, 1) != “.”){
if(is_dir($file)){
// $tempArray[$file] = $this->scanFilesystem(“$dir/$file”);
} else {
$tempArray[]=$file;
}
}
}
closedir($handle);
return $tempArray;
}

public function receiveFile($remote_file, $local_file)
{
ssh2_scp_recv( $this->$connection , $remote_file , $local_file ) ;
/*$sftp = $this->sftp;
$stream = @fopen(“ssh2.sftp://$sftp$remote_file”, ‘r’);
if (! $stream)
throw new Exception(“Could not open file: $remote_file”);
$contents = fread($stream, filesize(“ssh2.sftp://$sftp$remote_file”));
file_put_contents ($local_file, $contents);
@fclose($stream);*/
}

public function deleteFile($remote_file){
$sftp = $this->sftp;
unlink(“ssh2.sftp://$sftp$remote_file”);
}
}

?>[/coolcode]

代码运行环境是php 5, mysql 5, 要安装libssh2-php, 没在其他环境下测试过。现在用cron每天定期运行该脚本,曾有次误删网站根目录全部内容,幸亏有前一天的备份才得以立刻恢复。照理应该再写个对应的恢复脚本,但一直犯懒没写,想等着服务器出问题再说,希望不会有这样的机会。

欢迎大家使用,有啥意见请多交流, 联系方式写在了代码中。

Tags:

categories IT

推荐个性价比很高的wifi信号覆盖方案

以前为团园做过wifi信号覆盖,但信号总是不稳定。 后来自己在家做的时候,发现还是要用wds来做效果最好,当时原生支持wds的路由还找不到,是买了linksys路由后自己刷ddwrt来做wds,效果很好,一直用到现在。前一阵左岸说无线信号频频出问题,于是重新找方案,最终是用三个TP-LINK WR841N来做wds,效果非常好。这个路由支持802.11N制式,原厂固件就支持wds,而且信号极佳,在京东只卖143元。 在网上找到个不错的教程,按图索骥就把信号覆盖做好了。

Tags:

categories IT

改用围脖直播

wordpress老死

移步围脖

Tags:

categories IT

我们小区的房地产中介市场

昨天去散步时发现旁边的小区14个底商里有7个是房地产中介,这才想起自己住的小区里地产中介也很多。

住的小区分南北区,我们住南区,有8栋楼,每栋都至少有1家地产中介,多的有两家,整个南区应该有10家以上的中介。 曾经去过其中一家,大概有8个左右的工位,也就是职工人数在8个左右,也曾看到有的房地产中介把人拉出来在外面培训,大约10个人左右。就按每个中介8个人算,算下来我们这个小区南区的地产从业人员应该在80个,假设地产从业人员平均的人力成本在每个月5000元,那么每个月这些地产公司的人力维持费用要40万。因为小区南区实行比较严格的封闭管理,所以这些中介应该主要就是做小区南区的生意。

中介只能从租住和房屋买卖上赚取佣金。小区房子的租赁价格根据面积装修等在3000到1万多每月不等,取中按6000每月算。 地产中介介绍房屋租赁时,中介费一般是一个月房租,也就是做成一单租赁生意能平均得到6000, 如果单做租赁生意,每个月要做成70单才能持平,加上税收,基本的盈利,应该要100单左右,也就是说我们这个2000多户的小区,如果中介只靠租赁业务为生,大约每年要做1200单的租赁合同才能维持这么多地产中介。

网上查到房屋买卖地产中介的提成在1.8%-3%左右, 我们这里房子价格在150万到600来万之间,就按300万来算,提成按2.4%来算, 每单房屋买卖中介平均收入7.2万,一个月有6单房屋买卖生意就能持平,算上税收盈利应该要9单,一年下来要108单。算下来小区房子每年的换手率在5%的话,中介们就能活得不错了。

我父母从80年到现在的30年内换过5次住房,而且我们家绝不是个例,在当地很有典型性。如果大家都是按这个这个速度换房,那住房的换手率摊到每年是16%, 远远超过刚才提到的5%的盈亏平衡线,这还不算我和我妹的房子。一个年轻人一般18-22岁出来工作,这时候要租房,25-30岁之间要结婚,这时要买房,27-35岁间,要生孩子,这时要换大一点的房子,等到快50的时候,他的子女又开始这个轮回,而这中间的每个换房过程都是房产中介的市场机会。 由此看来现在的房地产中介市场还是大有可为的。

小区在北京东三环和四环之间,位置不算特别好,距离繁华的路段都有些距离。 也看过周围的几个小区,发现地产中介也差不多一样多,看来房地产中介的火爆是北京的普遍现象。

小区2000多套房子养活了80个地产中介从业人员,也就是25:1,每25套房子养活一个房产中介从业人员,不知这是不是普遍及合理的比率。

微软还没差到不可救药的地步

昨晚看着从live space迁移过去的blog还空空如也,今早起来一看原先的blog内容已经被成功导入,看来微软还没差到不可救药的地步。

微软真差劲

早晨看到消息,说Windows Live Spaces即将关闭,要转到wordpress.com上去。 登录自己的live space,发现果然提示要upgrade,点击后按向导提示一步步下来,最后说迁移成功,说import successful, 结果到了新的链接一看,只有个hello world,原先的文章都没import进来,访问原先的地址已经自动跳转到新地址,也就是说原先的博文再也找不回来了。微软太让我失望了。

2010.9.29补充: 昨晚看着还空空如也的,今早起来一看原先的blog内容已经被成功导入,看来微软还没差到不可救药的地步。