在linux下一个有趣的STL文件IO问题

在linux下读一个巨大的日志文件, 2.4G

用正文文件的方式打开, 一行一行的读

char achbuf[ 4096 ] ;

ifstream ifile( "/cygdrive/h/logs/zz/ex051117.log" ) ;

if ( !ifile ) {

cout << "error in opening" << endl ;
return -1 ;
}

int i ;

for( i = 0 ; !ifile.eof() ; i++ )
{
ifile.getline( achbuf , sizeof( achbuf ) - 1 ) ;
}
这个过程用了51秒

2.4G的文件用51秒, 47M每秒, 已经接近硬盘的最高速度了.

当时想做个尝试, 看看用二进制方式打开一次读入16M能否会更快.

char achbuf[ 4096 * 4096 ] ;
ifstream ifile( "file.log" , ios::in | ios::binary ) ;

if ( !ifile ) {

cout << "error in opening" << endl ;
return -1 ;
}

int i ;

for( i = 0 ; !ifile.eof() ; i++ )
{
ifile.read( achbuf , sizeof( achbuf ) ) ;
}
这个过程竟然用了96秒!!!!!!!!!!
到论坛请教了一下, co给出一个链接: Fast read of binary files that alternate type
试了试co推荐的文章里说的方法, 加了 ifile.imbue( std::locale::classic());, 结果为88秒, 有提高.
改用下面的代码读是54秒, 和第一个速度相近了
FILE *pfile ;

pfile = fopen( "file.log" , "rbS" ) ;

if ( pfile == NULL ) {

cout << "error in opening" << endl ;
return -1 ;
}

int i ;

for( i = 0 ; !feof( pfile ) ; i++ )
{
fread( achbuf, 1 , sizeof( achbuf ) , pfile ) ; //16M
}

fclose( pfile ) ;
刚开始学习stl,不太清楚stl文件io实现的内部机制, 不清楚为什么二进制和正文文件的读入速度差这么多.
有知道的请不吝赐教. 有能答疑解惑者,赠烤鸭一只smile_tongue

Tags: , , ,

categories IT

5 Comments

  • By 空心人, 十月 12, 2006 @ 9:10 上午

    直接用Linux的read/write呢?

  • By oldmonk, 十月 12, 2006 @ 10:59 上午

    奇怪, 用了open, read更慢, 11x秒

  • By solo, 十月 17, 2006 @ 11:21 下午

    要是后两种也使用4K的buffer呢?性能会有很大差别吗?

  • By 匿名, 三月 26, 2009 @ 4:40 下午

    顶一下,可是不明白为什么。

  • By 匿名, 四月 20, 2009 @ 9:04 上午

    时间浪费在页交换上了

Other Links to this Post

RSS feed for comments on this post. TrackBack URI

Leave a comment

  • :em48:
  • :em32:
  • :em34:
  • :em14:
  • :em72:
  • :em37:
  • :em53:
  • :em56:
  • :em25:
  • :em39:
  • :em04:
  • :em13:
  • :em38:
  • :em20:
  • :em41:
  • :em31:
  • :em16:
  • :em45:
  • :em21:
  • :em43:
  • :em12:
  • :em71:
  • :em11:
  • :em23:
  • :em46:
  • :em66:
  • :em47:
  • :em02:
  • :em49:
  • :em54:
  • :em27:
  • :em36:
  • :em35:
  • :em15:
  • :em05:
  • :em26:
  • :em44:
  • :em06:
  • :em64:
  • :em01:
  • :em55:
  • :em70:
  • :em28:
  • :em40:
  • :em67:
  • :em18:
  • :em63:
  • :em09:
  • :em10:
  • :em62:
  • :em69:
  • :em03:
  • :em08:
  • :em33:
  • :em42:
  • :em52:
  • :em51:
  • :em68:
  • :em30:
  • :em65:
  • :em59:
  • :em29:
  • :em07:
  • :em50:
  • :em17:
  • :em24:
  • :em57:
  • :em22:
  • :em19:
  • :em60:
  • :em61:
  • :em58: