C++ – 扫地老僧的Blog

在linux下读一个巨大的日志文件, 2.4G

用正文文件的方式打开, 一行一行的读

char achbuf[ 4096 ] ;

ifstream ifile( "/cygdrive/h/logs/zz/ex051117.log" ) ;

if ( !ifile ) {

cout << "error in opening" << endl ;
return -1 ;
}

int i ;

for( i = 0 ; !ifile.eof() ; i++ )
{
ifile.getline( achbuf , sizeof( achbuf ) - 1 ) ;
}

这个过程用了51秒

2.4G的文件用51秒, 47M每秒, 已经接近硬盘的最高速度了.

当时想做个尝试, 看看用二进制方式打开一次读入16M能否会更快.

char achbuf[ 4096 * 4096 ] ;
ifstream ifile( "file.log" , ios::in | ios::binary ) ;

if ( !ifile ) {

cout << "error in opening" << endl ;
return -1 ;
}

int i ;

for( i = 0 ; !ifile.eof() ; i++ )
{
ifile.read( achbuf , sizeof( achbuf ) ) ;
}

这个过程竟然用了96秒!!!!!!!!!!

到论坛请教了一下, co给出一个链接: Fast read of binary files that alternate type

试了试co推荐的文章里说的方法, 加了 ifile.imbue( std::locale::classic());, 结果为88秒, 有提高.

改用下面的代码读是54秒, 和第一个速度相近了

FILE *pfile ;

pfile = fopen( "file.log" , "rbS" ) ;

if ( pfile == NULL ) {

cout << "error in opening" << endl ;
return -1 ;
}

int i ;

for( i = 0 ; !feof( pfile ) ; i++ )
{
fread( achbuf, 1 , sizeof( achbuf ) , pfile ) ; //16M
}

fclose( pfile ) ;

刚开始学习stl,不太清楚stl文件io实现的内部机制, 不清楚为什么二进制和正文文件的读入速度差这么多.

有知道的请不吝赐教. 有能答疑解惑者,赠烤鸭一只

以前都是用try{} catch(…){}来捕获C++中一些意想不到的异常，今天看了Winhack的帖子才知道，这种方法在VC中其实是靠不住的。例如下面的代码：

try
{
BYTE* pch ;
pch = ( BYTE* )00001234 ; //给予一个非法地址

*pch = 6 ; //对非法地址赋值，会造成Access Violation 异常
}
catch(…)
{
AfxMessageBox( “catched” ) ;
}

这段代码在debug下没有问题，异常会被捕获，会弹出”catched”的消息框。但在Release方式下如果选择了编译器代码优化选项，则VC编译器会去搜索try块中的代码，如果没有找到throw代码，他就会认为try catch结构是多余的，给优化掉。这样造成在Release模式下，上述代码中的异常不能被捕获，从而迫使程序弹出错误提示框退出。

那么能否在release代码优化状态下捕获这个异常呢，答案是有的。就是__try, __except结构，上述代码如果改成如下代码异常即可捕获。

__try
{
BYTE* pch ;
pch = ( BYTE* )00001234 ; //给予一个非法地址

*pch = 6 ; //对非法地址赋值，会造成Access Violation 异常
}
__except( EXCEPTION_EXECUTE_HANDLER )
{
AfxMessageBox( “catched” ) ;
}

但是用__try, __except块还有问题，就是这个不是C++标准，而是Windows平台特有的扩展。而且如果在使用过程中涉及局部对象析构函数的调用，则会出现C2712 的编译错误。那么还有没有别的办法呢？

当然有，就是仍然使用C++标准的try{}catch(..){}，但在编译命令行中加入 /EHa 的参数。这样VC编译器不会把try catch模块给优化掉了。

找到一篇比较好的英文文章谈这个问题： http://members.cox.net/doug_web/eh.htm

用C++10 年多了，居然这么基础的问题都搞错，真是汗颜。要加紧学习啊， Stay Hungry, Stay Foolish!

标签： C++

在linux下一个有趣的STL文件IO问题

try{} catch(…){}