㈠ 如何用c語言高效的讀取一個很大的txt數據文件
#include <stdio.h>
#include <string.h>
#define MAXSIZE 4000000
struct password {
char psw[12]; // 密碼名稱
int counter; // 出現次數計數器
};
int Append(struct password a[], int *n, char psw[]) {
int i;
for(i = 0; i < *n; ++i) {
if(strcmp(a[i].psw,psw) == 0) {
++a[i].counter;
return 2;
}
}
if(*n < MAXSIZE) {
strcpy(a[*n].psw,psw);
a[*n].counter = 1;
++(*n);
return 1;
}
return 0;
}
int main() {
struct password a[MAXSIZE];
char psw[12];
int i,n = 0,id;
char infilename[] = "indata.txt";
char outfilename[] = "outdata.txt";
FILE *inf,*outf;
if((inf = fopen(infilename,"rt")) == NULL) {
printf("不能打開數據文件:%s。\n",infilename);
return 1;
}
while(fscanf(inf,"%d %11s",&id,psw) == 2) {
if(Append(a,&n,psw) == 0) break;
}
fclose(inf);
if((outf = fopen(outfilename,"wt")) == NULL) {
printf("不能打開數據文件:%s。\n",outfilename);
return 2;
}
for(i = 0; i < n; ++i)
fprintf(outf,"%s %d\n",a[i].psw,a[i].counter);
fclose(outf);
return 0;
}
估計可能是數組越界，修改如下：
int Append(struct password a[], int *n, char psw[]) {
int i;
for(i = 0; i < *n && i < MAXSIZE; ++i) {
if(strcmp(a[i].psw,psw) == 0) {
++a[i].counter;
return 2;
}
}
if(*n < MAXSIZE) {
strcpy(a[*n].psw,psw);
a[*n].counter = 1;
++(*n);
return 1;
}
return 0;
}
㈡ c語言如何讀寫大型的txt文件
#include<stdio.h>
#include<string.h>
#defineMAXSIZE4000000
structpassword{
charpsw[12];//密碼名稱
intcounter;//出現次數計數器
};
intAppend(structpassworda[],int*n,charpsw[]){
inti;
for(i=0;i<*n;++i){
if(strcmp(a[i].psw,psw)==0){
++a[i].counter;
return2;
}
}
if(*n<MAXSIZE){
strcpy(a[*n].psw,psw);
a[*n].counter=1;
++(*n);
return1;
}
return0;
}
intmain(){
structpassworda[MAXSIZE];
charpsw[12];
inti,n=0,id;
charinfilename[]="indata.txt";
charoutfilename[]="outdata.txt";
FILE*inf,*outf;
if((inf=fopen(infilename,"rt"))==NULL){
printf("不能打開數據文件:%s。 ",infilename);
return1;
}
while(fscanf(inf,"%d%11s",&id,psw)==2){
if(Append(a,&n,psw)==0)break;
}
fclose(inf);
if((outf=fopen(outfilename,"wt"))==NULL){
printf("不能打開數據文件:%s。 ",outfilename);
return2;
}
for(i=0;i<n;++i)
fprintf(outf,"%s%d ",a[i].psw,a[i].counter);
fclose(outf);
return0;
}
㈢ C語言大文件操作疑問(fseek)
是有這個限制的。
如果使用的標準的c函數的。
如果是你是32操作系統，c語言操作文件的大小是 2^31 ，2G
如果是你是64操作系統，c語言操作文件的大小是.2^63 ，8589934592 G
。
你說的問題肯定，出在32位操作系統上。
一是：
操作系統能不能允許創建2G以上的文件了，具體要看操作系統了。
如果不允許，你的問題就沒什麼意義了!
如果操作系統允許的話，都會提供，系統函數讓你調用的。
你得自己去找資料了。
===============
你可以看一下，sqlite的源代碼，我的3-5-4版本
他不用是用c語言標准庫的。函數，能windows提供的系統函數SetFilePointer，ReadFile
static int winRead(
sqlite3_file *id, /* File to read from */
void *pBuf, /* Write content into this buffer */
int amt, /* Number of bytes to read */
sqlite3_int64 offset /* Begin reading at this offset */
){
LONG upperBits = (offset>>32) & 0x7fffffff;
LONG lowerBits = offset & 0xffffffff;
DWORD rc;
DWORD got;
winFile *pFile = (winFile*)id;
assert( id!=0 );
SimulateIOError(return SQLITE_IOERR_READ);
OSTRACE3("READ %d lock=%d\n", pFile->h, pFile->locktype);
rc = SetFilePointer(pFile->h, lowerBits, &upperBits, FILE_BEGIN);
if( rc==INVALID_SET_FILE_POINTER && GetLastError()!=NO_ERROR ){
return SQLITE_FULL;
}
if( !ReadFile(pFile->h, pBuf, amt, &got, 0) ){
return SQLITE_IOERR_READ;
}
if( got==(DWORD)amt ){
return SQLITE_OK;
}else{
memset(&((char*)pBuf)[got], 0, amt-got);
return SQLITE_IOERR_SHORT_READ;
}
}
㈣ 如何用c語言打開大文本文件的數據
不管有多大 逐行讀取 逐行處理
內存足夠大的話 你也可以一次性讀到內存裡面 不過不推薦
由於不知道你合並的規則 只能說這些了
㈤ c語言處理文件里的大數據
C語言處理大數據一般有三種處理方法：
1、分段處理，即無論文件多大，程序中使用的永遠只是一小段部分，可以使用一個緩沖區，根據用戶交互輸入，分段的輸出。
2、使用內存文件映射，這是最常用的文件的處理方法，Linux和Windows都提供一種內存文件映射的機制，以Windows為例，可以調用 CreateFile()、 CreateFileMapping()以及 MapViewOfFile()三個函數來完成內存文件映射。
3、使用資料庫，藉助SQL查詢語言對大數據進行操作。
㈥ c語言中如何對文件數據進行拆分定位，即讀取文件數據，對文件解析
拆分定位？沒看懂。。。是不是分成幾個部分？那就先fseek到『一個部分的大小（sizeof （part））乘以 i 』處，然後在直接fread了。不知道是不是你要的。
㈦ C語言高速讀大文件、寫大文件的方式
寫文件一般是追加快些
如果你要輸出例如XML。
還有，每個進程應該有4G，靠操作系統內存管理+頁面文件維持、
還有，開個幾百M的數組不劃算、用malloc+free快些，可以動態的，不讓操作系統在載入時就開辟幾百M，而是陸續的開——除非你在寫匯編程序——匯編向OS申請內存很費勁，要 SYSCALL
㈧ C語言讀大文件問題
如果是文本文件的格式，而且你的文件有很大肯定不能隨機讀取的，所以使用任何編程語言都需要很長的時間。
如果是有固定的記錄格式，則可以使用fseek定位文件指針隨機讀寫
㈨ C語言，大文件讀取，每行長度不固定，fgets是一行一行讀，怕速度慢，能不能多行讀取
那麼用fread讀取到固定位元組的buf+offset，分離出完整行, 把最後一個'\n'後截斷的數據memmove到buf首地址,更新offset到截斷數據尾。下次從截斷數據尾部buf + offset繼續讀取。
如果不知一行的最大長度，遇到讀滿buf拼不出一行的情況時，用realloc擴大buf的尺寸。
㈩ 用C語言讀取一個文件中的內容，如何對不同的行進行解析，比如是配置文件
很簡單的
配置文件 微軟有抓們的一套解析函數
INI文件是Windows系統中一類比較重要的文件，通常用來存放系統或者應用程序的配置信息，以方便系統或者應用 程序在初始化時再次讀入。比如Windows系統中的配置文件win.ini和system.ini，它們就主要存放系統啟動或用戶登陸時的系統信息。這 項功能在方便了系統配置的同時，也為非法程序的自動運行提供了可乘之機。顯然，這類文件的重要性應該引起我們的重視。但是對於這樣的ini文件的讀寫操作 卻與普通文本文件有著種種的不同，尤其體現在編程實現上。筆者曾經嘗試用手動更改的方法在文件中加入一些項，使得自己的程序能夠在初始化時自動運行，但是 卻沒有成功，最後還是藉由編程的方法來實現了。這里主要涉及到一些API函數，而這些函數又往往不被人們所熟知，本文的任務就是在介紹這些函數的同時，用 簡單的程序作了示例，下面我們言歸正傳。
先來看幾個往配置文件中寫入信息的函數：
（1）WritePrivateProfileSection()用來在ini文件中直接向指定區域寫入鍵和值的信息，其原型如下：
BOOL WritePrivateProfileSection(
LPCTSTR lpAppName, // 指向指定欄位的字元串
LPCTSTR lpString, // 指向要寫入的鍵與值字元串
LPCTSTR lpFileName // 指向文件名稱字元串，如果不包含完整路徑，則在windows目錄下創建
);
用法示例：
WritePrivateProfileSection(_T(「windows」),_T(「load=c:\\winnt\\notepad.exe」),_T(「c:\\winnt\\win.ini」));
（2）WritePrivateProfileString（）與上一個函數的不同點在於其將鍵和值分開了，原型如下：
BOOL WritePrivateProfileString(
LPCTSTR lpAppName, // 指向指定欄位的字元串
LPCTSTR lpKeyName, // 指向指定鍵的字元串
LPCTSTR lpString, // 指向指定值的字元串
LPCTSTR lpFileName // 指向文件名稱字元串
);
用法示例：
WritePrivateProfileString(_T(「windows」),_T(load」)_T(「c:\\winnt\\notepad.exe」),_T(「c:\\winnt\\win.ini」));
（3）WritePrivateProfileStruct()與前面兩個的不同在於文件尾有校驗和，原型如下：
BOOL WritePrivateProfileStruct(
LPCTSTR lpszSection, //指向指定欄位的字元串
LPCTSTR lpszKey, //指向指定鍵的字元串
LPVOID lpStruct, //指向存放要加入的數據的緩沖區，如果為NULL，則刪除鍵
UINT uSizeStruct, //緩沖區大小，以位元組為單位
LPCTSTR szFile //以零結尾的文件名稱字元串，如果為空，則向win.ini寫入
);
用法示例：
WritePrivateProfileStruct(_T(「windows」),_T(「load」),pBuffer,sizeof(pBuffer),_T(「c:\\winnt\\win.ini」));
(4)還有兩個函數，是專門用來向win.ini文件寫入的，函數原型如下：
BOOL WriteProfileSection(
LPCTSTR lpAppName, //指向指定欄位的字元串
LPCTSTR lpString //指向指定值的字元串
);
BOOL WriteProfileString(
LPCTSTR lpAppName, //指向指定欄位的字元串
LPCTSTR lpKeyName, //指向指定鍵的字元串
LPCTSTR lpString //指向指定值的字元串
);
下面來看幾個對應的從ini文件獲取信息的API函數，上面已經說得很詳細了，這里只說其中兩個：
DWORD GetPrivateProfileString(
LPCTSTR lpAppName, //指向指定欄位的字元串
LPCTSTR lpKeyName, //指向鍵的字元串
LPCTSTR lpDefault, //如果INI文件中沒有前兩個參數指定的欄位名或鍵名，則將此值賦給變數
LPTSTR lpReturnedString, //存放INI文件中值的目的緩存區
DWORD nSize, //目的緩沖區的大小，以位元組為單位
LPCTSTR lpFileName //指向INI文件名稱的字元串
);
UINT GetPrivateProfileInt(
LPCTSTR lpAppName, //指向指定欄位的字元串
LPCTSTR lpKeyName, //指向鍵的字元串
INT nDefault, //如果INI文件中沒有前兩個參數指定的欄位名或鍵名，則將此值賦給變數
LPCTSTR lpFileName //指向INI文件名稱的字元串
);
程序示例1： 我們在這里建立了一個應用程序「App Name」，並且使用了一個INI文件「appname.ini」，在此INI文件中，我們寫入如下內容：
[Section1]
FirstKey = It all worked out okay.
SecondKey = By golly, it works.
ThirdKey = Another test.
代碼分析如下：
#include <stdio.h>
#include <windows.h>
//主函數
main()
{
//定義局部
CHAR inBuf[80];
HKEY hKey1, hKey2;
DWORD dwDisposition;
LONG lRetCode;
// 試圖創建INI文件的鍵值
lRetCode = RegCreateKeyEx ( HKEY_LOCAL_MACHINE,
"SOFTWARE\\Microsoft\\Windows NT
\\CurrentVersion\\IniFileMapping\\appname.ini",
0, NULL, REG_OPTION_NON_VOLATILE, KEY_WRITE,
NULL, &hKey1,
&dwDisposition);
//判斷是否出錯
if (lRetCode != ERROR_SUCCESS){
printf ("Error in creating appname.ini key\n");
return (0) ;
}
//試圖設置一個節區的值
lRetCode = RegSetValueEx ( hKey1,
"Section1",
0,
REG_SZ,
"USR:App Name\\Section1",
20);
//判斷是否出錯
if (lRetCode != ERROR_SUCCESS) {
printf ( "Error in setting Section1 value\n");
return (0) ;
}
//試圖創建一個應用名稱鍵值
lRetCode = RegCreateKeyEx ( HKEY_CURRENT_USER,
"App Name",
0, NULL, REG_OPTION_NON_VOLATILE, KEY_WRITE,
NULL, &hKey2,
&dwDisposition);
//判斷是否出錯
if (lRetCode != ERROR_SUCCESS) {
printf ("Error in creating App Name key\n");
return (0) ;
}
//強制系統重新讀取映射區的內容到共享內存中，以便於將來對應用程序的調用可//以找到它，而不需要重新啟動系統
WritePrivateProfileStringW( NULL, NULL, NULL, L"appname.ini" );
//向INI文件中添加一些鍵值
WritePrivateProfileString ("Section1", "FirstKey",
"It all worked out okay.", "appname.ini");
WritePrivateProfileString ("Section1", "SecondKey",
"By golly, it works.", "appname.ini");
WritePrivateProfileSection ("Section1", "ThirdKey = Another Test.",
"appname.ini");
//測試一下添加的正確性
GetPrivateProfileString ("Section1", "FirstKey",
"Bogus Value: Get didn't work", inBuf, 80,
"appname.ini");
printf ("%s", inBuf);
return(0);
}
程序示例2：通過修改win.ini中的欄位[windows]中的鍵load或run，或者是為system.ini中的欄位[boot]中的鍵 shell增加值，可以達到設置程序自動運行的目的。假設我們要自動運行notepad.exe，修改後的win.ini或system.ini文件象這 樣就可以：
win.ini
[windows]
load=c:\winnt\notepad.exe
run=c:\winnt\notepad.exe
system.ini
[boot]
shell=c:\winnt\explorer.exe c:\winnt\notepad.exe
注意：system.ini文件的修改要特別注意，如果你單純改成shell=c:\winnt\notepad.exe，則不能首先運行 explorer.exe，很明顯你將看不到桌面和任務欄，呵呵，筆者在做實驗時就曾因為粗心造成了這樣的後果，不過不用害怕，只要你用我們下面提供的程 序，將它修改過來就可以了，默認時，系統在system.ini中的[boot]下是shell=c:\winnt\explorer.exe。很多非法 程序就是通過修改這兩個文件來達到自啟動的目的的。
下面這個程序可以在附書光碟中找到，名稱為「AutoPlay」，使用VC++6.0寫成，核心程序源代碼如下：
void CAutoRunDlg::OnBrowse()
{
//只瀏覽exe文件
CfileDialog fileDlg(TRUE,_T("EXE"),_T("*.exe"),OFN_HIDEREADONLY|OFN_OVERWRITEPROMPT,(_T("Executable Files (*.exe) |*.exe ||")));//顯示打開文件的對話框
//當操作者選擇OK時，程序取得選擇文件的全路徑名（包括文件的路徑及文件名稱），並將相應的數值傳輸給相關的控制項變數。
if(fileDlg.DoModal()==IDOK)
{
m_strFileName=fileDlg.GetPathName();
//向將變數中的數值傳輸給控制項顯示出來。
UpdateData(FALSE);
}
}
void CAutoRunDlg::OnApply()
{
//更新數據
UpdateData(TRUE);
//寫入ini文件
LPCTSTR filename;
filename=m_strFileName;
WritePrivateProfileString(_T("windows"),_T("load"),filename,_T("c:\\winnt\\win.ini"));
}
您如果要更改system.ini，可以將WritePrivateProfileString(_T("windows"),_T("load"),filename,_T("c:\\winnt\\win.ini"));
改為 WritePrivateProfileString(_T("boot"),_T("shell"),filename,_T("c:\\winnt \\system.ini"));並且在輸入文件名時輸入c:\winnt\explorer.exe c:\winnt\notepad.exe。
寫到這里，本文的意圖基本達到，如果您可以把某些代碼親自實現，相信讀者會有比較大的收獲。