Linux 基础IO
文章目錄
- 先來(lái)段代碼回顧C(jī)文件接口
- 寫文件
- 讀文件
- 輸出信息到顯示器，你有哪些方法
- 默認(rèn)打開的三個(gè)流:stdin & stdout & stderr
- 系統(tǒng)接口
- open
- close
- write
- read
- 文件描述符fd
- 理解一切皆文件
- 文件描述符的分配規(guī)則
- 重定向
- 重定向原理
- dup2
- FILE
- 理解文件系統(tǒng)
- 磁盤的概念
- 磁盤線性存儲(chǔ)
- 磁盤分區(qū)與格式化
- 磁盤分區(qū)
- 磁盤格式化
- EXT2文件系統(tǒng)的存儲(chǔ)方案
- 初識(shí)文件inode
- stat命令
- 理解硬鏈接
- 理解軟鏈接
- A，C，M三個(gè)時(shí)間
- 三個(gè)時(shí)間的應(yīng)用場(chǎng)景
先來(lái)段代碼回顧C(jī)文件接口
寫文件
#include<stdio.h int main() {FILE * fp=fopen("./log.txt","w");//"a",appand 追加寫入if(NULL==fp) {perror("OPEN"); return 1;}int cnt=10;const char* str="ahah\n";while(cnt--){fputs(str,fp);}fclose(fp); return 0; }讀文件
#include<stdio.h int main() {FILE * fp=fopen("./log.txt","r");if(NULL==fp){perror("OPEN");return 1;}int cnt=10;char buff[128];while(fgets(buff,sizeof(buff),fp)){printf("%s\n",buff);}fclose(fp); return 0; }輸出信息到顯示器，你有哪些方法
#include<stdio.h int main() {const char * msg="hello fwrite\n";fwrite(msg,strlen(msg),1,stdout);printf("hello printf\n");fprintf(stdout,"hello fprintf\n"); return 0; }所有的文件操作，表現(xiàn)上都是進(jìn)程執(zhí)行對(duì)應(yīng)的函數(shù)！進(jìn)程對(duì)文件的操作，對(duì)文件的操作就要先打開文件，打開文件的本質(zhì)就是加載文件相關(guān)的屬性，加載到內(nèi)存！
操作系統(tǒng)中存在大量的進(jìn)程，進(jìn)程對(duì)文件的比例是 1：n，那么系統(tǒng)中就存在可能更多的，打開文件！打開文件是加載到內(nèi)存中，os必須對(duì)文件進(jìn)行管理，先描述后組織，
struct file{
? //包含了打開文件的相關(guān)屬性
? // 打開文件之間的鏈接屬性
}
默認(rèn)打開的三個(gè)流:stdin & stdout & stderr
extern FILE *stdin; extern FILE *stdout; extern FILE *stderr;- C默認(rèn)會(huì)打開三個(gè)輸入輸出流，分別是stdin, stdout, stderr
- 仔細(xì)觀察發(fā)現(xiàn)，這三個(gè)流的類型都是FILE*, fopen返回值類型，文件指針
C語(yǔ)言對(duì)系統(tǒng)接口進(jìn)行封裝，那么就會(huì)有一套屬于C語(yǔ)言的IO，但是最終都是訪問(wèn)硬件(顯示器，硬盤，文件（磁盤)，os是硬件的管理者，所有的語(yǔ)言上對(duì)“文件”的操作，都必須貫穿os！一切皆文件
所以，幾乎所有的語(yǔ)言層的輸入輸出函數(shù)，在底層一定需要使用os提供的系統(tǒng)調(diào)用！為了更好的使用文件操作，我們需要學(xué)習(xí)文件的系統(tǒng)調(diào)用接口。
下面是c語(yǔ)言提供好的函數(shù)接口，本質(zhì)就是對(duì)系統(tǒng)接口進(jìn)行封裝
| fopen | 打開文件 |
| fclose | 關(guān)閉文件 |
| fputc | 寫入一個(gè)字符 |
| fgetc | 讀取一個(gè)字符 |
| fputs | 寫入一個(gè)字符串 |
| fgets | 讀取一個(gè)字符串 |
| fprintf | 格式化寫入數(shù)據(jù) |
| fscanf | 格式化讀取數(shù)據(jù) |
| fwrite | 向二進(jìn)制文件寫入數(shù)據(jù) |
| fread | 從二進(jìn)制文件讀取數(shù)據(jù) |
| fseek | 設(shè)置文件指針的位置 |
| ftell | 計(jì)算當(dāng)前文件指針相對(duì)于起始位置的偏移量 |
| rewind | 設(shè)置文件指針到文件的起始位置 |
| ferror | 判斷文件操作過(guò)程中是否發(fā)生錯(cuò)誤 |
| feof | 判斷文件指針是否讀取到文件末尾 |
系統(tǒng)接口
open
? 在認(rèn)識(shí)返回值之前，先來(lái)認(rèn)識(shí)一下兩個(gè)概念: 系統(tǒng)調(diào)用 和 庫(kù)函數(shù)
上面的 fopen fclose fread fwrite 都是C標(biāo)準(zhǔn)庫(kù)當(dāng)中的函數(shù)，我們稱之為庫(kù)函數(shù)（libc）。
而， open close read write lseek 都屬于系統(tǒng)提供的接口，稱之為系統(tǒng)調(diào)用接口
可以認(rèn)為，f#系列的函數(shù)，都是對(duì)系統(tǒng)調(diào)用的封裝，方便二次開發(fā)。
int open(const char *pathname, int flags); int open(const char *pathname, int flags, mode_t mode);參數(shù)的介紹：
1、pathname參數(shù)： 文件路徑
2、flags參數(shù)： 傳遞標(biāo)志位
int有32個(gè)bit，一個(gè)bit，代表一個(gè)標(biāo)志，若將一個(gè)比特位作為一個(gè)標(biāo)志位，則理論上flags可以傳遞32種不同的標(biāo)志位。
O_WRONLY O_RDONLY O_CREAT等都是只有一個(gè)比特位是1的數(shù)據(jù),而且不重復(fù)
所以我們傳入多個(gè)標(biāo)志，只需要給每個(gè)相鄰的標(biāo)志按位或即可
注意：實(shí)際上傳入flags的每一個(gè)選項(xiàng)在系統(tǒng)當(dāng)中都是以宏的方式進(jìn)行定義的。
例如：
#define O_RDONLY 00 #define O_WRONLY 01 #define O_RDWR 02 #define O_CREAT 0100因?yàn)槊總€(gè)標(biāo)志都是獨(dú)立的，所以open內(nèi)部就可以通過(guò)&按位與來(lái)進(jìn)行區(qū)分選項(xiàng)，
例如：
int open(arg1, arg2, arg3){if (arg2&O_RDONLY){//設(shè)置了O_RDONLY選項(xiàng)}if (arg2&O_WRONLY){//設(shè)置了O_WRONLY選項(xiàng)}if (arg2&O_RDWR){//設(shè)置了O_RDWR選項(xiàng)}if (arg2&O_CREAT){//設(shè)置了O_CREAT選項(xiàng)}//... }| O_RDONLY | 以只讀的方式打開文件 |
| O_WRONLY | 以只寫的方式打開文件 |
| O_APPEND | 以追加的方式打開文件 |
| O_RDWR | 以讀寫的方式打開文件 |
| O_CREAT | 當(dāng)目標(biāo)文件不存在時(shí)，創(chuàng)建文件 |
3、mode_t mode參數(shù)： 打開權(quán)限
例如 將mode設(shè)置為：0666，則創(chuàng)建出來(lái)的文件權(quán)限為: -rw-rw-rw-
但實(shí)際上創(chuàng)建出來(lái)文件的權(quán)限值還會(huì)受到umask（文件默認(rèn)掩碼）的影響，實(shí)際創(chuàng)建出來(lái)文件的權(quán)限為：mode&(~umask)。umask的默認(rèn)值一般為0002，當(dāng)我們?cè)O(shè)置mode值為0666時(shí)實(shí)際創(chuàng)建出來(lái)文件的權(quán)限為0664。
注意： 當(dāng)不需要?jiǎng)?chuàng)建文件時(shí)，open的第三個(gè)參數(shù)可以不必設(shè)置
4、返回值：
成功：新打開的文件描述符
失敗：-1
如下面顯示：
int main() { //FILE* fd=fopen("./log.txt","w");等于下面 int fd=open("./log.txt",O_WRONLY|O_CREAT,0644);//創(chuàng)建失敗返回-1；if(fd<0){printf("open error\n"); }close(fd); return 0; }close
系統(tǒng)接口中使用close函數(shù)關(guān)閉文件，close函數(shù)的函數(shù)原型如下：
int close(int fd);使用close函數(shù)時(shí)傳入需要關(guān)閉文件的文件描述符即可，若關(guān)閉文件成功則返回0，若關(guān)閉文件失敗則返回-1。
write
系統(tǒng)接口中使用write函數(shù)向文件寫入信息，write函數(shù)的函數(shù)原型如下：
頭文件#include <unistd.h> ssize_t write(int fd, const void *buf, size_t count);函數(shù)說(shuō)明：write()會(huì)把參數(shù)buf所指的內(nèi)存寫入count個(gè)字節(jié)到參數(shù)fd所指的文件內(nèi)。返回值：如果順利write()會(huì)返回實(shí)際寫入的字節(jié)數(shù)（len）。當(dāng)有錯(cuò)誤發(fā)生時(shí)則返回-1，錯(cuò)誤代碼存入errno中。三個(gè)參數(shù)：第一個(gè)參數(shù) 文件描述符fd第二個(gè)參數(shù) 無(wú)類型的指針buf，可以存放要寫的內(nèi)容第三個(gè)參數(shù) 寫多少字節(jié)數(shù)strlen（）用來(lái)讀取長(zhǎng)度 #include <stdio.h #include <string.h #include <unistd.h #include <sys/types.h6 #include <sys/stat.h #include <fcntl.h int main() {int fd = open("log.txt", O_WRONLY | O_CREAT, 0666);if (fd < 0){perror("open");return 1;}const char* msg = "hello syscall\n";for (int i = 0; i < 5; i++){write(fd, msg, strlen(msg));// ‘\0’不需要被寫入，字符串以'\0'為結(jié)尾屬于c語(yǔ)言的標(biāo)記規(guī)則。}close(fd);return 0; }read
系統(tǒng)接口中使用read函數(shù)從文件讀取信息，read函數(shù)的函數(shù)原型如下：
頭文件 ：#include <unistd.h> ssize_t read(int fd, void *buf, size_t count); read函數(shù)的三個(gè)參數(shù)： （1）fd：文件描述符 （2）buf：指定讀入數(shù)據(jù)的數(shù)據(jù)緩沖區(qū) （3）count：指定讀入的字節(jié)數(shù) 返回值: 成功：返回讀取的字節(jié)數(shù) 出錯(cuò)：返回-1并設(shè)置errno 如果在調(diào)read之前已到達(dá)文件末尾，則這次read返回0。我們可以使用read函數(shù)，從文件描述符為fd的文件讀取count字節(jié)的數(shù)據(jù)到buf位置當(dāng)中。
#include <stdio.h #include <string.h #include <unistd.h #include <sys/types.h6 #include <sys/stat.h #include <fcntl.h int main() {int fd = open("./log.txt", O_RDONLY);if(fd < 0){perror("open");return 1;}char buffer[1024];ssize_t s = read(fd, buffer, sizeof(buffer)-1);if(s > 0){buffer[s-1] = 0;// '\n' 也會(huì)被讀取，所以在最后一個(gè)字符抹去'\n'printf("%s\n", buffer);}文件描述符fd
通過(guò)對(duì)open函數(shù)的學(xué)習(xí)，我們知道了文件描述符就是一個(gè)小整數(shù)
當(dāng)我們打開文件時(shí)，操作系統(tǒng)在內(nèi)存中要?jiǎng)?chuàng)建相應(yīng)的數(shù)據(jù)結(jié)構(gòu)來(lái)描述目標(biāo)文件。于是就有了file結(jié)構(gòu)體。表示一個(gè)已經(jīng)打開的文件對(duì)象。而進(jìn)程執(zhí)行open系統(tǒng)調(diào)用，所以必須讓進(jìn)程和文件關(guān)聯(lián)起來(lái)。每個(gè)進(jìn)程都有一個(gè)指針files_struct*files, 指向一張表files_struct,該表最重要的部分就是包涵一個(gè)指針數(shù)組，每個(gè)元素都是一個(gè)指向打開文件的指針！所以，本質(zhì)上，文件描述符就是該數(shù)組的下標(biāo)。所以，只要拿著文件描述符，就可以找到對(duì)應(yīng)的文件指針，找到文件指針，就可以對(duì)文件結(jié)構(gòu)體進(jìn)行操作，對(duì)文件結(jié)構(gòu)體的操作就是對(duì)磁盤文件操作 。通過(guò)上面分析，C語(yǔ)言FILE結(jié)構(gòu)體，里面一定會(huì)包含對(duì)應(yīng)的文件描述符。
補(bǔ)充：那么文件是什么時(shí)候關(guān)閉的，準(zhǔn)確的來(lái)說(shuō)file文件對(duì)象什么時(shí)候被移除，這里會(huì)涉及到引用計(jì)數(shù)器；
int main() { int fd1=open("./log.txt",O_WRONLY|O_CREAT,0644);//創(chuàng)建失敗返回-1； int fd2=open("./log.txt",O_WRONLY|O_CREAT,0644);//創(chuàng)建失敗返回-1； int fd3=open("./log.txt",O_WRONLY|O_CREAT,0644);//創(chuàng)建失敗返回-1； int fd4=open("./log.txt",O_WRONLY|O_CREAT,0644);//創(chuàng)建失敗返回-1；if(fd1<0){printf("open error\n"); }printf("%d\n",fd1);printf("%d\n",fd2);printf("%d\n",fd3);printf("%d\n",fd4); return 0; } //打印 3 4 5 6其中：0 1 2下標(biāo)存放標(biāo)準(zhǔn)輸入，標(biāo)準(zhǔn)輸出和標(biāo)準(zhǔn)錯(cuò)誤文件指針。0123456 文件描述符本質(zhì)上是一個(gè)指針數(shù)組的下標(biāo)。printf() 是C語(yǔ)言的庫(kù)函數(shù)，對(duì)open()進(jìn)行封裝，printf（）想要訪問(wèn)文件必須有文件描述符，printf（）默認(rèn)向stdout輸入數(shù)據(jù)，而stdout指向的是一個(gè)struct FILE類型的結(jié)構(gòu)體，該結(jié)構(gòu)體當(dāng)中有一個(gè)存儲(chǔ)文件描述符的變量，而stdout指向的FILE結(jié)構(gòu)體中存儲(chǔ)的文件描述符就是1，因此printf實(shí)際上就是向文件描述符為1的文件輸出數(shù)據(jù)。類似scanf()函數(shù)也是如此，stdin 指向的結(jié)構(gòu)體，該結(jié)構(gòu)體當(dāng)中有一個(gè)變量存儲(chǔ)文件描述符0；
理解一切皆文件
驅(qū)動(dòng)層用來(lái)傳遞和獲取硬件數(shù)據(jù)，每個(gè)硬件的讀取方式都不一樣，所以每個(gè)硬件都會(huì)一一對(duì)應(yīng)屬于自己的一套交互方法。
軟件的虛擬層VFS虛擬文件系統(tǒng)，操作系統(tǒng)一切皆文件，上層要打開鍵盤，往鍵盤寫入，操作系統(tǒng)就需要維護(hù)一個(gè)file結(jié)構(gòu)體。C語(yǔ)言層面上實(shí)現(xiàn)多態(tài)，讓以后file指向某種設(shè)備時(shí)，調(diào)用同一個(gè)方法實(shí)現(xiàn)不同的方式。我們可以在file結(jié)構(gòu)體里定義一批 int(*read)(),int(*write)()的函數(shù)指針，在創(chuàng)建file時(shí)，我們給這批函數(shù)指針指向某種設(shè)備對(duì)應(yīng)驅(qū)動(dòng)層函數(shù)。在struct_file的上層看來(lái)，所有的文件，讀就調(diào)用read(),寫就調(diào)用write()，根本不關(guān)心你到底是什么文件。所有在上層就有統(tǒng)一的視角，一切皆文件。
小結(jié)：當(dāng)我們調(diào)用文件操作函數(shù)時(shí)，我們整個(gè)的過(guò)程是這樣的，通過(guò)參數(shù)fd找到進(jìn)程里對(duì)應(yīng)的文件指針，找到對(duì)應(yīng)系統(tǒng)維護(hù)的文件結(jié)構(gòu)體file，再調(diào)用write，read系列的對(duì)應(yīng)方法。
磁盤文件vs內(nèi)存文件
類似于程序與進(jìn)程的關(guān)系，當(dāng)程序被運(yùn)行時(shí)，先創(chuàng)建進(jìn)程PCB，mm_struct,頁(yè)表等系統(tǒng)級(jí)的結(jié)構(gòu)體，加載相關(guān)的數(shù)據(jù)和代碼到內(nèi)存中，通過(guò)頁(yè)表對(duì)虛擬內(nèi)存與物理內(nèi)存物理產(chǎn)生映射關(guān)系；
磁盤文件與內(nèi)存文件，也是一樣的，打開的文件都會(huì)有一個(gè)對(duì)象，用來(lái)保存相關(guān)的文件屬性，文件對(duì)象間的鏈接關(guān)系類似于雙鏈表，在要讀取文件等操作時(shí)，才會(huì)把文件數(shù)據(jù)加載到物理內(nèi)存中
文件描述符的分配規(guī)則
通過(guò)一下實(shí)驗(yàn)進(jìn)行證明：
通過(guò)上面的一下樣例，0,1,2文件描述符對(duì)應(yīng)標(biāo)準(zhǔn)輸入輸出錯(cuò)誤，現(xiàn)在我們看看關(guān)閉文件 0，然后再打開一個(gè)文件，我們都知道如果不關(guān)閉0那么新打開的文件的文件描述符為3。
int main() {close(0);int fd1=open("./log.txt",O_WRONLY|O_CREAT,0644);//創(chuàng)建失敗返回-1；if(fd1<0){printf("open error\n"); }printf("%d\n",fd1); return 0; } //打印 0close(0) ,file*fd_array[0]里的指針不指向可用文件，也就是說(shuō)array[0]沒(méi)有被使用，指向新打開的./log.txt文件對(duì)象的指針存放到array[]里，通過(guò)文件描述符的分配規(guī)則把指針存放到相應(yīng)的下標(biāo)里，并且返回該文件描述符。
文件描述符的分配規(guī)則：在files_struct里的file* fd_array[]數(shù)組當(dāng)中，找到當(dāng)前沒(méi)有被使用的最小的一個(gè)下標(biāo)，作為新的文件描述符
重定向
重定向原理
重定向原理：基于文件描述符的分配規(guī)則；
#include <stdio.h #include <unistd.h #include <sys/types.h #include <sys/stat.h #include <fcntl.h int main() {close(1);int fd = open("log.txt", O_WRONLY | O_CREAT, 0666);if (fd < 0){perror("open failed");return 1;}printf("hello\n");fflush(stdout);close(fd);return 0; }原本我們的printf要把"hello\n" 輸出到顯示器上的，現(xiàn)在卻輸出到log.txt的文件里；
其實(shí)就是把文件描述符1 里的內(nèi)容不指向任何一個(gè)struct file，然后打開文件時(shí)，通過(guò)文件描述符分配規(guī)則進(jìn)行分配；
現(xiàn)在文件描述符1里就放了新打開的文件指針
追加重定向也是類似
在上述上，打開文件時(shí)按照追加的形式打開即可；
#include <stdio.h #include <unistd.h #include <sys/types.h #include <sys/stat.h #include <fcntl.h int main() {close(1);int fd = open("log.txt", O_WRONLY|O_APPEND|O_CREAT, 0666);if (fd < 0){perror("open failed");return 1;}printf("hello\n");fflush(stdout);close(fd);return 0; }需要注意的是：
1.printf() 是C語(yǔ)言的庫(kù)函數(shù)，對(duì)open()進(jìn)行封裝，printf（）想要訪問(wèn)文件必須有文件描述符，printf（）默認(rèn)向stdout輸入數(shù)據(jù)，而stdout指向的是一個(gè)struct FILE類型的結(jié)構(gòu)體，該結(jié)構(gòu)體當(dāng)中有一個(gè)存儲(chǔ)文件描述符的變量，而stdout指向的FILE結(jié)構(gòu)體中存儲(chǔ)的文件描述符就是1，因此printf實(shí)際上就是向文件描述符為1的文件輸出數(shù)據(jù)。類似scanf()函數(shù)也是如此，stdin 指向的結(jié)構(gòu)體，該結(jié)構(gòu)體當(dāng)中有一個(gè)變量存儲(chǔ)文件描述符0；
2.上述重定向的代碼都是對(duì)標(biāo)準(zhǔn)輸出進(jìn)行重定向，如果想對(duì)stderr重定向，只需要close(2),然后打開重定向后的文件。
dup2
我們想要把輸出到顯示器，重定向到log.txt文件里，那么我們只需要把file * fd_array[3] 的內(nèi)容復(fù)制到file * fd_array[1]里即可；
操作系統(tǒng)給我們提供了dup2接口，我們可以使用它完成重定向。
int dup2(int oldfd, int newfd); **函數(shù)功能**： dup2會(huì)將fd_array[oldfd]的內(nèi)容拷貝到fd_array[newfd]當(dāng)中， 如果有必要的話我們需要先使用關(guān)閉文件描述符為newfd的文件。**函數(shù)返回值**： dup2如果調(diào)用成功，返回newfd，否則返回-1。使用dup2時(shí)，我們需要注意以下兩點(diǎn)：1、 如果oldfd不是有效的文件描述符，則dup2調(diào)用失敗， 并且此時(shí)文件描述符為newfd的文件沒(méi)有被關(guān)閉。2、如果oldfd是一個(gè)有效的文件描述符，但是newfd和oldfd具有相同的值， 則dup2不做任何操作，并返回newfd。 #include <stdio.h #include <unistd.h #include <sys/types.h #include <sys/stat.h #include <fcntl.h int main() {int fd = open("log.txt", O_WRONLY|O_APPEND|O_CREAT, 0666);if (fd < 0){perror("open failed");return 1;}close(1);dup2(fd,1);printf("hello dup2\n");fflush(stdout);close(fd);return 0; }上述代碼用途為輸出重定向，open打開文件log.txt返回fd指針，關(guān)閉fd 1(標(biāo)準(zhǔn)輸出)，把 fd_array[fd] 復(fù)制到fd_array[1]里；printf是C庫(kù)當(dāng)中的IO函數(shù)，一般往 stdout 中輸出，但是stdout底層訪問(wèn)文件的時(shí)候，找的還是fd:1, 但此時(shí)，fd:1
下標(biāo)所表示內(nèi)容，已經(jīng)變成了myfile的地址，不再是顯示器文件的地址，所以，輸出的任何消息都會(huì)往文件中寫入，進(jìn)而完成輸出重定向 。
dup系列詳解
linux 關(guān)閉打開的文件描述符,關(guān)閉它們后，如何重新打開stdout和stdin文件描述符？
詳解
FILE
上述我們知道了write，open，read這些都是系統(tǒng)接口，在C語(yǔ)言里fprintf，等函數(shù)對(duì)這些系統(tǒng)接口進(jìn)行封裝，其中在C語(yǔ)言上有stdout，stdin，stderr流，其實(shí)就是一個(gè)FILE*的指針，調(diào)用printf時(shí)其實(shí)就是向stdout指向的 struct _IO_FILE 這個(gè)結(jié)構(gòu)體里寫入，這個(gè)結(jié)構(gòu)體包含了fd，用戶級(jí)緩存區(qū)；printf把數(shù)據(jù)寫入到c緩沖區(qū)里，printf就完成任務(wù)了，然后C語(yǔ)言的緩存區(qū)按照刷新規(guī)則刷新到操作系統(tǒng)的緩沖區(qū)里這里的刷新也需要調(diào)用系統(tǒng)接口，也需要fd，然后再按照操作系統(tǒng)的刷新機(jī)制進(jìn)行對(duì)硬件的寫入；下面來(lái)詳細(xì)介紹
緩沖區(qū)的作用如果你了解可以不點(diǎn)進(jìn)來(lái)
- 因?yàn)镮O相關(guān)函數(shù)與系統(tǒng)調(diào)用接口對(duì)應(yīng)，并且?guī)旌瘮?shù)封裝系統(tǒng)調(diào)用，所以本質(zhì)上，訪問(wèn)文件都是通過(guò)fd訪問(wèn)的。
- 所以C庫(kù)當(dāng)中的FILE結(jié)構(gòu)體內(nèi)部，必定封裝了fd
FILE結(jié)構(gòu)體如下：
typedef struct _IO_FILE FILE;// 在/usr/include/stdio.hstruct _IO_FILE {int _flags; /* High-order word is _IO_MAGIC; rest is flags. */ #define _IO_file_flags _flags//緩沖區(qū)相關(guān)/* The following pointers correspond to the C++ streambuf protocol. *//* Note: Tk uses the _IO_read_ptr and _IO_read_end fields directly. */char* _IO_read_ptr; /* Current read pointer */char* _IO_read_end; /* End of get area. */char* _IO_read_base; /* Start of putback+get area. */char* _IO_write_base; /* Start of put area. */char* _IO_write_ptr; /* Current put pointer. */char* _IO_write_end; /* End of put area. */char* _IO_buf_base; /* Start of reserve area. */char* _IO_buf_end; /* End of reserve area. *//* The following fields are used to support backing up and undo. */char *_IO_save_base; /* Pointer to start of non-current get area. */char *_IO_backup_base; /* Pointer to first valid character of backup area */char *_IO_save_end; /* Pointer to end of non-current get area. */struct _IO_marker *_markers;struct _IO_FILE *_chain;int _fileno; //封裝的文件描述符 #if 0int _blksize; #elseint _flags2; #endif_IO_off_t _old_offset; /* This used to be _offset but it's too small. */#define __HAVE_COLUMN /* temporary *//* 1+column number of pbase(); 0 is unknown. */unsigned short _cur_column;signed char _vtable_offset;char _shortbuf[1];/* char* _save_gptr; char* _save_egptr; */_IO_lock_t *_lock; #ifdef _IO_USE_OLD_IO_FILE };我們看到的 int _fileno成員變量;就是封裝后的文件描述符fd；
首先來(lái)段代碼研究一下：
#include <stdio.h #include <string.h int main() {const char *msg0="hello printf\n";const char *msg1="hello fwrite\n";const char *msg2="hello write\n";printf("%s", msg0);fwrite(msg1, strlen(msg0), 1, stdout);write(1, msg2, strlen(msg2));fork();return 0; }運(yùn)行結(jié)果：
hello printf hello fwrite hello write
如果輸出重定向到一個(gè)文件時(shí)(./hellofile)：
文件內(nèi)容：
hello write hello printf hello fwrite hello printf hello fwrite
我們發(fā)現(xiàn) printf 和 fwrite （庫(kù)函數(shù)）都輸出了2次，而 write 只輸出了一次（系統(tǒng)調(diào)用）
一般C庫(kù)函數(shù)寫入文件時(shí)是全緩沖的，而寫入顯示器是行緩沖。
printf fwrite 庫(kù)函數(shù)會(huì)自帶緩沖區(qū)（進(jìn)度條例子就可以說(shuō)明），當(dāng)發(fā)生重定向到普通文件時(shí)，數(shù)據(jù)的緩沖方式由行緩沖變成了全緩沖。
而我們放在緩沖區(qū)中的數(shù)據(jù)，就不會(huì)被立即刷新，甚至fork之后
但是進(jìn)程退出之后，會(huì)統(tǒng)一刷新，寫入文件當(dāng)中。
但是fork的時(shí)候，父子數(shù)據(jù)會(huì)發(fā)生寫時(shí)拷貝，所以當(dāng)你父進(jìn)程準(zhǔn)備刷新的時(shí)候，子進(jìn)程也就有了同樣的一份數(shù)據(jù)，隨即產(chǎn)生兩份數(shù)據(jù)。
write 沒(méi)有變化，說(shuō)明沒(méi)有所謂的緩沖
c語(yǔ)言緩存區(qū)刷新機(jī)制：
? 行緩存按行刷新
? 全緩沖按滿了就刷新，或者進(jìn)程退出的時(shí)候，會(huì)刷新FILE內(nèi)部的數(shù)據(jù)到os緩沖區(qū)
該緩沖區(qū)由C語(yǔ)言提供，該緩沖區(qū)的位置在FILE結(jié)構(gòu)體中，也就是說(shuō)，這里的緩沖區(qū)是由C語(yǔ)言提供，在FILE結(jié)構(gòu)體當(dāng)中進(jìn)行維護(hù)的，FILE結(jié)構(gòu)體當(dāng)中不僅保存了對(duì)應(yīng)文件的文件描述符還保存了用戶緩沖區(qū)的相關(guān)信息。
在來(lái)看幾個(gè)例子：
a、沒(méi)有輸出重定向
int main() {const char *msg0="hello printf\n";const char *msg1="hello fwrite\n";const char *msg2="hello write\n";printf("%s", msg0);fwrite(msg1, strlen(msg0), 1, stdout);write(1, msg2, strlen(msg2));return 0; } // 向屏幕輸出 /* hello printf hello fwrite hello write */b、輸出重定向到 log.txt
int main() {int fd = open("log.txt", O_WRONLY|O_APPEND|O_CREAT, 0666);const char *msg0="hello printf\n";const char *msg1="hello fwrite\n";const char *msg2="hello write\n";close(1);dup2(fd,1);// 輸出重定向printf("%s", msg0);fwrite(msg1, strlen(msg0), 1, stdout);write(1, msg2, strlen(msg2));close(1);return 0; }運(yùn)行結(jié)果：
log.txt文件內(nèi)容：hello write
分析：
輸出重定向以后，輸入到顯示器的內(nèi)容都要輸出到log.txt里，首先printf fwrite會(huì)把內(nèi)容放到FILE的緩沖區(qū)里，輸出到硬盤文件按照滿刷新規(guī)則，在close(1)關(guān)閉以后，進(jìn)程退出做刷新緩沖區(qū)操作，這時(shí)候要向文件描述符1寫入，但是fd1已經(jīng)沒(méi)使用了，所以最后c語(yǔ)言的接口沒(méi)有輸出到log.txt文件里，write()為系統(tǒng)接口不會(huì)按照c規(guī)則刷新，也就是在close(1)關(guān)閉前已經(jīng)輸入到文件去了。
解決方法：
調(diào)用flush(stdout);
緩沖區(qū)相關(guān)的代碼：
補(bǔ)充：
操作系統(tǒng)也有緩存區(qū)
當(dāng)我們刷新用戶緩沖區(qū)(例如c語(yǔ)言緩沖區(qū))時(shí)，并不是立刻將數(shù)據(jù)刷新到磁盤或顯示器上，而是先將數(shù)據(jù)緩存到操作系統(tǒng)的緩存區(qū)里，然后操作系統(tǒng)的緩存區(qū)等待操作系統(tǒng)自制的刷新機(jī)制進(jìn)行刷新。這一方面我們沒(méi)必要過(guò)多的了解，只需知道操作系統(tǒng)也是有緩沖區(qū)的；
理解文件系統(tǒng)
內(nèi)存文件是如何管理的上述已經(jīng)介紹了，下面我們來(lái)理解一下文件系統(tǒng)是如何管理磁盤文件的。
磁盤的概念
把緩沖區(qū)數(shù)據(jù)刷新到磁盤實(shí)際就是os把數(shù)據(jù)寫入到盤片上
什么是磁盤？
磁盤是一種永久性存儲(chǔ)介質(zhì)，在計(jì)算機(jī)中，磁盤幾乎是唯一的機(jī)械設(shè)備。與磁盤相對(duì)應(yīng)的就是內(nèi)存，內(nèi)存是掉電易失存儲(chǔ)介質(zhì)，目前所有的普通文件都是在磁盤中存儲(chǔ)的。
盤片—扇區(qū): 盤片被分成許多扇形的區(qū)域
磁道：盤片以盤片中心為圓心，不同半徑的同心圓。
柱面：硬盤中，不同盤片相同半徑的磁道所組成的圓柱。
每個(gè)磁盤有兩個(gè)面，每個(gè)面都有一個(gè)磁頭。
磁盤查詢方案:
磁盤的讀寫時(shí)是如何查詢讀寫位置的？
盤面(磁頭)---- 磁道 ---- 扇區(qū)
注意：磁盤寫入的基本單位是：扇區(qū)------512字節(jié)
磁盤線性存儲(chǔ)
理解文件系統(tǒng)，我們必須將磁盤盤片想象成一個(gè)線性的存儲(chǔ)介質(zhì)，例如磁帶，當(dāng)磁道卷起來(lái)時(shí)就像磁盤一樣是圓形的。
站在os角度，我們認(rèn)為磁盤是線性結(jié)構(gòu)的。如圖：
LBA索引相當(dāng)于虛擬地址與物理內(nèi)存的關(guān)系，LBA是站在os角度認(rèn)識(shí)的，最后LBA要轉(zhuǎn)換成磁盤能讀懂，磁盤查詢步驟–確定盤面，柱面，扇區(qū)。
磁盤分區(qū)與格式化
磁盤分區(qū)
os系統(tǒng)為了更好的管理磁盤，與是就對(duì)磁盤進(jìn)行分區(qū)管理。
計(jì)算機(jī)為了更好的管理磁盤，于是對(duì)磁盤進(jìn)行了分區(qū)。磁盤分區(qū)就是使用分區(qū)編輯器在磁盤上劃分幾個(gè)邏輯部分，盤片一旦劃分成數(shù)個(gè)分區(qū)，不同的目錄與文件就可以存儲(chǔ)進(jìn)不同的分區(qū)，分區(qū)越多，就可以將文件的性質(zhì)區(qū)分得越細(xì)，按照更為細(xì)分的性質(zhì)，存儲(chǔ)在不同的地方以管理文件，例如在Windows下磁盤一般被分為C盤和D盤兩個(gè)區(qū)域。
在Linux操作系統(tǒng)中，我們也可以通過(guò)以下命令查看我們磁盤的分區(qū)信息：
磁盤格式化
什么是格式？
當(dāng)磁盤完成分區(qū)后，我們還需要對(duì)磁盤進(jìn)行格式化。格式化的本質(zhì)就寫入文件系統(tǒng)。寫入文件系統(tǒng)為“高級(jí)格式化”，相當(dāng)于建好了房屋，并且我可以通過(guò)房屋的建設(shè)圖紙去找到對(duì)應(yīng)的房間，對(duì)于磁盤，按照EXT的方式去初始化磁盤也就有了存儲(chǔ)結(jié)構(gòu)，操作系統(tǒng)按照EXT的方式去找到存儲(chǔ)位置來(lái)存儲(chǔ)數(shù)據(jù)。
其中，寫入的管理信息是什么是由文件系統(tǒng)決定的，不同的文件系統(tǒng)格式化時(shí)寫入的管理信息是不同的，常見的文件系統(tǒng)有EXT2、EXT3、XFS、NTFS等。
EXT2文件系統(tǒng)的存儲(chǔ)方案
上述了解磁盤的基本概念，主要目的是為了把磁盤想象成線性的結(jié)構(gòu)，為了更好的管理，我們給磁盤進(jìn)行分區(qū)細(xì)分化，然后再給每個(gè)分區(qū)格式化—配上管理系統(tǒng)。接下來(lái)我們要學(xué)習(xí) 一個(gè)沒(méi)有被打開的文件是如何是磁盤是存儲(chǔ)的。
os為了更好的管理磁盤，對(duì)磁盤進(jìn)行分區(qū)，如果os把一個(gè)分區(qū)管理好了，實(shí)際上其他分區(qū)也可以按照同樣的方法進(jìn)行管理。如果你想讓不同的分區(qū)按不同的文件系統(tǒng)進(jìn)行管理，是可以的，因?yàn)楝F(xiàn)在所有的操作系統(tǒng)都支持多文件系統(tǒng)。
而對(duì)于每一個(gè)分區(qū)，分區(qū)的頭部會(huì)有一個(gè)啟動(dòng)塊（Boot Block），對(duì)于其他區(qū)域，EXT2文件系統(tǒng)會(huì)根據(jù)系統(tǒng)分區(qū)的大小將其劃分為一個(gè)個(gè)的塊組（Block Group）。
其次，每個(gè)塊組都包含一個(gè)相同的結(jié)構(gòu)，這個(gè)結(jié)構(gòu)都由超級(jí)塊(Super Block)、塊組描述符表(Group Descriptor Table)、塊位圖(Block Bitmap)、inode位圖(inode Bitmap)、inode表(inode Table)以及數(shù)據(jù)表(Data Block)組成。
Super Block： 存放文件系統(tǒng)本身的結(jié)構(gòu)信息。記錄的信息主要有：Data Block和inode的總量、未使用的Data Block和inode的數(shù)量、一個(gè)Data Block和inode的大小、最近一次掛載的時(shí)間、最近一次寫入數(shù)據(jù)的時(shí)間、最近一次檢驗(yàn)磁盤的時(shí)間等其他文件系統(tǒng)的相關(guān)信息。Super Block的信息被破壞，可以說(shuō)整個(gè)文件系統(tǒng)結(jié)構(gòu)就被破壞了。
Group Descriptor Table： 塊組描述符表，描述該分區(qū)當(dāng)中塊組的屬性信息。
Block Bitmap： 塊位圖當(dāng)中記錄著Data Block中哪個(gè)數(shù)據(jù)塊已經(jīng)被占用，哪個(gè)數(shù)據(jù)塊沒(méi)有被占用。
inode Bitmap： inode位圖當(dāng)中記錄著每個(gè)inode是否空閑可用。
inode Table： 存放文件屬性，即每個(gè)文件的inode。
Data Blocks： 存放文件內(nèi)容。
注意：
其他塊組當(dāng)中可能會(huì)存在冗余的Super Block，當(dāng)某一Super Block被破壞后可以通過(guò)其他Super Block進(jìn)行恢復(fù)。
磁盤分區(qū)并格式化后，每個(gè)分區(qū)的inode個(gè)數(shù)就確定了。
重點(diǎn)學(xué)習(xí)后4個(gè)
初識(shí)文件inode
如果一個(gè)文件沒(méi)有被打開
文件=文件內(nèi)容+文件屬性；文件放在磁盤上
文件內(nèi)容就是文件當(dāng)中存儲(chǔ)的數(shù)據(jù)，文件屬性就是文件的一些基本信息，例如文件名，文件大小創(chuàng)建時(shí)間等信息都是文件屬性，文件屬性又稱為元信息。
我們使用ls -l的時(shí)候看到的除了看到文件名，還看到了文件元數(shù)據(jù) 。
每行包含7列 :
- 模式
- 硬鏈接數(shù)
- 文件所有者
- 組
- 大小
- 最后修改時(shí)間
- 文件名
ls -l讀取存儲(chǔ)在磁盤上的文件信息，然后顯示出來(lái)
在文件系統(tǒng)里，文件的元信息和內(nèi)容是分離的，保存元信息由一個(gè)inode的結(jié)構(gòu)保存，在文件系統(tǒng)里存在大量的inode結(jié)構(gòu)，所以我們需要給每個(gè)inode進(jìn)行編號(hào)，即inode 號(hào)。在文件系統(tǒng)里幾乎所有的文件都有一個(gè)唯一標(biāo)識(shí)的inode。
stat命令
其實(shí)這個(gè)信息除了通過(guò)這種方式來(lái)讀取，還有一個(gè)stat命令能夠看到更多信息
File: ‘a(chǎn)bc’Size: 9 Blocks: 8 IO Block: 4096 regular file Device: fd01h/64769d Inode: 787165 Links: 1 Access: (0664/-rw-rw-r--) Uid: ( 1003/ BBQ) Gid: ( 1003/ BBQ) Access: 2022-04-21 18:50:53.336108679 +0800 Modify: 2022-04-21 18:50:51.406039972 +0800 Change: 2022-04-21 18:50:51.409040079 +0800Birth: - 我們可以把inode看成一個(gè)結(jié)構(gòu)體，結(jié)構(gòu)體里大概存放了```cpp struct inode{//文件的所有屬性// 數(shù)據(jù) int inode_number;int blocks[32];//數(shù)據(jù)塊列表int ref ;// 硬鏈接數(shù)量 }如何理解位圖？
假設(shè)二進(jìn)制的位圖：0000 1010
從左往右比特位的位置含義： inode編號(hào)
比特位的內(nèi)容含義：特定inode“是否" 被占用
例如編號(hào)為1的位置為0，0代表沒(méi)有被占用；
注意：上面理解位圖，inode結(jié)構(gòu)，都是方便大家理解。
如何理解創(chuàng)建一個(gè)文件？
將屬性和數(shù)據(jù)分開存放的想法看起來(lái)很簡(jiǎn)單，但實(shí)際上是如何工作的呢？我們通過(guò)touch一個(gè)新文件來(lái)看看如何工作 。
touch abc ls -i abc為了說(shuō)明問(wèn)題，我們將指令輸出簡(jiǎn)化：
創(chuàng)建一個(gè)新文件主要有一下4個(gè)操作：
存儲(chǔ)屬性
內(nèi)核通過(guò)inode Bitmap先找到一個(gè)空閑的i節(jié)點(diǎn)（這里是263466）。內(nèi)核把文件信息記錄到其中。
存儲(chǔ)數(shù)據(jù)
該文件需要存儲(chǔ)在三個(gè)磁盤塊，內(nèi)核通過(guò)iBlock Bitmap找到了三個(gè)空閑塊：300,500，800。將內(nèi)核緩沖區(qū)的第一塊數(shù)據(jù)
復(fù)制到300，下一塊復(fù)制到500，以此類推。
記錄分配情況
文件內(nèi)容按順序300,500,800存放。內(nèi)核在inode上的磁盤分布區(qū)記錄了上述塊列表。
將該文件的文件名和新的inode編號(hào)添加到目錄文件的數(shù)據(jù)塊中，建立映射關(guān)系。
如何理解刪除一個(gè)文件？
? 1.將文件對(duì)應(yīng)的inode在inode位圖當(dāng)中置位無(wú)效。
? 2.數(shù)據(jù)塊也同樣如此，將該文件申請(qǐng)過(guò)的數(shù)據(jù)塊在Block Bitmap當(dāng)中置位無(wú)效。
所以，刪除一個(gè)文件，不是把文件的內(nèi)容刪掉。如果我們誤刪一個(gè)文件，是可以恢復(fù)的。如果進(jìn)行其他操作例如開辟一個(gè)文件，那么置為無(wú)效的文件可能被別人使用了，并修改了文件內(nèi)容。所以有可能不能恢復(fù)。
如何理解目錄？
理解硬鏈接
我們看到，真正找到磁盤上文件的并不是文件名，而是inode。 其實(shí)在linux中可以讓多個(gè)文件名對(duì)應(yīng)于同一個(gè)inode。
ln abc def- abc和def的鏈接狀態(tài)完全相同，他們被稱為指向文件的硬鏈接。內(nèi)核記錄了這個(gè)連接數(shù)，inode 263466 的硬連接數(shù)為2。
- 我們?cè)趧h除文件時(shí)干了兩件事情：1.在目錄中將對(duì)應(yīng)的記錄刪除，2.將硬連接數(shù)-1，如果為0，則將對(duì)應(yīng)的磁盤釋放。
硬鏈接本質(zhì)是根本就不是一個(gè)獨(dú)立的文件，而是一個(gè)文件名和inode編號(hào)的映射關(guān)系，因?yàn)樽约簺](méi)有獨(dú)立的inode。
創(chuàng)建硬鏈接，本質(zhì)是在特定的目錄下，填寫一對(duì)文件名和inode 的映射關(guān)系。
理解軟鏈接
硬鏈接是通過(guò)inode引用另外一個(gè)文件，軟鏈接是通過(guò)名字引用另外一個(gè)文件，在shell中的做法
ln -s abc abcs軟鏈接是有自己獨(dú)立的inode的！軟鏈接是一個(gè)獨(dú)立文件！！！有自己的inode屬性，也有自己的數(shù)據(jù)塊（保存的是指向文件的所在路徑+文件名）
A，C，M三個(gè)時(shí)間
下面解釋一下文件的三個(gè)時(shí)間 ：
Access：最后訪問(wèn)的時(shí)間 （較新的linux會(huì)在一定間隔的時(shí)間內(nèi)進(jìn)行更新，也就是說(shuō)Access時(shí)間不會(huì)被立即更新，原因該時(shí)間高頻被訪問(wèn)會(huì)影響性能）
Modify ：文件內(nèi)容最后修改時(shí)間
Change ： 屬性最后修改時(shí)間
注意：通常文件內(nèi)容被修改后，不僅Modify被修改了，Change也會(huì)被修改，例如文件屬性的大小被修改了。
touch filetouch 指令更新已存在文件的三個(gè)時(shí)間。
三個(gè)時(shí)間的應(yīng)用場(chǎng)景
makefile與gcc會(huì)根據(jù)時(shí)間問(wèn)題，來(lái)判定源文件和可執(zhí)行程序誰(shuí)更新，從而指導(dǎo)系統(tǒng)那些源文件需要被重寫編譯。
總結(jié)
以上是生活随笔為你收集整理的Linux 基础IO的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇： JPA视频集合
- 下一篇： linux中目录的意思