|
|
<
1、常规文件操纵
- 常规文件操纵（read/write）有以下主要步伐：
- 内乱核经由过程查找过程文件符表，定位到内乱核已翻开文件散上的文件疑息，从而找到此文件的 inode；
- inode 正在 address_space 上查找要恳求的文件页能否曾经缓存正在内乱核页下速缓冲中。假如存正在，则间接返回那片文件页的内乱容；
- 假如没有存正在，则经由过程 inode 定位到文件磁盘地点，将数据从磁盘复造到内乱核页下速缓冲，以后再次倡议读页里历程，进而将内乱核页下速缓冲中的数据收给用户过程。
- 常规文件操纵为了进步读写服从战保护磁盘，利用了页缓存机造。因为页缓存处正在内乱核空间，不克不及被用户过程间接觅址，以是需求将页缓存中数据页再次拷贝到内乱存对应的用户空间中；
- read/write 是体系挪用很耗时，以下图，它起首将文件内乱容从硬盘拷贝到内乱核空间的一个缓冲区，然后再将那些数据拷贝到用户空间，实践上完成了两次数据拷贝；
- 假如两个过程皆对磁盘中的一个文件内乱容停止会见，那末那个内乱容正在物理内乱存中有三份：过程 A 的地点空间 + 过程 B 的地点空间 + 内乱核页下速缓冲空间；
- 写操纵也是一样，待写进的 buffer 正在内乱核空间不克不及间接会见，必需要先拷贝至内乱核空间对应的主存，再写回磁盘中（提早写回），也是需求两次数据拷贝。
2、mmap 内乱存映照
① mmap 简介
- mmap 是一种内乱存映照文件的办法，行将一个文件大概别的工具映照到过程的地点空间，完成文件磁盘地点战过程假造地点空间中一段假造地点的逐个对映干系。完成如许的映照干系后，过程就能够采纳指针的方法读写操纵那一段内乱存，而体系会主动回写净页里到对应的文件磁盘上，即完成了对文件的操纵而没必要再挪用 read、write 等体系挪用函数。相反，内乱核空间对那段地区的修正也间接反应用户空间，从而能够完成差别过程间的文件同享。以下图所示：
- 由上图能够看出，过程的假造地点空间，由多个假造内乱存地区组成。假造内乱存地区是过程的假造地点空间中的一个同量区间，即具有一样特征的持续地点范畴。上图中所示的text数据段（代码段）、初初数据段、BSS 数据段、堆、栈战内乱存映照，皆是一个自力的假造内乱存地区。而为内乱存映照效劳的地点空间处正在仓库之间的空余部门。
- 正在一样平常开辟中偶然会碰到 mmap，它最经常使用到的场景是 MMKV，其次用到的是日记挨印。
- 过程是 App 运转的根本单元，过程之间相对自力。iOS 体系中 App 运转的内乱存空间地点是假造空间地点，存储数据是正在各自的沙盒。当正在 App 中来读写沙盒中的文件时，会利用 NSFileManager 来查找文件，然后可使用 NSData 来减载两进造数据。文件操纵的更底层完成历程，是利用 linux 的 read()、write() 函数间接操纵文件句柄（也叫文件形貌符 fd）。
- 正在操纵体系层里，当 App 读与一个文件时，实践是有两步：
- 从体系空间拷贝到用户空间（能够以为是复造到体系给 App 同一分派的内乱存）。
- iOS 体系利用页缓存机造，经由过程 MMU（Memory Management Unit）将假造内乱存地点战物理地点停止映照，而且因为过程的地点空间战体系的地点空间纷歧样，以是借需求多一次拷贝。
- 而 mmap 将磁盘上文件的地点疑息取过程用的假造逻辑地点停止映照，成立映照的历程取一般的内乱存读与差别：一般的是将文件拷贝到内乱存，mmap 只是成立映照而没有会将文件减载到内乱存中。
- 正在内乱存映照的过程当中，并出有实践的数据拷贝，文件出有被载进内乱存，只是逻辑上被放进了内乱存，详细到代码，便是成立并初初化了相干的数据构造（struct address_space），那个历程由体系挪用 mmap() 完成，以是成立内乱存映照的服从很下。
- 既然成立内乱存映照出有停止实践的数据拷贝，那末过程又怎样能终极间接经由过程内乱存操纵会见到硬盘上的文件呢？那便要看内乱存映照以后的几个相干的历程。
- mmap() 会返回一个指针 ptr，它指背过程逻辑地点空间中的一个地点，如许当前，过程无需再挪用 read 或 write 对文件停止读写，而只需求经由过程 ptr 就可以够操纵文件。可是 ptr 所指背的是一个逻辑地点，要操纵此中的数据，必需经由过程 MMU 将逻辑地点转换成物理地点，如上图中历程 2 所示。那个历程取内乱存映照无闭。
- 前里道讲，成立内乱存映照并出有实践拷贝数据，这时候，MMU 正在地点映照表中是没法找到取 ptr 相对应的物理地点的，也便是 MMU 失利，将发生一个缺页中止，缺页中止的中止呼应函数会正在 swap 中寻觅相对应的页里，假如找没有到（也便是该文件历来出有被读进内乱存的状况），则会经由过程 mmap() 成立的映照干系，从硬盘大将文件读与到物理内乱存中，如上图中历程 3 所示。那个历程取内乱存映照无闭。
- 假如正在拷贝数据时，发明物理内乱存不敷用，则会经由过程假造内乱存机造（swap）将临时不消的物理页里交流到硬盘上，如图1中历程4所示。那个历程也取内乱存映照无闭。
- mmap 内乱存映照的完成历程，总的来讲能够分为三个阶段：
- 过程启动映照历程，并正在假造地点空间中为映照创立假造映照地区；
- 挪用内乱核空间的体系挪用函数 mmap（差别于用户空间函数），完成文件物理地点战过程假造地点的逐个映照干系；
- 过程倡议对那片映照空间的会见，激发缺页非常，完成文件内乱容到物理内乱存（主存）的拷贝。
② 合用场景
- 有一个很年夜的文件，由于映照有分外的机能耗损，以是合用于频仍读操纵的场景；（单次利用的场景没有倡议利用）。
- 有一个小文件，它的内乱容您念要立即读进内乱存并常常会见。这类手艺最合适那些巨细没有超越几个假造内乱存页的文件（页是地点空间的最小单元，假造页战物理页的巨细是一样的，凡是为 4KB）。
- 需求正在内乱存中缓存文件的特定部门。文件映照消弭了缓存数据的需求，那使得体系磁盘缓存中的其他数据空间更年夜。
- 当随机会见一个十分年夜的文件时，凡是最好只映照文件的一小部门。映照年夜文件的成绩是文件会耗损举动内乱存。假如文件充足年夜，体系能够会被迫将其他部门的内乱存分页以减载文件。将多个文件映照到内乱存中会使那个成绩愈加庞大。
③ 没有合适的场景
- 期望从开端到结束的挨次从头到尾读与一个文件；
- 文件有几百兆字节大概更年夜，将年夜文件映照到内乱存中会快速天添补内乱存，并能够招致分页，那将抵消起首映照文件的长处。关于年夜型挨次读与操纵，禁用磁盘缓存并将文件读进一个小内乱存缓冲区；
- 该文件年夜于可用的持续假造内乱存地点空间。关于 64 位使用法式来讲，那没有是甚么成绩，可是关于 32 位使用法式来讲，那是一个成绩。32 位假造内乱存最年夜是 4GB，能够只映照部门；
- 由于每次操纵内乱存会同步到磁盘，以是没有合用于挪动磁盘大概收集磁盘上的文件；
- 变少文件没有合用。
④ mmap 内乱存映照道理
- 过程启动映照历程，并正在假造地点空间中为映照创立假造映照地区：
- 过程正在用户空间挪用库函数 mmap，本型：void *mmap(void *start, size_t length, int prot, int flags, int fd, off_t offset);
- 正在当前过程的假造地点空间中，寻觅一段闲暇的满意请求的持续的假造地点；
- 为此假造辨别配一个 vm_area_struct 构造，接着对那个构造的各个域停止了初初化；
- 将新建的假造区构造（vm_area_struct）插进过程的假造地点地区链表或树中。
- 挪用内乱核空间的体系挪用函数 mmap（差别于用户空间函数），完成文件物理地点战过程假造地点的逐个映照干系：
- 为映照分派了新的假造地点地区后，经由过程待映照的文件指针，正在文件形貌符表中找到对应的文件形貌符，经由过程文件形貌符，链接到内乱核“已翻开文件散”中该文件的文件构造体（struct file），每一个文件构造体保护着战那个已翻开文件相干各项疑息；
- 经由过程该文件的文件构造体，链接到 file_operations 模块，挪用内乱核函数 mmap，其本型为：int mmap(struct file *filp, struct vm_area_struct *vma)，差别于用户空间库函数；
- 内乱核 mmap 函数经由过程假造文件体系 inode 模块定位到文件磁盘物理地点；
- 经由过程 remap_pfn_range 函数成立页表，即完成了文件地点战假造地点地区的映照干系。此时，那片假造地点并出有任何数据联系关系到主存中。
- 过程倡议对那片映照空间的会见，激发缺页非常，完成文件内乱容到物理内乱存（主存）的拷贝
- 过程的读或写操纵会见假造地点空间那一段映照地点，经由过程查询页表，发明那一段地点其实不正在物理页里上。由于今朝只成立了地点映照，真实的硬盘数据借出有拷贝到内乱存中，因而激发缺页非常。
- 缺页非常停止一系列判定，肯定不过法操纵后，内乱核倡议恳求调页历程。
- 调页历程先正在交流缓存空间（swap cache）中寻觅需求会见的内乱存页，假如出有则挪用 nopage 函数把所缺的页从磁盘拆进到主存中。
- 以后过程便可对那片主存停止读大概写的操纵，假如写操纵改动了其内乱容，必然工夫后体系会主动回写净页里到对应磁盘地点，也即完成了写进到文件的历程。
- 前两个阶段仅正在于创立假造区间并完成地点映照，可是并未将任何文件数据的拷贝至主存。真实的文件读与是当过程倡议读或写操纵时。
- 修正过的净页里其实不会立即更新回文件中，而是有一段工夫的提早，能够挪用 msync() 去强迫同步, 如许所写的内乱容就可以立即保存到文件里。
⑤ mmap 相干函数
- void *mmap(void *start, size_t length, int prot, int flags, int fd, off_t offset);
- 返回阐明：
- 失利时，mmap() 返回 MAP_FAILED [其值为 (void *)-1]， error 被设为以下的某个值：
- 1 EACCES：会见堕落
- 2 EAGAIN：文件已被锁定，大概太多的内乱存已被锁定
- 3 EBADF：fd没有是有用的文件形貌词
- 4 EINVAL：一个大概多个参数无效
- 5 ENFILE：已到达体系对翻开文件的限定
- 6 ENODEV：指定文件地点的文件体系没有撑持内乱存映照
- 7 ENOMEM：内乱存不敷，大概历程已超越最年夜内乱存映照数目
- 8 EPERM：权能不敷，操纵没有许可
- 9 ETXTBSY：已写的方法翻开文件，同时指定MAP_DENYWRITE标记
- 10 SIGSEGV：试着背只读区写进
- 11 SIGBUS：试着会见没有属于历程的内乱存区
- 参数
- prot：希冀的内乱存保护标识表记标帜，不克不及取文件的翻开形式抵触，是以下的某个值，能够经由过程 or 运算公道天组开正在一同；
- 1 PROT_EXEC ：页内乱容能够被施行
- 2 PROT_READ ：页内乱容能够被读与
- 3 PROT_WRITE ：页能够被写进
- 4 PROT_NONE ：页不成会见
- flags：指定映照工具的范例，映照选项战映照页能否能够同享，它的值能够是一个大概多个以下位的组开体；
- 1 MAP_FIXED //利用指定的映照肇端地点，假如由start战len参数指定的内乱存区堆叠于现存的映照空间，堆叠部门将会被抛弃。假如指定的肇端地点不成用，操纵将会失利。而且肇端地点必需降正在页的鸿沟上。
- 2 MAP_SHARED //取别的一切映照那个工具的历程同享映照空间。对同享区的写进，相称于输出到文件。曲到msync()大概munmap()被挪用，文件实践上没有会被更新。
- 3 MAP_PRIVATE //成立一个写进时拷贝的公有映照。内乱存地区的写进没有会影响到本文件。那个标记战以上标记是互斥的，只能利用此中一个。
- 4 MAP_DENYWRITE //那个标记被疏忽。
- 5 MAP_EXECUTABLE //同上
- 6 MAP_NORESERVE //没有要为那个映照保存交流空间。当交流空间被保存，对映照区修正的能够会获得包管。当交流空间没有被保存，同时内乱存不敷，对映照区的修正会惹起段背例旌旗灯号。
- 7 MAP_LOCKED //锁定映照区的页里，从而避免页里被交流出内乱存。
- 8 MAP_GROWSDOWN //用于仓库，报告内乱核VM体系，映照区能够背下扩大。
- 9 MAP_ANONYMOUS //藏名映照，映照区没有取任何文件联系关系。
- 10 MAP_ANON //MAP_ANONYMOUS的别称，没有再被利用。
- 11 MAP_FILE //兼容标记，被疏忽。
- 12 MAP_32BIT //将映照区放正在历程地点空间的低2GB，MAP_FIXED指按时会被疏忽。当前那个标记只正在x86-64仄台上获得撑持。
- 13 MAP_POPULATE //为文件映照经由过程预读的方法筹办好页表。随后对映照区的会见没有会被页背例壅闭。
- 14 MAP_NONBLOCK //仅战MAP_POPULATE一同利用时才故意义。没有施行预读，只为已存正在于内乱存中的页里成立页表进口。
- fd：有用的文件形貌词，假如 MAP_ANONYMOUS 被设定，为了兼容成绩，其值应为-1；
- 相干函数：
- int munmap(void * addr, size_t len)
- 胜利施行时，munmap() 返回0；失利时，munmap 返回 -1，error 返回标识表记标帜战 mmap 分歧；该挪用正在过程地点空间中消除一个映照干系，addr 是挪用 mmap() 时返回的地点，len 是映照区的巨细；当映照干系消除后，对本来映照地点的会见将招致段毛病发作。
- int msync(void *addr, size_t len, int flags)
- 普通道去，过程正在映照空间的对同享内乱容的改动其实不间接写回到磁盘文件中，常常正在挪用 munmap() 后才施行该操纵。能够经由过程挪用 msync() 完成磁盘上文件内乱容取同享内乱存区的内乱容分歧。
- 当映照干系消除后，对本来映照地点的会见将招致段毛病发作。
⑥ mmap 利用细节
- 利用 mmap 需求留意的一个枢纽面是，mmap 映照地区巨细必需是物理页巨细（page_size）的整倍数（32 位体系中凡是是 4k 字节）。那是由于内乱存的最小粒度是页，而过程假造地点空间战内乱存的映照也是以页为单元，为了婚配内乱存的操纵，mmap 从磁盘到假造地点空间的映照也必需是页。
- 内乱核能够跟踪被内乱存映照的底层工具（文件）的巨细，过程能够正当的会见正在当前文件巨细之内又正在内乱存映照区之内的那些字节。也便是道，假如文件的巨细不断正在扩大，只需正在映照地区范畴内乱的数据，过程皆能够正当获得，那战映照成立时文件的巨细无闭。
- 映照成立以后，即使文件封闭，映照仍然存正在。由于映照的是磁盘的地点，没有是文件自己，战文件句柄无闭，同时可用于过程间通讯的有用地点空间没有完整受限于被映照文件的巨细，由于是按页映照。
⑦ 映照地区巨细假如没有是物理页的整倍数的详细状况阐发
- 情况一：一个文件的巨细是 5000 字节，mmap 函数从一个文件的肇端地位开端，映照 5000 字节到假造内乱存中。
- 阐发：由于单元物理页里的巨细是 4096 字节，固然被映照的文件只要 5000 字节，可是对应到过程假造地点地区的巨细需求满意整页巨细，因而 mmap 函数施行后，实践映照到假造内乱存地区 8192 个字节，5000~8191 的字节部门用整添补，映照后的对应干系以下图所示：
- 读/写前 5000 个字节（0~4999），会返回操纵文件内乱容；
- 读字节 5000 ~ 8191 时，成果齐为 0， 写 5000 ~ 8191 时，过程没有会报错，可是所写的内乱容没有会写进本文件中 ；
- 读/写 8192 之外的磁盘部门，会返回一个 SIGSECV 毛病。
- 情况两：一个文件的巨细是 5000 字节，mmap 函数从一个文件的肇端地位开端，映照 15000 字节到假造内乱存中，即映照巨细超越了本初文件的巨细。
- 阐发：因为文件的巨细是 5000 字节，战情况逐个样，其对应的两个物理页。那末那两个物理页皆是正当能够读写的，只是超越 5000 的部门没有会表现正在本文件中。因为法式请求映照 15000 字节，而文件只占两个物理页，因而 8192 字节~15000 字节皆不克不及读写，操纵时会返回非常。以下图所示：
- 过程能够一般读/写被映照的前 5000 字节(0~4999)，写操纵的窜改会正在必然工夫后反应正在本文件中；
- 关于 5000~8191 字节，过程能够停止读写历程，没有会报错，可是内乱容正在写进前均为 0，别的，写进后没有会反应正在文件中；
- 关于 8192~14999 字节，过程不克不及对其停止读写，会报 SIGBUS 毛病；
- 关于 15000 之外的字节，过程不克不及对其读写，会激发 SIGSEGV 毛病。
- 情况三：一个文件初初巨细为 0，利用 mmap 操纵映照了 1000*4K 的巨细，即 1000 个物理页约莫 4M 字节空间，mmap 返回指针 ptr。
- 阐发：假如正在映照成立之初，便对文件停止读写操纵，因为文件巨细为 0，并出有正当的物理页对应，好像情况两一样，会返回 SIGBUS 毛病。
- 可是假如，每次操纵 ptr 读写前，先增长文件的巨细，那末 ptr 正在文件巨细内乱部的操纵便是正当的。比方，文件扩大 4096 字节，ptr 就可以操纵 ptr ~ [ (char)ptr + 4095] 的空间。只需文件扩大的范畴正在 1000 个物理页（映照范畴）内乱，ptr 皆能够对应操纵不异的巨细。
- 如许，便利随时扩大文件空间，随时写进文件，没有形成空间华侈。
3、iOS 中的 mmap
- 以民圆的demo为例，别的的代码很简明间接，中心便正在于 mmap 函数：
- /**
- * @param start 映照开端地点，设置 NULL 则让体系决议映照开端地点
- * @param length 映照地区的少度，单元是 Byte
- * @param prot 映照内乱存的庇护标记，次要是读写相干，是位运算标记；（记得取上面fd对应句柄翻开的设置分歧）
- * @param flags 映照范例，凡是是文件战同享范例
- * @param fd 文件句柄
- * @param off_toffset 被映照工具的出发点偏偏移
- */
- void* mmap(void* start,size_t length,int prot,int flags,int fd,off_t offset);
-
- *outDataPtr = mmap(NULL,
- size,
- PROT_READ|PROT_WRITE,
- MAP_FILE|MAP_SHARED,
- fileDescriptor,
- 0);
- #import "ViewController.h"
- #import <sys/mman.h>
- #import <sys/stat.h>
-
- int MapFile(const char * inPathName, void ** outDataPtr, size_t * outDataLength, size_t appendSize) {
- int outError;
- int fileDescriptor;
- struct stat statInfo;
-
- // Return safe values on error.
- outError = 0;
- *outDataPtr = NULL;
- *outDataLength = 0;
-
- // Open the file.
- fileDescriptor = open( inPathName, O_RDWR, 0 );
- if(fileDescriptor < 0) {
- outError = errno;
- } else {
- // We now know the file exists. Retrieve the file size.
- if( fstat( fileDescriptor, &statInfo ) != 0 ) {
- outError = errno;
- } else {
- ftruncate(fileDescriptor, statInfo.st_size + appendSize);
- fsync(fileDescriptor);
- *outDataPtr = mmap(NULL,
- statInfo.st_size + appendSize,
- PROT_READ|PROT_WRITE,
- MAP_FILE|MAP_SHARED,
- fileDescriptor,
- 0);
- if( *outDataPtr == MAP_FAILED ) {
- outError = errno;
- } else {
- // On success, return the size of the mapped file.
- *outDataLength = statInfo.st_size;
- }
- }
-
- // Now close the file. The kernel doesn’t use our file descriptor.
- close( fileDescriptor );
- }
-
- return outError;
- }
-
-
- void ProcessFile(const char * inPathName) {
- size_t dataLength;
- void * dataPtr;
- char *appendStr = " append_key";
- int appendSize = (int)strlen(appendStr);
- if( MapFile(inPathName, &dataPtr, &dataLength, appendSize) == 0) {
- dataPtr = dataPtr + dataLength;
- memcpy(dataPtr, appendStr, appendSize);
- // Unmap files
- munmap(dataPtr, appendSize + dataLength);
- }
- }
-
- @interface ViewController ()
-
- @end
-
- @implementation ViewController
-
- - (void)viewDidLoad {
- [super viewDidLoad];
-
- NSString * path = [NSHomeDirectory() stringByAppendingPathComponent:@"test.data"];
- NSLog(@"path: %@", path);
- NSString *str = @"test str";
- [str writeToFile:path atomically:YES encoding:NSUTF8StringEncoding error:nil];
-
- ProcessFile(path.UTF8String);
- NSString *result = [NSString stringWithContentsOfFile:path encoding:NSUTF8StringEncoding error:nil];
- NSLog(@"result:%@", result);
- }
- message KV {
- string key = 1 ;
- buffer value = 2;
- }
- - (B00L)setInt32:(int32 t)value forKey:(NSString*)key {
- auto data = PBEncode(value);
- return [self setData:data forKey:key];
- }
- - (BO0L)setData: (NSData*)data forKey:(NSString*)key {
- auto kv = KV[key,data];
- auto buf = PBEncode(kv);
- return [self write: buf];
- }
|
1、本网站属于个人的非赢利性网站，转载的文章遵循原作者的版权声明，如果原文没有版权声明，按照目前互联网开放的原则，我们将在不通知作者的情况下，转载文章;如果原文明确注明“禁止转载”，我们一定不会转载。如果我们转载的文章不符合作者的版权声明或者作者不想让我们转载您的文章的话，请您发送邮箱：Cdnjson@163.com提供相关证明，我们将积极配合您！
2、本网站转载文章仅为传播更多信息之目的，凡在本网站出现的信息，均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性，但不保证信息的正确性和完整性，且不对因信息的不正确或遗漏导致的任何损失或损害承担责任。
3、任何透过本网站网页而链接及得到的资讯、产品及服务，本网站概不负责，亦不负任何法律责任。
4、本网站所刊发、转载的文章，其版权均归原作者所有，如其他媒体、网站或个人从本网下载使用，请在转载有关文章时务必尊重该文章的著作权，保留本网注明的“稿件来源”，并自负版权等法律责任。
|
代码
1233 人阅读
|
0 人回复
