立即登录 免费注册

学习openGuass的第二天

代码 代码 1229 人阅读 | 0 人回复

<
本篇接着从代码规划第三圆里的内乱容——存储引擎，和openGauss的代价特征圆里睁开引见。
（三）存储引擎
openGauss存储引擎是可插拔、自组拆的，撑持多个存储引擎去满意差别场景的营业诉供，今朝撑持止存储引擎、列存储引擎战内乱存引擎。
晚期计较机法式经由过程文件体系办理数据，到了20世纪60年月这类方法便开端不克不及满意数据办理请求了，用户逐步对数据并收写进的完好性、下效检索提出更下的请求。因为机器磁盘的随机读写机能成绩，从20世纪80年月开端，年夜大都数据库不断正在环绕着削减随机读写磁盘停止设想。次要思绪是把对数据页里的随机写盘转化为对WAL（Write Ahead Log，预写式日记）日记的挨次写盘，WAL日记耐久化完成，事件便算提交胜利，数据页里同步刷盘。可是跟着内乱存容质变年夜、保电内乱存、非易得性内乱存的开展，和SSD手艺逐步的成生，IO机能极年夜进步，经验了几十年开展的存储引擎需求调解架构去阐扬SSD的机能战充实操纵年夜内乱存计较的劣势。跟着互联网、挪动互联网的开展，数据量剧删，营业场景多样化，一套牢固稳定的存储引擎不成能满意一切使用场景的诉供。因而如今的DBMS需求设想撑持多种存储引擎，按照营业场景去挑选适宜的存储模子。
1. 数据库存储引擎要处理的成绩

  • 存储的数据必需要包管ACID：本子性、分歧性、断绝性、耐久性。
  • 下并收读写，下机能。
  • 数据下效存储战检索才能。

    • openGauss存储引擎概述 openGauss全部体系设想撑持多个存储引擎去满意差别场景的营业诉供。当前openGauss存储引擎有以下3种：

  • 止存储引擎。次要里背OLTP（Online Transaction Processing，正在线买卖处理）场景设想，比方定货收货，银止买卖体系。
  • 列存储引擎。次要里背OLAP（Online Analytical Processing，联机阐发处理）场景设想，比方数据统计报表阐发。
  • 内乱存引擎。次要里背极致机能场景设想，比方银止风控场景。 创立表的时分能够指定止存储引擎、列存引擎的表、内乱存引擎的表，撑持一个事件里包含对3种引擎表的DML（Data Manipulation Language，数据操纵言语）操纵，能够包管事件ACID性子。
1） storage源码构造
storage源码目次为：/src/gausskernel/storage。
214829zkbz120k9iut920z.png


2） storage支流程
storage支流程代码以下。
  1. /* smgr/smgr.cpp, 存储办理 */
  2. ...
  3. /* 文件办理函数列表，包罗磁盘初初化、开闭、同步等操纵函数 */
  4. static const f_smgr g_smgrsw[] = {   
  5. /* 磁盘*/   
  6. {mdinit,
  7.         NULL,
  8.        mdclose,
  9.        mdcreate,
  10.        mdexists,
  11.        mdunlink,
  12.        mdextend,
  13.        mdprefetch,
  14.        mdread,
  15.        mdwrite,
  16.        mdwriteback,
  17.        mdnblocks,
  18.        mdtruncate,  
  19.        mdimmedsync,
  20.        mdpreckpt,  
  21.        mdsync,
  22.        mdpostckpt,
  23.        mdasyncread,
  24.        mdasyncwrite}};
  25. /*
  26. *  存储办理初初化 *
  27. * 当效劳器后端启动时挪用 */
  28. * void smgrinit(void)
  29. * {    int i;
  30. * /* 初初化一切存储相干办理器 */   
  31. * for (i = 0; i < SMGRSW_LENGTH; i++) {
  32. if (g_smgrsw[i].smgr_init) {            (*(g_smgrsw[i].smgr_init))();        }    }   
  33.   /* 注销存储办理停止法式 */  
  34.     if (!IS_THREAD_POOL_SESSION) {        
  35.     on_proc_exit(smgrshutdown, 0);   
  36.      }}/*
  37.      * 当后端效劳封闭时，施行存储办理封闭代码 */
  38.      * static void smgrshutdown(int code, Datum arg){    int i;
  39.      * /* 封闭一切存储联系关系效劳 */
  40.      *     for (i = 0; i < SMGRSW_LENGTH; i++) {
  41.       if (g_smgrsw[i].smgr_shutdown) {  
  42.      (*(g_smgrsw[i].smgr_shutdown))();
  43.      }
  44.       }
  45.       }
复造代码
3. 止存储引擎
openGauss的止存储引擎设想上撑持MVCC（Multi-Version Concurrency Control，多版本并收掌握），接纳集合式渣滓版本收受接管机造，能够供给OLTP营业体系的下并收读写请求。撑持存储计较别离架构，存储层同步回放日记。
214830wjqxmq1eedq15edq.png


止存储引擎的枢纽手艺有：
4. 列存储引擎
传统止存储数据紧缩率低，必需按止读与，即便读与一列也必需读与整止。openGauss创立表的时分，能够指定止存储依旧列存储。列存储表也撑持DML操纵，也撑持MVCC。
214830p8ad93d8f7af733b.png


列存储引擎有以下劣势：
1. 列的数据特性比力类似，合适紧缩，紧缩比很下。
2. 当表列的个数比力多，可是会见的列个数比力少时，列存能够按需读与列数据，年夜年夜削减没必要要的读IO，进步查询机能。
3. 基于列批量数据Vector（背量）的运算，CPU的cache掷中率比力下，机能比力好。列存储引擎更合适OLAP年夜数据统计阐发的场景。
1） 列存储源码构造
列存储源码目次为：/src/gausskernel/storage/cstore。
214830g8k53ruq8rj2k8or.png


2） 列存储次要API
列存储次要API代码以下。
  1. /* buffer/bufmgr.cpp, 根底止存储办理 */
  2. ...
  3. /* 查找或创立一个缓冲区 */
  4. Buffer ReadBufferExtended(
  5. Relation reln, ForkNumber fork_num, BlockNumber block_num, ReadBufferMode mode, BufferAccessStrategy strategy)
  6. {
  7. bool hit = false;
  8. Buffer buf;
  10. if (block_num == P_NEW) {
  11.      STORAGE_SPACE_OPERATION(reln, BLCKSZ);
  12. }
  14. /* 以smgr(存储办理器)级别翻开一个缓冲区 */
  15. RelationOpenSmgr(reln);
  17. /* 回绝读与非部分暂时干系的恳求，由于能够会得到监控没有到的毛病数据 */
  18. if (RELATION_IS_OTHER_TEMP(reln) && fork_num <= INIT_FORKNUM)
  19.      ereport(ERROR,
  20.          (errcode(ERRCODE_FEATURE_NOT_SUPPORTED), errmsg("cannot access temporary tables of other sessions")));
  22. /* 读与缓冲区，更新pgstat 数目反应cache 掷中取可状况 */
  23. pgstat_count_buffer_read(reln);
  24. pgstatCountBlocksFetched4SessionLevel();
  25. buf = ReadBuffer_common(reln->rd_smgr, reln->rd_rel->relpersistence, fork_num, block_num, mode, strategy, &hit);
  26. if (hit) {
  27.      pgstat_count_buffer_hit(reln);
  28. }
  29. return buf;
  30. }
  31. /* 开释一个缓冲区 */
  32. void ReleaseBuffer(Buffer buffer)
  33. {
  34. BufferDesc* buf_desc = NULL;
  35. PrivateRefCountEntry* ref = NULL;
  36. /* 毛病开释处置 */
  37. if (!BufferIsValid(buffer)) {
  38.      ereport(ERROR, (errcode(ERRCODE_INVALID_BUFFER), (errmsg("bad buffer ID: %d", buffer))));
  39. }
  41. ResourceOwnerForgetBuffer(t_thrd.utils_cxt.CurrentResourceOwner, buffer);
  43. if (BufferIsLocal(buffer)) {
  44.      Assert(u_sess->storage_cxt.LocalRefCount[-buffer - 1] > 0);
  45.      u_sess->storage_cxt.LocalRefCount[-buffer - 1]--;
  46.      return;
  47. }
  48. /* 开释当前缓冲区 */
  49. buf_desc = GetBufferDescriptor(buffer - 1);
  51. PrivateRefCountEntry *free_entry = NULL;
  52. ref = GetPrivateRefCountEntryFast(buffer, free_entry);
  53. if (ref == NULL) {
  54.      ref = GetPrivateRefCountEntrySlow(buffer, false, false, free_entry);}
  55. Assert(ref != NULL);
  56. Assert(ref->refcount > 0);
  58. if (ref->refcount > 1) {
  59.      ref->refcount--;
  60. } else {
  61.      UnpinBuffer(buf_desc, false);
  62. }
  63. }
  64. /* 标识表记标帜写净缓冲区 */
  65. void MarkBufferDirty(Buffer buffer)
  66. {
  67. BufferDesc* buf_desc = NULL;
  68. uint32 buf_state;
  69. uint32 old_buf_state;
  71. if (!BufferIsValid(buffer)) {
  72.      ereport(ERROR, (errcode(ERRCODE_INVALID_BUFFER), (errmsg("bad buffer ID: %d", buffer))));}
  74. if (BufferIsLocal(buffer)) {
  75.      MarkLocalBufferDirty(buffer);
  76.      return;
  77. }
  79. buf_desc = GetBufferDescriptor(buffer - 1);
  81. Assert(BufferIsPinned(buffer));
  82. Assert(LWLockHeldByMe(buf_desc->content_lock));
  84. old_buf_state = LockBufHdr(buf_desc);
  86. buf_state = old_buf_state | (BM_DIRTY | BM_JUST_DIRTIED);
  88. /* 将已进队的净页进队 */
  89. if (g_instance.attr.attr_storage.enableIncrementalCheckpoint) {
  90.      for (;;) {
  91.          buf_state = old_buf_state | (BM_DIRTY | BM_JUST_DIRTIED);
  92.          if (!XLogRecPtrIsInvalid(pg_atomic_read_u64(&buf_desc->rec_lsn))) {
  93.              break;
  94.          }
  96.          if (!is_dirty_page_queue_full(buf_desc) && push_pending_flush_queue(buffer)) {
  97.              break;
  98.          }
  100.          UnlockBufHdr(buf_desc, old_buf_state);
  101.          pg_usleep(TEN_MICROSECOND);
  102.          old_buf_state = LockBufHdr(buf_desc);
  103.      }
  104. }
  106. UnlockBufHdr(buf_desc, buf_state);
  108. /* 假如缓冲区没有是“净”形态，则更新相干计数 */
  109. if (!(old_buf_state & BM_DIRTY)) {
  110.      t_thrd.vacuum_cxt.VacuumPageDirty++;
  111.      u_sess->instr_cxt.pg_buffer_usage->shared_blks_dirtied++;
  113.      pgstatCountSharedBlocksDirtied4SessionLevel();
  115.      if (t_thrd.vacuum_cxt.VacuumCostActive) {
  116.          t_thrd.vacuum_cxt.VacuumCostBalance += u_sess->attr.attr_storage.VacuumCostPageDirty;
  117.      }
  118. }
  119. }
复造代码
5. 内乱存引擎
openGauss引进了MOT（Memory-Optimized Table，内乱存劣化表）存储引擎，它是一种事件性止存储，针对多核战年夜内乱存效劳器停止了劣化。MOT是openGauss数据库超卓的消费级特征（Beta版本），它为事件性事情背载供给更下的机能。MOT完整撑持ACID特征，并包罗严厉的耐久性战下可用性撑持。企业能够正在枢纽使命、机能敏感的正在线事件处理（OLTP）中利用MOT，以完成下机能、下吞吐、可猜测低提早和多核效劳器的下操纵率。MOT特别合适正在多路战多核处理器的当代效劳器上运转，比方基于ARM（Advanced RISC Machine，初级粗简指令散计较机械）/鲲鹏处理器的华为TaiShan效劳器，和基于x86的戴我或相似效劳器。MOT存储引擎如图所示。
214830yt1tuvr1sqaythcr.png


MOT取基于磁盘的一般表并排创立。MOT的有用设想完成了几乎完整的SQL笼盖，而且撑持完好的数据库功用散，如存储历程战自界说函数。经由过程完整存储正在内乱存中的数据战索引、非同一内乱存会见感知（NUMA-aware）设想、消弭锁战锁存争用的算法和查询本死编译，MOT可供给更快的数据会见战更下效的事件施行。MOT有用的几乎无锁的设想战下度调劣的完成，使其正在多核效劳器上完成了杰出的远线性吞吐量扩大。
MOT的下机能（查询战事件提早）、下可扩大性（吞吐量战并收量）等特性，正在某些状况下低本钱（下资本操纵率）圆里具有明显劣势。

  • 低提早（Low Latency）：供给快速的查询战事件呼应工夫。
  • 下吞吐量（High Throughput）：撑持峰值战持续下用户并收。
  • 下资本操纵率（High Resource Utilization）：充实操纵硬件。
  • MOT的枢纽手艺以下：
  • 内乱存劣化数据规划：以完成下并收吞吐量战可猜测的低提早为目的，一切数据战索引皆正在内乱存中，没有利用中心页缓冲区，并利用持续工夫最短的锁。数据规划战一切算法皆是特地为内乱存设想而劣化的。
  • 免锁事件办理：MOT正在包管严厉分歧性战数据完好性的条件下，接纳悲观的计策完成下并收战下吞吐。正在事件过程当中，MOT没有会对正正在更新的数据止的任何版本减锁，从而年夜年夜消沉了一些年夜内乱存体系中的争用。
  • 免锁索引：因为内乱存表的数据战索引完整存储正在内乱存中，因而具有一个下效的索引数据规划战算法十分主要。MOT索引机造基于范畴前沿的树规划Masstree，一种用于多核体系的快速战可扩大的键值（Key Value，KV）存储索引，以B+树的Trie完成。经由过程这类方法，下并收事情背载正在多核效劳器上能够获得杰出的机能。同时MOT使用了各类先辈的手艺以劣化机能，如劣化锁办法、下速缓存感知战内乱存预与。
  • NUMA-aware的内乱存办理：MOT内乱存会见的设想撑持非同一内乱存会见（NUMA，Non-Uniform Memory Access）感知。NUMA-aware算法加强了内乱存中数据规划的机能，使线程会见物理上毗邻到线程运转的核心的内乱存。那是由内乱存掌握器处理的，没有需求经由过程利用互连（如英特我QPI（Quick Path Interconnect，快速途径互连））停止分外的跳转。MOT的智能内乱存掌握模块，为各类内乱存工具预先分派了内乱存池，进步了机能、削减了锁、包管了不变性。
  • 下效耐久性：日记战查抄面是完成磁盘耐久化的枢纽才能，也是ACID的枢纽请求之一。今朝一切的磁盘（包罗SSD战NVMe（Non-Volatile Memory express，非易得性下速传输总线））皆较着缓于内乱存，因而耐久化是基于内乱存数据库引擎的瓶颈。做为一个基于内乱存的存储引擎，MOT的耐久化设想必需完成林林总总的算法劣化，以确连结暂化的同时借能抵达设想时的速率战吞吐量目的。
  • 下SQL笼盖率战功用散：MOT经由过程扩大的openGauss内部数据启拆（Foreign Data Wrapper，FDW）和索引，几乎撑持完好的SQL范畴，包罗存储历程、用户界说函数战体系函数挪用。
  • 利用PREPARE语句的查询本死编译：经由过程利用PREPARE客户端号令，能够以交互方法施行查询战事件语句。那些号令已被预编译成本死施行格局，也称为Code-Gen或立即（Just-in-Time，JIT）编译。如许能够完成均匀30%的机能提拔。
  • MOT战openGauss数据库的无缝散成：MOT是一个下机能的里背内乱存劣化的存储引擎，已散成正在openGauss硬件包中。MOT的主内乱存引擎战基于磁盘的存储引擎并存，以撑持多种使用场景，同时正在内乱部重用数据库帮助效劳，如WAL重做日记、复造、查抄面战规复下可用性等。
1） 内乱存引擎源码构造
内乱存引擎源码目次为：/src/gausskernel/storage/mot。内乱存引擎源码文件如表所示。
214831crjhjnu99r9wqtzt.png


2） 内乱存引擎支流程
内乱存引擎支流程代码以下。
  1. /*  cstore_am.cpp */
  2. ...
  3. /*  扫描 APIs */
  4.     void InitScan(CStoreScanState *state, Snapshot snapshot = NULL);
  5.     void InitReScan();
  6.     void InitPartReScan(Relation rel);
  7.     bool IsEndScan() const;
  9.     /*  提早读与APIs */
  10.     bool IsLateRead(int id) const;
  11.     void ResetLateRead();
  13.     /*  更新列存储扫描计时标识表记标帜*/
  14.     void SetTiming(CStoreScanState *state);
  16.     /*  列存储扫描*/
  17.     void ScanByTids(_in_ CStoreIndexScanState *state, _in_ VectorBatch *idxOut, _out_ VectorBatch *vbout);
  18.     void CStoreScanWithCU(_in_ CStoreScanState *state, BatchCUData *tmpCUData, _in_ bool isVerify = false);
  20.     /*  减载数据紧缩单位形貌疑息  */
  21.     bool LoadCUDesc(_in_ int col, __inout LoadCUDescCtl *loadInfoPtr, _in_ bool prefetch_control, _in_ Snapshot snapShot = NULL);
  23.     /*  从形貌表中获得数据紧缩单位形貌*/
  24.     bool GetCUDesc(_in_ int col, _in_ uint32 cuid, _out_ CUDesc *cuDescPtr, _in_ Snapshot snapShot = NULL);
  26.     /*  获得元组删除疑息*/
  27.     void GetCUDeleteMaskIfNeed(_in_ uint32 cuid, _in_ Snapshot snapShot);
  29.     bool GetCURowCount(_in_ int col, __inout LoadCUDescCtl *loadCUDescInfoPtr, _in_ Snapshot snapShot);
  30.     /* 获得及时止号。 */
  31.     int64 GetLivedRowNumbers(int64 *deadrows);
  33.     /*  得到数据紧缩单位*/
  34.     CU *GetCUData(_in_ CUDesc *cuDescPtr, _in_ int colIdx, _in_ int valSize, _out_ int &slotId);
  36.     CU *GetUnCompressCUData(Relation rel, int col, uint32 cuid, _out_ int &slotId, ForkNumber forkNum = MAIN_FORKNUM,
  37.                             bool enterCache = true) const;
  39.     /*  缓冲背量添补 APIs */
  40.     int FillVecBatch(_out_ VectorBatch *vecBatchOut);
  42.     /*  添补列背量*/
  43.     template <bool hasDeadRow, int attlen>
  44.     int FillVector(_in_ int colIdx, _in_ CUDesc *cu_desc_ptr, _out_ ScalarVector *vec);
  46.     template <int attlen>
  47.     void FillVectorByTids(_in_ int colIdx, _in_ ScalarVector *tids, _out_ ScalarVector *vec);
  49.     template <int attlen>
  50.     void FillVectorLateRead(_in_ int seq, _in_ ScalarVector *tids, _in_ CUDesc *cuDescPtr, _out_ ScalarVector *vec);
  52.     void FillVectorByIndex(_in_ int colIdx, _in_ ScalarVector *tids, _in_ ScalarVector *srcVec, _out_ ScalarVector *destVec);
  54.     /*  添补体系列*/
  55.     int FillSysColVector(_in_ int colIdx, _in_ CUDesc *cu_desc_ptr, _out_ ScalarVector *vec);
  57.     template <int sysColOid>
  58.     void FillSysVecByTid(_in_ ScalarVector *tids, _out_ ScalarVector *destVec);
  60.     template <bool hasDeadRow>
  61.     int FillTidForLateRead(_in_ CUDesc *cuDescPtr, _out_ ScalarVector *vec);
  63.     void FillScanBatchLateIfNeed(__inout VectorBatch *vecBatch);
  65.     /* 设置数据紧缩单位范畴以撑持索引扫描 */
  66.     void SetScanRange();
  68.     /*  判定止能否可用*/
  69.     bool IsDeadRow(uint32 cuid, uint32 row) const;
  71.     void CUListPrefetch();
  72.     void CUPrefetch(CUDesc *cudesc, int col, AioDispatchCUDesc_t **dList, int &count, File *vfdList);
  74.     /* 扫描函数 */
  75.     typedef void (CStore::*ScanFuncPtr)(_in_ CStoreScanState *state, _out_ VectorBatch *vecBatchOut);
  76.     void RunScan(_in_ CStoreScanState *state, _out_ VectorBatch *vecBatchOut);
  77.     int GetLateReadCtid() const;
  78.     void IncLoadCuDescCursor();
复造代码
免责声明：假如进犯了您的权益，请联络站少，我们会实时删除侵权内乱容，感谢协作！
1、本网站属于个人的非赢利性网站，转载的文章遵循原作者的版权声明，如果原文没有版权声明，按照目前互联网开放的原则，我们将在不通知作者的情况下，转载文章;如果原文明确注明“禁止转载”，我们一定不会转载。如果我们转载的文章不符合作者的版权声明或者作者不想让我们转载您的文章的话，请您发送邮箱：Cdnjson@163.com提供相关证明，我们将积极配合您！
2、本网站转载文章仅为传播更多信息之目的，凡在本网站出现的信息，均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性，但不保证信息的正确性和完整性，且不对因信息的不正确或遗漏导致的任何损失或损害承担责任。
3、任何透过本网站网页而链接及得到的资讯、产品及服务，本网站概不负责，亦不负任何法律责任。
4、本网站所刊发、转载的文章，其版权均归原作者所有，如其他媒体、网站或个人从本网下载使用，请在转载有关文章时务必尊重该文章的著作权，保留本网注明的“稿件来源”，并自负版权等法律责任。
回复 关闭延时

使用道具 举报

そ魔幻宄王 LV2
发布了 9 篇主题 · 获得积分 83
 
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关于作者
そ魔幻宄王 LV2
累计积分 83
发表主题数 9
热门标签
  • Archiver| 手机版| 小黑屋|
Powered by Discuz! X3.4 Copyright © 2001-2020, Tencent Cloud.( 鲁ICP备2023025969号-1 )|Sitemap