From 906438a6dc695c8166a3d55dbd4c8db2187c6216 Mon Sep 17 00:00:00 2001 From: tydhot <583125614@qq.com> Date: Mon, 2 Nov 2020 23:07:36 +0800 Subject: [PATCH 1/3] add netty mem pool --- README.md | 1 + .../内存池之从内存池申请内存.md | 29 +++++++++++++++++++ 2 files changed, 30 insertions(+) create mode 100644 docs/Netty/Netty技术细节源码分析/内存池之从内存池申请内存.md diff --git a/README.md b/README.md index edccfb0..e64b583 100644 --- a/README.md +++ b/README.md @@ -191,6 +191,7 @@ - [HashedWheelTimer & schedule](docs/Netty/Netty技术细节源码分析/HashedWheelTimer&schedule.md) - [ByteBuf 的内存泄漏原因与检测原理](docs/Netty/Netty技术细节源码分析/ByteBuf的内存泄漏原因与检测原理.md) - [内存池之 PoolChunk 设计与实现](docs/Netty/Netty技术细节源码分析/内存池之PoolChunk设计与实现.md) +- [内存池之从内存池申请内存](docs/Netty/Netty技术细节源码分析/内存池之从内存池申请内存.md) ## Dubbo diff --git a/docs/Netty/Netty技术细节源码分析/内存池之从内存池申请内存.md b/docs/Netty/Netty技术细节源码分析/内存池之从内存池申请内存.md new file mode 100644 index 0000000..123baa9 --- /dev/null +++ b/docs/Netty/Netty技术细节源码分析/内存池之从内存池申请内存.md @@ -0,0 +1,29 @@ +该文所涉及的netty源码版本为4.1.16。 + +## Netty内存池申请内存流程 +在通股票PooledByteBufAllocator中向内存池中进行内存申请的时候，最先开始的步骤便是从PooledByteBufAllocator中一系列PoolArena数组中，选择其中一个PoolArena进行分配。 + +这时将会从PoolArena数组中选取当前使用量最小的PoolArena与当前线程通过ThreadLocal进行绑定，之后涉及到内存申请将会直接从这个PoolArena进行获取，这个做法在高并发情况下频繁往内存池中进行内存申请的时候可以减少资源竞争，提升效率。 + +在当前线程获取与其绑定的PoolArena之后，接下来就是从PoolArena中继续申请内存。 +为了适应各种大小的内存场景，PoolArena的组成也是为了其设计。 +- PoolSubpage数组 tinySubpagePools：默认情况下，当申请的内存小于512b的时候的时候将会从tinySubpagePools中直接选择subPage（内存池中的最小单位）返回 +- PoolSubpage数组 smallSubpagePools：默认情况下，当申请的内存大于512b但是小于一个page的大小（8kb）的时候，将会从smallSubpagePools返回一个subPage。subPage是由poolChunk中的page分配而来。 +- PoolChunkList qInit：存储内存利用率0-25%的poolChunk +- PoolChunkList q000：存储内存利用率1-50%的poolChunk +- PoolChunkList q025：存储内存利用率25-75%的poolChunk +- PoolChunkList q050：存储内存利用率50-100%的poolChunk +- PoolChunkList q075：存储内存利用率75-100%的poolChunk +- PoolChunkList q100：存储内存利用率100%的poolChunk、 +当申请的内存大于一个page（8kb）但又小于一个poolChunk（2048kb）总大小的时候，将会从各个PoolChunkList中尝试获取一个poolChunk从中返回。PoolChunkList是一个由poolChunk组成的链表。 +以上几个PoolChunkList，由符合各个内存利用率的poolChunk组成，这几个PoolChunkList之间又互相首尾连接组成队列，方便PoolChunk在各个队列中根据自己当前的利用率进行转移到对应的位置上。 +最后，当申请的内存大于一个poolChunk大小的时候将会直接申请一段非池化的内存返回，并不会占用内存池中的内存空间。 + +最后，到了从poolChunk中申请内存的场景，这一部分在[该文](https://github.com/doocs/source-code-hunter/blob/master/docs/Netty/Netty技术细节源码分析/内存池之PoolChunk设计与实现.md)中已经详细说明，这部分也是内存池中获取内存的最后一步。 + + + + + + + From b16b7ea636d6d729bdb25fc0cfb4aed475aa6558 Mon Sep 17 00:00:00 2001 From: tydhot Date: Mon, 2 Nov 2020 15:09:22 +0000 Subject: [PATCH 2/3] docs: prettify code --- .../内存池之从内存池申请内存.md | 41 ++++++++----------- 1 file changed, 18 insertions(+), 23 deletions(-) diff --git a/docs/Netty/Netty技术细节源码分析/内存池之从内存池申请内存.md b/docs/Netty/Netty技术细节源码分析/内存池之从内存池申请内存.md index 123baa9..1f00568 100644 --- a/docs/Netty/Netty技术细节源码分析/内存池之从内存池申请内存.md +++ b/docs/Netty/Netty技术细节源码分析/内存池之从内存池申请内存.md @@ -1,29 +1,24 @@ -该文所涉及的netty源码版本为4.1.16。 - -## Netty内存池申请内存流程 -在通股票PooledByteBufAllocator中向内存池中进行内存申请的时候，最先开始的步骤便是从PooledByteBufAllocator中一系列PoolArena数组中，选择其中一个PoolArena进行分配。 - -这时将会从PoolArena数组中选取当前使用量最小的PoolArena与当前线程通过ThreadLocal进行绑定，之后涉及到内存申请将会直接从这个PoolArena进行获取，这个做法在高并发情况下频繁往内存池中进行内存申请的时候可以减少资源竞争，提升效率。 - -在当前线程获取与其绑定的PoolArena之后，接下来就是从PoolArena中继续申请内存。 -为了适应各种大小的内存场景，PoolArena的组成也是为了其设计。 -- PoolSubpage数组 tinySubpagePools：默认情况下，当申请的内存小于512b的时候的时候将会从tinySubpagePools中直接选择subPage（内存池中的最小单位）返回 -- PoolSubpage数组 smallSubpagePools：默认情况下，当申请的内存大于512b但是小于一个page的大小（8kb）的时候，将会从smallSubpagePools返回一个subPage。subPage是由poolChunk中的page分配而来。 -- PoolChunkList qInit：存储内存利用率0-25%的poolChunk -- PoolChunkList q000：存储内存利用率1-50%的poolChunk -- PoolChunkList q025：存储内存利用率25-75%的poolChunk -- PoolChunkList q050：存储内存利用率50-100%的poolChunk -- PoolChunkList q075：存储内存利用率75-100%的poolChunk -- PoolChunkList q100：存储内存利用率100%的poolChunk、 -当申请的内存大于一个page（8kb）但又小于一个poolChunk（2048kb）总大小的时候，将会从各个PoolChunkList中尝试获取一个poolChunk从中返回。PoolChunkList是一个由poolChunk组成的链表。 -以上几个PoolChunkList，由符合各个内存利用率的poolChunk组成，这几个PoolChunkList之间又互相首尾连接组成队列，方便PoolChunk在各个队列中根据自己当前的利用率进行转移到对应的位置上。 -最后，当申请的内存大于一个poolChunk大小的时候将会直接申请一段非池化的内存返回，并不会占用内存池中的内存空间。 - -最后，到了从poolChunk中申请内存的场景，这一部分在[该文](https://github.com/doocs/source-code-hunter/blob/master/docs/Netty/Netty技术细节源码分析/内存池之PoolChunk设计与实现.md)中已经详细说明，这部分也是内存池中获取内存的最后一步。 - +该文所涉及的 netty 源码版本为 4.1.16。 +## Netty 内存池申请内存流程 +在通股票 PooledByteBufAllocator 中向内存池中进行内存申请的时候，最先开始的步骤便是从 PooledByteBufAllocator 中一系列 PoolArena 数组中，选择其中一个 PoolArena 进行分配。 +这时将会从 PoolArena 数组中选取当前使用量最小的 PoolArena 与当前线程通过 ThreadLocal 进行绑定，之后涉及到内存申请将会直接从这个 PoolArena 进行获取，这个做法在高并发情况下频繁往内存池中进行内存申请的时候可以减少资源竞争，提升效率。 +在当前线程获取与其绑定的 PoolArena 之后，接下来就是从 PoolArena 中继续申请内存。 +为了适应各种大小的内存场景，PoolArena 的组成也是为了其设计。 +- PoolSubpage 数组 tinySubpagePools：默认情况下，当申请的内存小于 512b 的时候的时候将会从 tinySubpagePools 中直接选择 subPage（内存池中的最小单位）返回 +- PoolSubpage 数组 smallSubpagePools：默认情况下，当申请的内存大于 512b 但是小于一个 page 的大小（8kb）的时候，将会从 smallSubpagePools 返回一个 subPage。subPage 是由 poolChunk 中的 page 分配而来。 +- PoolChunkList qInit：存储内存利用率 0-25%的 poolChunk +- PoolChunkList q000：存储内存利用率 1-50%的 poolChunk +- PoolChunkList q025：存储内存利用率 25-75%的 poolChunk +- PoolChunkList q050：存储内存利用率 50-100%的 poolChunk +- PoolChunkList q075：存储内存利用率 75-100%的 poolChunk +- PoolChunkList q100：存储内存利用率 100%的 poolChunk、 + 当申请的内存大于一个 page（8kb）但又小于一个 poolChunk（2048kb）总大小的时候，将会从各个 PoolChunkList 中尝试获取一个 poolChunk 从中返回。PoolChunkList 是一个由 poolChunk 组成的链表。 + 以上几个 PoolChunkList，由符合各个内存利用率的 poolChunk 组成，这几个 PoolChunkList 之间又互相首尾连接组成队列，方便 PoolChunk 在各个队列中根据自己当前的利用率进行转移到对应的位置上。 + 最后，当申请的内存大于一个 poolChunk 大小的时候将会直接申请一段非池化的内存返回，并不会占用内存池中的内存空间。 +最后，到了从 poolChunk 中申请内存的场景，这一部分在[该文](https://github.com/doocs/source-code-hunter/blob/master/docs/Netty/Netty技术细节源码分析/内存池之PoolChunk设计与实现.md)中已经详细说明，这部分也是内存池中获取内存的最后一步。 From 41d198cd8db7b8367b59e1eea56bfa40b98bc3df Mon Sep 17 00:00:00 2001 From: tydhot <583125614@qq.com> Date: Tue, 3 Nov 2020 10:12:52 +0800 Subject: [PATCH 3/3] fix netty mem pool --- .../内存池之从内存池申请内存.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/docs/Netty/Netty技术细节源码分析/内存池之从内存池申请内存.md b/docs/Netty/Netty技术细节源码分析/内存池之从内存池申请内存.md index 123baa9..11aa5ee 100644 --- a/docs/Netty/Netty技术细节源码分析/内存池之从内存池申请内存.md +++ b/docs/Netty/Netty技术细节源码分析/内存池之从内存池申请内存.md @@ -1,7 +1,7 @@ 该文所涉及的netty源码版本为4.1.16。 ## Netty内存池申请内存流程 -在通股票PooledByteBufAllocator中向内存池中进行内存申请的时候，最先开始的步骤便是从PooledByteBufAllocator中一系列PoolArena数组中，选择其中一个PoolArena进行分配。 +在通过PooledByteBufAllocator向内存池中进行内存申请的时候，最先开始的步骤便是从PooledByteBufAllocator中一系列PoolArena数组中，选择其中一个PoolArena进行分配。 这时将会从PoolArena数组中选取当前使用量最小的PoolArena与当前线程通过ThreadLocal进行绑定，之后涉及到内存申请将会直接从这个PoolArena进行获取，这个做法在高并发情况下频繁往内存池中进行内存申请的时候可以减少资源竞争，提升效率。