linux内存管理之malloc、vmalloc、kmalloc的区别

kmalloc kzalloc vmalloc malloc 和get_free_page()的区别

一、简述

1、kmalloc 申请的是较小的连续的物理内存,虚拟地址上也是连续的。kmalloc和get_free_page最终调用实现是相同的,只不过在调用最终函数时所传的flag不同而已。除非被阻塞否则他执行的速度非常快,而且不对获得空间清零。

2、get_free_page ()申请的内存是一整页,一页的大小一般是128K。

3、kzalloc 先是用kmalloc()申请空间,然后用memset()清零来初始化,所有申请的元素都被初始化为0.

4、vmalloc 用于申请较大的内存空间,虚拟内存是连续,但是在物理上它们不要求连续。

5、malloc 用于用户空间申请内存。除非被阻塞否则他执行的速度非常快,而且不对获得空间清零。

二、先看看linux内存分布图:

linux内存管理之malloc、vmalloc、kmalloc的区别

图1:linux内存分布图

对于提供了MMU(存储管理器,辅助操作系统进行内存管理,提供虚实地址转换等硬件支持)的处理器而言,Linux提供了复杂的存储管理系统,使得进程所能访问的内存达到4GB。

进程的4GB内存空间被人为的分为两个部分–用户空间与内核空间。用户空间地址分布从0到3GB(PAGE_OFFSET,在0x86中它等于0xC0000000),3GB到4GB为内核空间。

内核空间中,从3G到vmalloc_start这段地址是物理内存映射区域(该区域中包含了内核镜像、物理页框表mem_map等等),比如我们使用 的 VMware虚拟系统内存是160M,那么3G~3G+160M这片内存就应该映射物理内存。在物理内存映射区之后,就是vmalloc区域。对于 160M的系统而言,vmalloc_start位置应在3G+160M附近(在物理内存映射区与vmalloc_start期间还存在一个8M的gap 来防止跃界),vmalloc_end的位置接近4G(最后位置系统会保留一片128k大小的区域用于专用页面映射)

1、kmalloc

kmalloc申请的是较小的连续的物理内存,内存物理地址上连续,虚拟地址上也是连续的,使用的是内存分配器slab的一小片。申请的内存位于物理内存的映射区域。其真正的物理地址只相差一个固定的偏移。可以用两个宏来简单转换__pa(address) { virt_to_phys()} 和__va(address) {phys_to_virt()}
get_free_page()申请的内存是一整页,一页的大小一般是128K。
从本质上讲,kmalloc和get_free_page最终调用实现是相同的,只不过在调用最终函数时所传的flag不同而已。

kmalloc和get_free_page申请的内存位于物理内存映射区域,而且在物理上也是连续的,它们与真实的物理地址只有一个固定的偏移,因此存在较简单的转换关系,virt_to_phys()可以实现内核虚拟地址转化为物理地址:

define __pa(x) ((unsigned long)(x)-PAGE_OFFSET)

extern inline unsigned long virt_to_phys(volatile void * address)
{
return __pa(address);
}
上面转换过程是将虚拟地址减去3G(PAGE_OFFSET=0XC000000)。

与之对应的函数为phys_to_virt(),将内核物理地址转化为虚拟地址:

define __va(x) ((void *)((unsigned long)(x)+PAGE_OFFSET))

extern inline void * phys_to_virt(unsigned long address)
{
return __va(address);
}
virt_to_phys()和phys_to_virt()都定义在include/asm-i386/io.h中。

  1. kmalloc的用法
    kmalloc与malloc 相似,该函数返回速度快快(除非它阻塞)并对其分配的内存不进行 初始化(清零),分配的区仍然持有它原来的内容, 分配的区也是在物理内存中连 续
    记住 kmalloc 原型是:

include

2、kzalloc

用kzalloc申请内存的时候, 效果等同于先是用 kmalloc() 申请空间 , 然后用 memset() 来初始化 ,所有申请的元素都被初始化为 0.

view plain

  1. static inline void *kzalloc(size_t size, gfp_t flags)
  2. {
  3. return kmalloc(size, flags | __GFP_ZERO);
  4. }

kzalloc 函数是带参数调用kmalloc函数,添加的参数是或了标志位__GFP_ZERO,

view plain

  1. void *__kmalloc(size_t size, gfp_t flags)
  2. {
  3. struct kmem_cache *s;
  4. void *ret;
  5. if (unlikely(size > SLUB_MAX_SIZE))
  6. return kmalloc_large(size, flags);
  7. s = get_slab(size, flags);
  8. if (unlikely(ZERO_OR_NULL_PTR(s)))
  9. return s;
  10. ret = slab_alloc(s, flags, -1, RET_IP);
  11. trace_kmalloc(RET_IP, ret, size, s->size, flags);
  12. return ret;
  13. }

这个函数调用trace_kmalloc,flags参数不变,继续往里面可以看到

view plain

  1. static __always_inline void slab_alloc(struct kmem_cache s,
  2. gfp_t gfpflags, int node, unsigned long addr)
  3. {
  4. void **object ;
  5. struct kmem_cache_cpu *c;
  6. unsigned long flags;
  7. unsigned int objsize;
  8. gfpflags &= gfp_allowed_mask;
  9. lockdep_trace_alloc(gfpflags);
  10. might_sleep_if(gfpflags & __GFP_WAIT);
  11. if (should_failslab(s->objsize, gfpflags))
  12. return NULL;
  13. local_irq_save(flags);
  14. c = get_cpu_slab(s, smp_processor_id());
  15. objsize = c->objsize;
  16. if (unlikely(!c->freelist || !node_match(c, node)))
  17. object = __slab_alloc(s, gfpflags, node, addr, c);
  18. else {
  19. object = c->freelist;
  20. c->freelist = object [c->offset];
  21. stat(c, ALLOC_FASTPATH);
  22. }
  23. local_irq_restore(flags);
  24. if (unlikely((gfpflags & __GFP_ZERO) && object ))
  25. memset(object , 0, objsize);
  26. kmemcheck_slab_alloc(s, gfpflags, object , c->objsize);
  27. kmemleak_alloc_recursive(object , objsize, 1, s->flags, gfpflags);
  28. return object ;
  29. }

这里主要判断两个标志,WAIT和ZERO,和本文有关的关键代码就是

if (unlikely((gfpflags & __GFP_ZERO) && object))
memset(object, 0, objsize);

3、vmalloc

vmalloc用于申请较大的内存空间,虚拟内存是连续。申请的内存的则位于vmalloc_start~vmalloc_end之间,与物理地址没有简单的转换关系,虽然在逻辑上它们也是连续的,但是在物理上它们不要求连续。

以字节为单位进行分配,在

4、kmalloc、get_free_page和vmalloc的区别:

我们用下面的程序来演示kmalloc、get_free_page和vmalloc的区别:

include

5、malloc

malloc内存分配和Kmalloc相似,除非被阻塞否则他执行的速度非常快,而且不对获得空间清零。

malloc分配的是用户的内存。

使用 void *malloc(size_t size)

本文参考资料:
http://blog.csdn.net/macrossdzh/article/details/5958368 http://hi.baidu.com/yangyingchao/item/d1ca44d000fcc4b832db905f http://blog.csdn.net/armeasy/article/details/6861978

感谢以上作者的分享

1、kmalloc和vmalloc是分配的是内核的内存,malloc分配的是用户的内存
2、kmalloc保证分配的内存在物理上是连续的,内存只有在要被DMA访问的时候才需要物理上连续,malloc和vmalloc保证的是在虚拟地址空间上的连续

3、kmalloc能分配的大小有限,vmalloc和malloc能分配的大小相对较大

4、vmalloc比kmalloc要慢。尽管在某些情况下才需要物理上连续的内存块,但是很多内核代码都用kmalloc来获得内存,而不是vmalloc。这主要是出于性能的考虑。vmalloc函数为了把物理内存上不连续的页转换为虚拟地址空间上连续的页,必须专门建立页表项。糟糕的是,通过vmalloc获得的页必须一个个地进行映射,因为它们物理上是不连续的,这就会导致比直接内存映射大得多的TLB抖动,vmalloc仅在不得已时才会用–典型的就是为了获得大块内存时。

malloc的实现原理

malloc函数的实质体现在,它有一个将可用的内存块连接为一个长长的列表的所谓空闲链表(全局变量,一个内存块的链表指针)。调用malloc函数时,它沿连接表寻找一个大到足以满足用户请求所需要的内存块。然后,将该内存块一分为二(一块的大小与用户请求的大小相等,另一块的大小就是剩下的字节)。接下来,将分配给用户的那块内存传给用户,并将剩下的那块(如果有的话)返回到连接表上。调用free函数时,它将用户释放的内存块连接到空闲链上。到最后,空闲链会被切成很多的小内存片段,如果这时用户申请一个大的内存片段,那么空闲链上可能没有可以满足用户要求的片段了。于是,malloc函数请求延时,并开始在空闲链上翻箱倒柜地检查各内存片段,对它们进行整理,将相邻的小空闲块合并成较大的内存块。 malloc()在操作系统中的实现 在 C 程序中,多次使用malloc () 和 free()。不过,您可能没有用一些时间去思考它们在您的操作系统中是如何实现的。本节将向您展示 malloc 和 free 的一个最简化实现的代码,来帮助说明管理内存时都涉及到了哪些事情。 在大部分操作系统中,内存分配由以下两个简单的函数来处理: void malloc (long numbytes):该函数负责分配 numbytes 大小的内存,并返回指向第一个字节的指针。 void free(void firstbyte):如果给定一个由先前的 malloc 返回的指针,那么该函数会将分配的空间归还给进程的”空闲空间”。

malloc_init 将是初始化内存分配程序的函数。它要完成以下三件事:将分配程序标识为已经初始化,找到系统中最后一个有效内存地址,然后建立起指向我们管理的内存的指针。这三个变量都是全局变量:

linux内存管理之malloc、vmalloc、kmalloc的区别
如前所述,被映射的内存的边界(最后一个有效地址)常被称为系统中断点或者当前中断点。在很多 UNIX? 系统中,为了指出当前系统中断点,必须使用sbrk(0) 函数。 sbrk 根据参数中给出的字节数移动当前系统中断点,然后返回新的系统中断点。使用参数 0 只是返回当前中断点。这里是我们的 malloc 初始化代码,它将找到当前中断点并初始化我们的变量

现在,为了完全地管理内存,我们需要能够追踪要分配和回收哪些内存。在对内存块进行了 free 调用之后,我们需要做的是诸如将它们标记为未被使用的等事情, 并且, 在调用 malloc 时, 我们要能够定位未被使用的内存块。 因此, malloc返回的每块内存的起始处首先要有这个结构:

现在, 您可能会认为当程序调用 malloc 时这会引发问题 —— 它们如何知道这个结构?答案是它们不必知道;在返回指针之前,我们会将其移动到这个结构之后, 把它隐藏起来。 这使得返回的指针指向没有用于任何其他用途的内存。 那样,从调用程序的角度来看,它们所得到的全部是空闲的、开放的内存。然后,当通过 free() 将该指针传递回来时,我们只需要倒退几个内存字节就可以再次找到这个结构。在讨论分配内存之前,我们将先讨论释放,因为它更简单。为了释放内存,我们必须要做的惟一一件事情就是,获得我们给出的指针,回退 sizeof(structmem_control_block) 个字节,并将其标记为可用的。这里是对应的代码:

如您所见,在这个分配程序中,内存的释放使用了一个非常简单的机制,在固定时间内完成内存释放。分配内存稍微困难一些。我们主要使用连接的指针遍历内存来寻找开放的内存块。这里是代码:

这就是我们的内存管理器。现在,我们只需要构建它,并在程序中使用它即可.多次调用 malloc()后空闲内存被切成很多的小内存片段,这就使得用户在申请内存使用时,由于找不到足够大的内存空间,malloc()需要进行内存整理,使得函数的性能越来越低。聪明的程序员通过总是分配大小为 2 的幂的内存块,而最大限度地降低潜在的 malloc 性能丧失。也就是说,所分配的内存块大小为4 字节、8 字节、16 字节、18446744073709551616 字节,等等。这样做最大限度地减少了进入空闲链的怪异片段(各种尺寸的小片段都有)的数量。尽管看起来这好像浪费了空间,但也容易看出浪费的空间永远不会超过 50%。

Original: https://www.cnblogs.com/alantu2018/p/9000778.html
Author: AlanTu
Title: linux内存管理之malloc、vmalloc、kmalloc的区别

原创文章受到原创版权保护。转载请注明出处:https://www.johngo689.com/8555/

转载文章受原作者版权保护。转载请注明原作者出处!

(0)

大家都在看

免费咨询
免费咨询
扫码关注
扫码关注
联系站长

站长Johngo!

大数据和算法重度研究者!

持续产出大数据、算法、LeetCode干货,以及业界好资源!

2022012703491714

微信来撩,免费咨询:xiaozhu_tec

分享本页
返回顶部