一、前言

應(yīng)用程序，作為核心業(yè)務(wù)組件，每天都面臨著嚴(yán)峻的高可用挑戰(zhàn)，每次重啟，都會導(dǎo)致服務(wù)受損。尤其是單點(diǎn)的虛擬化組件和有狀態(tài)的應(yīng)用程序，一旦重啟，影響更甚。

熱補(bǔ)丁，一種在程序運(yùn)行時動態(tài)修復(fù)內(nèi)存中代碼bug的技術(shù)，能避免系統(tǒng)重啟導(dǎo)致的業(yè)務(wù)中斷、有效保證操作系統(tǒng)的可用性。

經(jīng)過大量的研究和實(shí)踐，UCloud從0到1，自研了一套應(yīng)用程序熱補(bǔ)丁技術(shù)。千錘百煉出真金，經(jīng)過內(nèi)部數(shù)十萬臺次修復(fù)驗(yàn)證，UCloud應(yīng)用程序熱補(bǔ)丁技術(shù)已自成體系，成為UCloud核心黑科技之一。

二、原理

一般來說，應(yīng)用程序熱補(bǔ)丁的流程是，首先通過編譯器將熱補(bǔ)丁源碼制作成可加載的動態(tài)鏈接庫，然后通過加載程序?qū)嵫a(bǔ)丁加載到目標(biāo)進(jìn)程的地址空間，***在進(jìn)行一致性模型檢查確認(rèn)安全的情況下，把原始代碼替換成新的代碼，完成在線修復(fù)的過程。

下面我們分別介紹熱補(bǔ)丁本身和熱補(bǔ)丁加載程序，熱補(bǔ)丁本身是因patch而異的，加載程序是通用的。

假設(shè)我們有熱補(bǔ)丁加載程序Loader、目標(biāo)進(jìn)程T、熱補(bǔ)丁patch.so，目標(biāo)程序的func函數(shù)替換為func_v2。

三、熱補(bǔ)丁

1. 編寫熱補(bǔ)丁源碼，編譯成動態(tài)鏈接庫的格式的熱補(bǔ)丁patch.so，patch.so中包含func和func_v2的信息。

2. 熱補(bǔ)丁patch.so在被加載程序Loader加載到目標(biāo)進(jìn)程T地址空間的過程中，通過dlsym調(diào)用找到func的地址，并將func的入口指令改為可寫，同時改變?yōu)樘D(zhuǎn)到func_v2。

3. 至此，所有對func的調(diào)用都會被重定向到func_v2，func_v2執(zhí)行完畢后返回，程序繼續(xù)運(yùn)行。

4. 如圖所示：

四、熱補(bǔ)丁加載程序

1. 加載程序Loader找到目標(biāo)進(jìn)程T的dlopen函數(shù)入口地址。

2. Loader通過ptrace依附到目標(biāo)進(jìn)程T，Loader將熱補(bǔ)丁的名字放入放入目標(biāo)進(jìn)程T的堆棧，將IP寄存器設(shè)置為dlopen函數(shù)的地址。

3. Loader使目標(biāo)進(jìn)程T繼續(xù)運(yùn)行。因?yàn)镮P寄存器已經(jīng)設(shè)置為dlopen函數(shù)的入口，目標(biāo)進(jìn)程T會調(diào)用dlopen把熱補(bǔ)丁加載到T的地址空間中。

4. 如圖所示：

了解原理之后，我們一步步實(shí)現(xiàn)一種簡單的基于x86_64的熱補(bǔ)丁。

(對于需要制作熱補(bǔ)丁的同學(xué)，只需自己編寫patch.so，而Loader是通用的。patch.so編寫可以參考下面的例子，往往只需幾行代碼做相應(yīng)替換。)

五、實(shí)現(xiàn)

1. 熱補(bǔ)丁

1) 目標(biāo)進(jìn)程T執(zhí)行dlopen的過程中，通過預(yù)先在熱補(bǔ)丁(動態(tài)鏈接庫)中寫入的constructor函數(shù)，在加載過程中函數(shù)func_v1替換函數(shù)func。

static void __attribute__((constructor)) init(void) 
 { 
     int numpages; 
     void *old_func_entry, *new_func_entry; 
 
     old_func_entry = dlsym(NULL, "func"); 
     new_func_entry = dlsym(NULL, "func_v2"); 
 
     #define PAGE_SHIFT              12 
     #define PAGE_SIZE               (1UL << PAGE_SHIFT) 
     #define PAGE_MASK               (~(PAGE_SIZE-1)) 
 
     numpages = (PAGE_SIZE - (old_func_entry & ~PAGE_MASK) >= size) ? 1 : 2; 
     mprotect((void *)(old_func_entry & PAGE_MASK), numpages * PAGE_SIZE, PROT_READ|PROT_WRITE|PROT_EXEC); 
 
     /* 
      * Translate the following instructions  
      *  
      * mov $new_func_entry, %rax  
      * jmp %rax  
      *  
      * into machine code  
      *  
      * 48 b8 xx xx xx xx xx xx xx xx  
      * ff e0  
      */ 
     memset(old_func_entry, 0x48, 1); 
     memset(old_func_entry + 1, 0xb8, 1);  
     memcpy(old_func_entry + 2, &new_func_entry, 8);  
     memset(old_func_entry + 10, 0xff, 1); 
     memset(old_func_entry + 11, 0xe0, 1); 
 } 

2. 熱補(bǔ)丁加載程序

1) Loader得到目標(biāo)進(jìn)程T地址空間中dlopen入口地址

• dlopen函數(shù)有l(wèi)ibdl提供，并不是所有的程序都加載libdl，幸運(yùn)的是，libc中提供了同樣功能的函數(shù)libc_dlopen_mode，并且接受的參數(shù)和dlopen相同。除非特殊情況，所有程序都會加載libc。所以我們需要找到libc_dlopen_mode在目標(biāo)進(jìn)程T地址空間中的函數(shù)入口地址。
• 我們知道，不同進(jìn)程中l(wèi)ibc會被加載到不同的基地址，但是libc中函數(shù)的地址相對基地址的偏移是不變的。
• 通過Loader和目標(biāo)進(jìn)程T的/proc/pid/maps，我們可以得到libc在Loader和目標(biāo)進(jìn)程T中加載的基地址。通過Loader運(yùn)行dlsym，我們可以得到Loader中的libc_dlopen_mode的地址。這樣我們可以得到目標(biāo)進(jìn)程T中l(wèi)ibc_dlopen_mode的地址(Loader_dlopen - Loader_libc + T_libc)。

/ Take a hint and find start addr in /proc/pid/maps / 
  static unsigned long find_lib_base(pid_t pid, char *so_hint) 
  { 
  FILE *fp; 
  char maps[4096], mapbuf[4096], perms[32], libpath[4096]; 
  char *libname; 
  unsigned long start, end, file_offset, inode, dev_major, dev_minor; 
 
  sprintf(maps, "/proc/%d/maps", pid); 
  fp = fopen(maps, "rb"); 
  if (!fp) { 
          fprintf(stderr, "Failed to open %s: %s\n", maps, strerror(errno)); 
          return 0; 
  } 
 
  while (fgets(mapbuf, sizeof(mapbuf), fp)) { 
          sscanf(mapbuf, "%lx-%lx %s %lx %lx:%lx %lu %s", &start, 
                  &end, perms, &file_offset, &dev_major, &dev_minor, &inode, libpath); 
 
          libname = strrchr(libpath, '/'); 
          if (libname) 
                  libname++; 
          else 
                  continue; 
 
          if (!strncmp(perms, "r-xp", 4) && strstr(libname, so_hint)) { 
                  fclose(fp); 
                  return start; 
          } 
  } 
 
  fclose(fp);   return 0;  
  } 
  loader_libc = find_lib_base(getpid(), “libc-c”); 
  T_libc = find_lib_base(T_pid, “libc-“); 
  Loader_dlopen = (unsigned long)dlsym(NULL, “__libc_dlopen_mode”); 
  T_dlopen = T_libc + (Loader_dlopen - Loader_libc); 

2) Loader對目標(biāo)進(jìn)程T使用ptrace attach，并保存T此時的寄存器信息。

static int ptrace_attach(pid_t pid) 
  { 
  int status; 
 
  if (ptrace(PTRACE_ATTACH, pid, NULL, NULL)) { 
          fprintf(stderr, "Failed to ptrace_attach: %s\n", strerror(errno)); 
          return 1; 
  } 
 
  if (waitpid(pid, &status, __WALL) < 0) { 
          fprintf(stderr, "Failed to wait for PID %d, %s\n", pid, strerror(errno)); 
          return 1; 
  } 
  return 0; 
} 
  static int ptrace_call(pid_t pid, unsigned long func_addr, unsigned long arg1, unsigned long arg2, unsigned long *func_ret) 
  { 
  … 
  memset(&saved_regs, 0, sizeof(struct user_regs_struct)); 
  ptrace_getregs(pid, &saved_regs); 
 
  … 
  } 

3) 將目標(biāo)進(jìn)程T的%RIP指向dlopen，熱補(bǔ)丁的名字的字符串放入堆棧，字符串的地址寫入%rdi，RTLD_NOW的值寫入%rsi作為dlopen的flag。同時把dlopen返回地址設(shè)置為非法地址0x0(把0x0壓入棧中)，這樣Loader可以捕獲目標(biāo)進(jìn)程T產(chǎn)生的SIGSEGV信號進(jìn)而重新獲得T的控制權(quán)。

unsigned long invalid = 0x0; 
 regs.rsp -= sizeof(invalid); 
 ptrace_poketext(pid, regs.rsp, ((void *)&invalid), sizeof(invalid)); 
 ptrace_poketext(pid, regs.rsp + 512, filename, strlen(filename) + 1); 
 regs.rip = dlopen_addr; 
 regsregs.rdi = regs.rsp + 512; 
 regs.rsi = RTLD_NOW; 
 ptrace_setregs(pid, &regs); 

4) Loader使目標(biāo)進(jìn)程T繼續(xù)運(yùn)行。當(dāng)T執(zhí)行完dlopen之后，T產(chǎn)生的SIGSEGV信號被Loader捕獲，Loader重新獲得T進(jìn)程的控制權(quán)。

static int ptrace_cont(pid_t pid) 
 
{int status; 
 
if (ptrace(PTRACE_CONT, pid, NULL, 0)) { 
 
fprintf(stderr, "Failed to ptrace_cont: %s\n", strerror(errno));return 1; 
 
} 
 
if (waitpid(pid, &status, __WALL) < 0) {fprintf(stderr, "Failed to wait for PID %d, %s\n", pid, strerror(errno)); 
 
return 1;} 
return 0;} 

5) Loader通過讀取目標(biāo)進(jìn)程T此時的%rax寄存器得到dlopen的返回值，恢復(fù)T最開始的執(zhí)行狀態(tài)，***釋放對T的控制

ptrace_getregs(pid, &regs); 
dlopen_ret = regs.rax; 
ptrace_setregs(pid, &saved_regs); 
ptrace_detach(pid); 

至此對目標(biāo)進(jìn)程T的熱補(bǔ)丁就完成了。下面我們看一個例子。

六、驗(yàn)證

假設(shè)我們運(yùn)行target程序，每隔一秒打印Hello一次:

# ./target 
Hello 
Hello 
… 

target程序由target本身和libold.so組成，分別代碼如下：

/* target.c */ 
#include <unistd.h> 
#include "old.h" 
 
int main() { 
    for (;;) { 
        print(); 
        sleep(1); 
    } 
} 
 
/* old.c */ 
#include <stdio.h> 
 
void print(void) 
{ 
    printf("Hello\n"); 
} 

編譯

gcc -fPIC --shared old.c -o libold.so 
gcc target.c ./libold.so -o target 

我們想要修改print函數(shù)，變成打印“Goodbye”。我們需要編寫熱補(bǔ)丁new.c，并添加新函數(shù)和constructor：

/* new.c */ 
#include <stdio.h> 
    #include <string.h>  
#include <sys/mman.h>  
#include <dlfcn.h>  
 
print_v2(void) 
{ 
    printf("Goodbye\n"); 
} 
 
static void __attribute__((constructor)) init(void) 
{  
    int numpages; 
    void *old_func_entry, *new_func_entry; 
 
    old_func_entry = dlsym(NULL, print); 
    new_func_entry = dlsym(NULL, print_v2); 
 
    #define PAGE_SHIFT              12  
    #define PAGE_SIZE               (1UL << PAGE_SHIFT)  
    #define PAGE_MASK               (~(PAGE_SIZE-1)) 
 
    numpages = (PAGE_SIZE - (old_func_entry & ~PAGE_MASK) >= size) ? 1 : 2; 
    mprotect((void *)(old_func_entry & PAGE_MASK), numpages * PAGE_SIZE, PROT_READ|PROT_WRITE|PROT_EXEC); 
    memset(old_func_entry, 0x48, 1); 
    memset(old_func_entry + 1, 0xb8, 1);  
    memcpy(old_func_entry + 2, &new_func_entry, 8);  
    memset(old_func_entry + 10, 0xff, 1); 
    memset(old_func_entry + 11, 0xe0, 1); 
}  

編譯：

gcc -fPIC --shared new.c -ldl -o libnew.so  

然后通過加載程序?qū)arget進(jìn)程打入熱補(bǔ)丁libnew.so，***我們對target程序打入這個熱補(bǔ)丁，觀察變化：

# ./target 
Hello 
Hello 
Goodbye 
Goodbye 
… 

我們發(fā)現(xiàn)熱補(bǔ)丁確實(shí)改變了print函數(shù)，***通過gdb進(jìn)一步確認(rèn)，可以看出print函數(shù)的入口被修改成48 b8 dc b6 15 a9 c1 7f 00 00 ff e0，與我們的預(yù)期相符：

(gdb) disas /r print 
Dump of assembler code for function print: 
   0x00007fc1a98f456c <+0>:     48 b8 dc b6 15 a9 c1 7f 00 00   movabs $0x7fc1a915b6dc,%rax 
   0x00007fc1a98f4576 <+10>:    ff e0   jmpq   *%rax # 這里print在入口處跳轉(zhuǎn)到0x7fc1a915b6dc這個地址 
… 
(gdb) info symbol 0x7fc1a915b6dc 
print_v2 in section .text of /root/process-hotupgrade/test/libnew.so # 0x7f2ea417971c這個地址就是print_v2函數(shù)的地址 

七、總結(jié)

我們介紹了應(yīng)用程序熱補(bǔ)丁的基本原理，實(shí)踐了一個應(yīng)用程序熱補(bǔ)丁demo。此類熱補(bǔ)丁適用于動態(tài)替換共享鏈接庫中的可見函數(shù)，可以修復(fù)例如glibc “GHOST漏洞”(CVE-2015-0235)等等，在UCloud我們利用熱補(bǔ)丁修復(fù)了若干缺陷，在用戶沒有感知的情況下把bug快速及時的修復(fù)。這些熱補(bǔ)丁修復(fù)程序里，絕大多數(shù)代碼是通用的，只需少數(shù)幾行做特殊替換。

上文介紹的熱補(bǔ)丁技術(shù)對于適用的場景非常理想，簡單可靠，但存在幾個缺點(diǎn)：

• 手寫熱補(bǔ)丁代碼門檻較高，特別是被修復(fù)函數(shù)的依賴函數(shù)鏈較長時手寫熱補(bǔ)丁很容易出錯
• 無法修復(fù)局部函數(shù)和局部變量(只能修復(fù)全局可見的函數(shù)和變量)

下一篇文章我會介紹一種更加先進(jìn)的應(yīng)用程序熱補(bǔ)丁技術(shù)。

【本文是51CTO專欄機(jī)構(gòu)作者“大U的技術(shù)課堂”的原創(chuàng)文章，轉(zhuǎn)載請通過微信公眾號(ucloud2012)聯(lián)系作者】

 戳這里，看該作者更多好文