與Java虛擬機(jī)對(duì)干?無需操作系統(tǒng)直接運(yùn)行Python代碼
Josh Triplett以一個(gè)“笑點(diǎn)”開始了他在PyCon 2015上的演講:移植Python使其無需操作系統(tǒng)運(yùn)行:他和他的英特爾同事讓解釋器能夠在GRUB引導(dǎo)程序、BIOS或EFI系統(tǒng)上運(yùn)行。連演講的休息時(shí)間也沒放過,他有很多有趣的要說的事情,還有許多讓人大開眼界的演示。
Python在Boot Loader上運(yùn)行的最初想法是能夠測(cè)試硬件,像BIOS,可擴(kuò)展固件接口(EFI)以及高級(jí)配置和電源接口(ACPI),而無需去寫一些“一次性測(cè)試項(xiàng)目“程序集。傳統(tǒng)來說,英特爾已經(jīng)寫了很多針對(duì)DOS(BIOS系統(tǒng))或EFI系統(tǒng)的測(cè)試程序。無論是DOS還是EFI都不提供環(huán)境保護(hù),這樣程序就能夠駐入在內(nèi)存和硬件中去做他們所需的任何事情。
他不過是想用腳本來寫測(cè)試代碼而已,“因?yàn)檫@樣比較有趣”。他既不想寫太多的 C 語言代碼,也不想像以前那樣用那個(gè)能計(jì)算 C-類 表達(dá)式的 GRUB shell。 其實(shí), 他說,“C 代碼寫的越少, 我就越輕松"。
隨著時(shí)間的推移, 移植到 GRUB 中的 Python 已經(jīng)變成操控硬件的利器。它又把我們帶回到使用 PEEK 和 POKE 在 Commodore 64(or DOS) 上面操控硬件的美好時(shí)光。“那些事是現(xiàn)在的硬件設(shè)備無法完成的”他說。
BIOS Implementation Test Suite(BITS),正如其名,將會(huì)運(yùn)行在多種固件上的GRUB中:32位BIOS或32/64位EFI。他使用原始的GRUB或GRUB 2。基于標(biāo)準(zhǔn)的PYTHON解釋器(如CPython),但是他道歉道:它使用PYTHON2.7。這個(gè)工具的目標(biāo)受眾對(duì)這個(gè)版本的語言相當(dāng)熟悉。如果不是這樣,他更喜歡在以后遷移到Python 3.
有一個(gè)“讀取-求值-輸出 循環(huán)” 交互環(huán)境[read-eval-print loop (REPL)]讓你完全訪問Python語言。它包括Tab完成,歷史記錄,和行編輯。一個(gè)標(biāo)準(zhǔn)庫的“大量碎片”已經(jīng)被一直BITS上運(yùn)行。最重要的是,這個(gè)項(xiàng)目已經(jīng)添加了一些對(duì)平臺(tái)支持的模塊:CPU,SMP(symmetric multi-processing),ACPI,EFI以及其他。INTEL已經(jīng)創(chuàng)建了一個(gè)測(cè)試集以及 使用Python寫了使用以上模塊的一些試探性的工具。
Triplett然后從幻燈片切換到了虛擬機(jī)的GRUB中運(yùn)行一個(gè)Python解釋器的提示界面。他輸入了兩句語句到解釋器來展示它支持列表解析和任意大的整數(shù)(如:bignums)。
要獲得一個(gè)python交互環(huán)境,GRUB需要調(diào)用一個(gè)單獨(dú)的函數(shù):
- PyRun_InteractiveLoop(stdin, "<stdin>");
 
它會(huì)處理所有REPL[讀取-執(zhí)行-輸出 循環(huán)],包括對(duì)輸入的解析和執(zhí)行、行編輯等等。
這兩個(gè)參數(shù)簡單的表明了在哪里獲取輸入 和 當(dāng)發(fā)生異常時(shí)在traceback里要輸出什么來當(dāng)做源文件。但是想要能在GRUB里調(diào)用那個(gè)函數(shù)還有一些工作要做。
因?yàn)椴荒苁褂脕碜杂?Linux 主機(jī)的工具鏈和特性,這個(gè)項(xiàng)目不能像平常那樣安裝和配置 Python。對(duì)于 GRUB 來說,沒有 GNU 目標(biāo)聲明(例如:用于交叉編譯的 cpu-vendor-od-triple)和目標(biāo)頭文件可以使用。因此,BITS 將所有的 Python 源文件添加到了 GRUB 的構(gòu)件系統(tǒng)中。本質(zhì)上說那僅僅是一些GRUB 添加 Python 所必需的 C 語言文件。通常,autoconf 將創(chuàng)建 Python 構(gòu)件程序中的apyconfig.h 文件來說明哪些功能在平臺(tái)上存在。相反的,這個(gè)項(xiàng)目手動(dòng)的創(chuàng)建 apyconfig.h 文件大量“不,我沒有這個(gè)功能”的配置參數(shù)和一小撮“是”的條目。
許多在 pyconfig.h 文件中被列出的功能是被(或不被)操作系統(tǒng)所提供的,但是在這種情況下是沒有操作系統(tǒng)的。Python 的確需要最低限度的一些支持功能,以及一些額外被配置的特性。這個(gè)項(xiàng)目需要去做的是提供任何被渴望而又不存在功能。
CPython 需要什么
那么,什么情況下你真的需要運(yùn)行 CPython?Triplett 提供的大量實(shí)例來證明什么時(shí)候需要運(yùn)行 CPython。有一些平常的文件操作就需要了,比如說:使用 stat () 來確定一個(gè)路徑是否包含 __init__或是文件中是否包含 __init__。增加 simpleisatty()(以位為單位,文件描述符是少于三則返回 true)好比經(jīng)歷一個(gè) seek() 執(zhí)行一樣。為了支持那些功能,不得不添加一個(gè)簡單的文件描述符表,因?yàn)?GRUB 的文件功能使用結(jié)構(gòu)體指針,而不是描述符。
解析器把一個(gè)字符放回在輸入流的時(shí)候,Python 也需要使用 ungetc() 。而不是在添加一個(gè)字符緩沖區(qū)的時(shí)候使用,即添加"快速 hack"來尋找后一個(gè)字符。添加開放式編碼的 qsort() 時(shí)也一樣一樣要使用 ungetc();GRUB 不任何支持排序。
GRUB還沒有支持的另一個(gè)方面是浮點(diǎn)運(yùn)算。項(xiàng)目組發(fā)現(xiàn)了一個(gè)許可的浮點(diǎn)運(yùn)算庫FDLIBM。它沒有使用任何浮點(diǎn)硬件加速,這在GRUB環(huán)境是非常有用的。這意味啊即使在固件沒完全初始化浮點(diǎn)運(yùn)算硬件時(shí)也能使用浮點(diǎn)運(yùn)算。
在使用Python時(shí),我們大量使用printf()和sprintf()。大部分情況,GRUB版本工作很好,但對(duì)“%%”(輸出一個(gè)”%“)這種特殊格式還不支持。事實(shí)證明,Python頻繁使用格式化的字符串輸出。
在被發(fā)現(xiàn)和修復(fù)之前,怪異的BUG仍然存在。
這個(gè)工程還有一些性能問題需要解決。首先,啟動(dòng)時(shí)間出乎意料的長。對(duì)硬件來說,這是十分痛苦的事情,但是在 CPU 的模擬電路上也很糟糕(“我們不想花三天時(shí)間做引導(dǎo)”)。部分問題來自于 Python 的解釋器,每次它讀取一個(gè)數(shù)據(jù)的時(shí)候都要調(diào)用 usesungetc()。GRUB 沒有太多高速緩存的磁盤,所以所有 I/O 端口直接訪問磁盤。
通過加入對(duì) .pyc (Python 字節(jié)代碼)文件格式的支持,這個(gè)工程能夠提前減少許多語法分析工作。主機(jī)的版本和 GRUB 的版本在同一時(shí)刻編譯,用于 Python 文件在啟動(dòng)時(shí)的編譯工作。
這做出了實(shí)質(zhì)性的提升,但是由于stat()的原因,啟動(dòng)時(shí)間仍然有些慢。他說在Linux系統(tǒng)上,stat()僅花費(fèi)幾微秒的時(shí)間,但是BITS版本會(huì)花費(fèi)幾毫秒。增加對(duì)zipimport的支持能讓工程把所有的.py文件打包放入一個(gè)單一的ZIP文件中來避免對(duì)stat()的調(diào)用。
這個(gè)工程希望做有歷史和tab自動(dòng)補(bǔ)全的REPL(讀取﹣求值﹣輸出循環(huán)),但是一般獲得支持的方式是使用GUN的Readline library。這個(gè)庫由有終端設(shè)備的POSIX(可移植操作系統(tǒng)接口)提供環(huán)境支持。開發(fā)者不想寫一個(gè)“C代碼文件”來支持它,所以他們用Python寫了一個(gè)讀取線支持來替代。CPython的PyOS_ReadlineFunctionPointer被稱為一個(gè)使用C語言API的新Python函數(shù)的C函數(shù)集合。
為了能夠使用其他的操作和多種的測(cè)試套件,仍迫切需要構(gòu)建 GRUB 的動(dòng)態(tài)菜單。GRUB 已經(jīng)為設(shè)備提供了磁盤和文件系統(tǒng)像磁盤分區(qū)和 CD 驅(qū)動(dòng)器(例如:“(hd0)”,"(cd)")因此 BITS 增加了一個(gè)的“(python)”設(shè)備和一個(gè)工作起來像在 Linux 用戶空間的文件系統(tǒng)(譯者注:打不開請(qǐng)加梯子)。因此 Python 代碼能訪問任意的內(nèi)存文件,例如在 (python)/menu.cfg 下的菜單配置文件,“即使我們沒有寫更多的C代碼”,Triplett 說道。
訪問硬件
既然目標(biāo)是提供一個(gè)友好的測(cè)試硬件環(huán)境,Python 需要能夠訪問它。一個(gè)叫做“bits”的模塊被添加進(jìn)來提供訪問各種硬件的功能,例如:CPUID,特殊模塊寄存器 (MSRs),I/O 端口,和內(nèi)存映射 I/O。他用幾行代碼展示了這些能力。
- >>> import bits
 - >>> from ctypes import *
 - >>> c = bits.cpuid(0, 0)
 - >>> c
 - cpuid_result(eax=0x..., ebx=..., ecx=..., edx=...)
 
他引入ctypes模塊,以便在下一部分演示中“操作原始內(nèi)存片”。對(duì)于那些想要深挖一些的人來說,幾乎所有演示都可以在這個(gè)YouTube視頻的演講中看到。cpuid()調(diào)用返回了CPU0的CPUID,他之后將其打印出來。他問:“這是不是很有趣?我們正從Python中得到處理器的寄存器信息。” 接著,他使用Python來解釋這個(gè)結(jié)果:
- >>> buf = (c_uint32*3)(c.ebx, c.edx, c.ecx)
 - >>> (c_char*12).from_buffer(buf).value
 - 'GenuineIntel'
 
三個(gè)寄存器包含描述處理器類型的標(biāo)識(shí)符。他使用ctypes模塊中的類型,以字符串的形式重新解釋這三個(gè)寄存器(按照之前的順序)的信息,結(jié)果顯示為處理器類型。
Intel希望能夠測(cè)試高度并行化的系統(tǒng),但GRUB只了解啟動(dòng)了的CPU的信息。所以BITS在系統(tǒng)中喚醒每個(gè)CPU,并把它們放入一個(gè)睡眠循環(huán)中,使用MWAIT(x86監(jiān)視器等待指令)等待工作的到來。特定CPU有專門的喚醒函數(shù)和執(zhí)行函數(shù)。
這個(gè)項(xiàng)目還準(zhǔn)備用Python獲取ACPI的信息和方法。這參考了ACPI組件架構(gòu) (ACPICA)的實(shí)現(xiàn)并把它加入BITS中。由于全部是C代碼,所以增加了Python綁定。這一做法使得Python可以調(diào)用任意ACPI方法——只要先將參數(shù)轉(zhuǎn)換成ACPI類型并將結(jié)果轉(zhuǎn)成Python類型。他用了一個(gè)簡單的Python程序演示了如何將虛擬機(jī)中所有設(shè)備的硬件ID顯示出來:
- >>> import acpi
 - >>> print acpi.dump('_HID')
 
Triplett聲稱他不會(huì)繼續(xù)深入講解BITS硬件探索的細(xì)節(jié)。他已經(jīng)在其它演講中更加詳盡地解釋過了。
英特爾也希望系統(tǒng)能使用這個(gè)固件而不是BIOS訪問EFI。這種擴(kuò)展名義上是指一切在EFI中都是”協(xié)議“,每一個(gè)都包含了原生c語言函數(shù)調(diào)用。要做到這樣,通過libffi提供的外部函數(shù)接口被移植到GRUB并且添加了支持EFI調(diào)用轉(zhuǎn)換的功能。使用這種方式和Python c類型的模塊(Python提供的c語言類型的接口和函數(shù))允許解釋器訪問EFI。他僅使用Python演示了訪問EFI的方法:
- >>> import efi
 - >>> out = efi.system_table.ConOut.contents
 - >>> out.ClearScreen(out)
 - [ which clears the screen ]
 - >>> out.OutputString(out, 'Hello world!\r\n')
 - Hello world!
 
訪問EFI后,允許Python使用EFI文件協(xié)議去創(chuàng)建目錄和寫文件到EFI文件系統(tǒng)中。這是非常有幫助的,因?yàn)镚RUB僅僅能夠讀文件。不僅僅如此,存在著圖像輸出協(xié)議(GOP)能夠讀寫屏幕內(nèi)容。正如他所解釋的,幻燈片就是簡單的圖像,事實(shí)上是通過在筆記本上BITS和EFI顯示出來的。在BITS的環(huán)境下,做出了這個(gè)幻燈片和demo,因此,事實(shí)來說,整個(gè)演示就是一個(gè)demo,他說這些話時(shí)周圍響起了掌聲。這樣做是不需要任何一行新的C語言代碼的。
最后他保存了認(rèn)為最好的demo,并從EFI(可擴(kuò)展固件接口)GOP(畫面組)的幀緩沖區(qū)中作為Python啟動(dòng),當(dāng)他敲完最后的幾行代碼,很明顯機(jī)器開始識(shí)別了,計(jì)算并顯示了一個(gè)400x400大小的 Mandelbrot set(曼德布洛特集合)的灰度圖片。他對(duì)周圍鼓掌的人說:“在EFI圖形協(xié)議中僅用八行Python代碼顯示了不規(guī)則圖形(Fractal)”。大約要15秒來繪出圖像,有點(diǎn)慢,他說,那不是Python的問題,而是因?yàn)槭褂眉冘浖M(jìn)行浮點(diǎn)運(yùn)算了。
在談話最后,Triplett指出在BITS(后臺(tái)智能傳輸服務(wù))里沒有中斷處理的鉤子函數(shù)(hook),但是這很容易就添加上的。他說,在像Mirage OS(和其它的“類似操作系統(tǒng)”)也能在BITS上添加Python代碼,并且和這沒有多大區(qū)別。“待辦事件清單上的下一個(gè)有趣的項(xiàng)目”是添加Python綁定的EFI TCP網(wǎng)絡(luò)協(xié)議和鉤子到Python的socket模塊,看看能否在那樣的環(huán)境(BITS)下運(yùn)行一個(gè)簡單的HTTP服務(wù)(SimpleHTTPServer)。這樣就能添加一個(gè)“網(wǎng)絡(luò)REPL(web REPL)”到BITS環(huán)境了。
英文原文:Python without an operating system















 
 
 






 
 
 
 