攜程IT桌面全鏈路工具研發(fā)運(yùn)營實(shí)踐
一、前言
隨著企業(yè)規(guī)模的增長,在滿足合規(guī)、信息安全的要求下,管理大量電腦并滿足多樣化的員工需求,同時(shí)確保員工能夠高效、穩(wěn)定地工作,已成為一項(xiàng)很具有挑戰(zhàn)性的任務(wù)。
二、現(xiàn)狀
公司擁有大量的員工和電腦,電腦故障量較多,雖有各種自動(dòng)化工具幫助員工自行解決,但仍有不少故障需要運(yùn)維工程師人工排障。這種被動(dòng)式的排障管理模式不僅效率較低、耗時(shí)長,而且容易遺漏,影響員工的辦公效率。因此需考慮采用一種更加主動(dòng)、高效的桌面運(yùn)維模式,如自動(dòng)化的故障檢測和主動(dòng)修復(fù),以提高員工的辦公效率和運(yùn)維團(tuán)隊(duì)的工作效率。
三、全鏈路研發(fā)運(yùn)營實(shí)踐
為降低公司電腦故障量,引入主動(dòng)監(jiān)測電腦健康度的機(jī)制,及時(shí)發(fā)現(xiàn)電腦存在的已知問題,可以主動(dòng)自行修復(fù),或提醒用戶當(dāng)前電腦的健康情況,由用戶自行處置。對(duì)一些特定的故障做到提前預(yù)警并提前解決,以保證用戶能夠持續(xù)高效辦公。
3.1 架構(gòu)選型
- 數(shù)據(jù)采集需開發(fā)客戶端Agent常駐用戶PC,并定期執(zhí)行,考慮到公司電腦系統(tǒng)的多樣性(Windows/Mac/Linux),為避免多個(gè)平臺(tái)的重復(fù)開發(fā)而帶來的工作量,Agent選用新興的內(nèi)存安全和高性能的Rust語言,配合其生態(tài)下的跨平臺(tái)桌面應(yīng)用程序框架Tauri。實(shí)現(xiàn)具有跨平臺(tái)能力的Agent;
- Server端使用SpringBoot,為所有的Agent提供各類接口,完成策略下發(fā)、數(shù)據(jù)收集等;
- 客戶端采集/修復(fù)腳本支持Powershell、Bat、exe等類型,腳本均可通過全鏈路Server端管理頁面單獨(dú)管理發(fā)布,功能腳本和Agent獨(dú)立開,可以最大程度上做到Agent和腳本之間的松耦合,增加后續(xù)業(yè)務(wù)的可擴(kuò)展性,提高運(yùn)行效率;
- 管理后臺(tái)選用Django、Django-Simpleui、Vue配合開發(fā),通過配置化的框架,快速構(gòu)建功能豐富的管理后臺(tái),并使用Vue對(duì)需定制的頁面進(jìn)行完善和補(bǔ)充,提高開發(fā)效率;
3.2 前期業(yè)務(wù)評(píng)估和設(shè)計(jì)
- 公司電腦體量大,每臺(tái)電腦數(shù)十個(gè)檢測項(xiàng),加上一小時(shí)采集周期,系統(tǒng)將在短時(shí)間內(nèi)產(chǎn)生數(shù)千萬條數(shù)據(jù),在數(shù)據(jù)庫索引設(shè)計(jì)、整體架構(gòu)、多線程高并發(fā)編程等方面需做好充分設(shè)計(jì)。采用多線程、異步隊(duì)列機(jī)制對(duì)上報(bào)數(shù)據(jù)實(shí)現(xiàn)高效落庫,提高整體穩(wěn)定性和時(shí)效性;
- 全鏈路數(shù)據(jù)采集有兩種模式:定時(shí)客戶端采集上報(bào)和其他系統(tǒng)接口的實(shí)時(shí)查詢。后者依賴外部接口較多且響應(yīng)時(shí)間相差較大,需要在用戶檢索查詢時(shí)使用多線程同步等技巧,保證查詢速度和用戶體驗(yàn);
- 全鏈路Agent和Server端交互數(shù)據(jù)包括數(shù)據(jù)采集、腳本下載、策略下發(fā),各場景都需要保證其安全性,各接口均采用雙向不對(duì)稱加密對(duì)上報(bào)的數(shù)據(jù)和下載的腳本實(shí)現(xiàn)加解密,同時(shí)通過Server端的Token實(shí)現(xiàn)客戶端的會(huì)話鑒權(quán)機(jī)制,保證系統(tǒng)的安全性;
3.3 實(shí)戰(zhàn)業(yè)務(wù)流程
1) 客戶端
執(zhí)行調(diào)度:客戶端用戶登錄后,Agent定時(shí)在客戶端自動(dòng)調(diào)度運(yùn)行,執(zhí)行權(quán)限為System;
下載任務(wù):客戶端Agent向服務(wù)端請(qǐng)求,獲取客戶端所需要檢測的相關(guān)任務(wù)列表(檢查項(xiàng),如:C盤剩余空間、賬號(hào)鎖定狀態(tài)等),任務(wù)列表中包含檢查項(xiàng)Key、檢測腳本名、腳本MD5值、腳本運(yùn)行參數(shù)等信息;
采集腳本:客戶端Agent獲取對(duì)應(yīng)任務(wù)列表后,首先檢查本地緩存中是否存在相同MD5的文件,如果存在則直接運(yùn)行,如果不存在則Agent發(fā)起請(qǐng)求從服務(wù)端下載最新的腳本文件檢查校驗(yàn)MD5后緩存到本地,腳本類型可為:Powershell、bat、exe等;
采集數(shù)據(jù):客戶端Agent依次調(diào)度執(zhí)行各檢查項(xiàng)對(duì)應(yīng)的腳本,采集客戶端數(shù)據(jù);
數(shù)據(jù)上報(bào):所有檢測項(xiàng)數(shù)據(jù)采集完成后Agent將數(shù)據(jù)加密后上報(bào)到Server端,由Server端進(jìn)行解密、數(shù)據(jù)校驗(yàn)和存儲(chǔ);
修復(fù)腳本:Server端對(duì)采集數(shù)據(jù)結(jié)果檢查,校驗(yàn)后會(huì)將檢查結(jié)果異常需修復(fù)的項(xiàng),下發(fā)到客戶端Agent,返回?cái)?shù)據(jù)中包含了檢查項(xiàng)Key、修復(fù)腳本名、修復(fù)腳本MD5值、腳本參數(shù)、異常處理、超時(shí)時(shí)間類型等信息,參數(shù)類似采集腳本;
異常處理:修復(fù)腳本信息中,異常處理類型有“直接修復(fù)”、 “提醒修復(fù)”、“僅提醒”三種處理方案(處理類型可再后臺(tái)頁面配置)。Agent依次執(zhí)行所有“直接修復(fù)”相關(guān)的腳本,執(zhí)行后修復(fù)結(jié)果統(tǒng)一上報(bào)Server端進(jìn)行修復(fù)結(jié)果存儲(chǔ)?!疤嵝研迯?fù)”、“僅提醒”相關(guān)異常信息在桌面右下角彈框提醒,并對(duì)“提醒修復(fù)”類型的檢查項(xiàng)開放用戶確認(rèn)自助修復(fù),用戶自助修復(fù)的結(jié)果同時(shí)上報(bào)給Server端進(jìn)行數(shù)據(jù)存儲(chǔ);
任務(wù)結(jié)束:數(shù)據(jù)采集完成后Agent退出運(yùn)行,關(guān)閉與服務(wù)端的會(huì)話,釋放系統(tǒng)資源;
2) Server端
下發(fā)采集任務(wù):Server端緩存所有檢查項(xiàng)信息(檢測項(xiàng)信息中會(huì)包含腳本的MD5值,這在下載流程中會(huì)用到),緩存保存2分鐘,當(dāng)接收到客戶端任務(wù)查詢請(qǐng)求時(shí),優(yōu)先去緩存中查詢,緩存中沒有則去數(shù)據(jù)庫查詢并更新緩存,即能保證查詢的速度,同時(shí)減輕數(shù)據(jù)庫的壓力;
下發(fā)采集腳本:檢測腳本&修復(fù)腳本均為小文件,以BLOB二進(jìn)制大對(duì)象存數(shù)據(jù)庫,同時(shí)記錄每個(gè)腳本的MD5值,與檢查項(xiàng)一致,腳本信息同時(shí)緩存,客戶端請(qǐng)求下載文件時(shí),根據(jù)請(qǐng)求體中的MD5值匹配腳本;
數(shù)據(jù)校驗(yàn)保存:每個(gè)檢查項(xiàng)均可獨(dú)立配置檢測結(jié)果的標(biāo)準(zhǔn)值和校驗(yàn)邏輯,系統(tǒng)對(duì)“標(biāo)準(zhǔn)值校驗(yàn)邏輯”列表中的校驗(yàn)項(xiàng)實(shí)現(xiàn)了不同的匹配邏輯,客戶端上報(bào)檢測結(jié)果時(shí),Server端根據(jù)檢查項(xiàng)配置的校驗(yàn)規(guī)則對(duì)每條檢查數(shù)據(jù)進(jìn)行校驗(yàn),所有采集數(shù)據(jù)計(jì)算出正常/異常后保存數(shù)據(jù)庫,數(shù)據(jù)采用了異步隊(duì)列的方式落庫存儲(chǔ),提高接口的時(shí)效性,減低客戶端接口響應(yīng)時(shí)長,同時(shí)所有檢測異常的數(shù)據(jù),Server端將相關(guān)檢查項(xiàng)信息(包括修復(fù)腳本信息、異常處理類型等)返回給客戶端進(jìn)行進(jìn)一步的修復(fù)工作;
保存修復(fù)結(jié)果:Server端接收客戶端上報(bào)給修復(fù)結(jié)果,Server端保存修復(fù)結(jié)果;
3) 運(yùn)維管理
全鏈路最終交付對(duì)象是桌面運(yùn)維團(tuán)隊(duì),運(yùn)維管理模塊必不可少,全鏈路提供的管理頁面包含了檢查項(xiàng)、腳本、灰度管理、修復(fù)日志、檢測結(jié)果查詢等模塊。
檢查項(xiàng)管理:工程師可以根據(jù)業(yè)務(wù)情況自定義新增檢查項(xiàng),檢查項(xiàng)關(guān)鍵字段包括CheckKey(檢查項(xiàng)唯一標(biāo)識(shí))、開關(guān)(檢測項(xiàng)是否可用)、提醒類型(直接修復(fù)、提醒修復(fù)、提醒)、實(shí)時(shí)查詢(檢查項(xiàng)是否實(shí)時(shí)查詢,只有非實(shí)時(shí)查詢類的檢查項(xiàng)才會(huì)在客戶端采集數(shù)據(jù))、灰度策略(檢測項(xiàng)上線或變更時(shí)的灰度功能,保證檢查項(xiàng)的平穩(wěn)上線)、標(biāo)準(zhǔn)值(每個(gè)檢查項(xiàng)的檢測結(jié)果標(biāo)準(zhǔn)值或標(biāo)準(zhǔn)值集合)、校驗(yàn)邏輯(包括大于、小于、等于、不包含、被包含等,用于校驗(yàn)數(shù)據(jù)結(jié)果);
腳本管理:該模塊統(tǒng)一處理客戶端檢測、修復(fù)腳本。上傳后的腳本會(huì)關(guān)聯(lián)檢查項(xiàng)CheckKey和腳本類型(檢測腳本、修復(fù)腳本),以關(guān)聯(lián)檢查腳本、修復(fù)腳本和檢查項(xiàng)的關(guān)聯(lián)關(guān)系。此模塊還關(guān)聯(lián)到具體灰度策略(每個(gè)腳本均有獨(dú)立灰度功能)、操作系統(tǒng)選項(xiàng)(包含Windows、Mac、Linux,目前只用到Windows,其它為未來擴(kuò)展預(yù)留)、腳本參數(shù)(如hostname、username等,用于客戶端執(zhí)行腳本時(shí)的固定參數(shù))和超時(shí)時(shí)間(限制客戶端腳本的執(zhí)行時(shí)間,保證采集過程的正常進(jìn)行)。為確保流程完整性和安全性,腳本上傳會(huì)啟動(dòng)審批流程,只有審批通過的腳本才能投入生產(chǎn);
灰度策略管理:用于支持檢查項(xiàng)和腳本的生產(chǎn)灰度,灰度維度包括:員工、郵件組、團(tuán)隊(duì)、工種、國家、員工批次、電腦名,灰度策略包含黑名單和白名單,黑白名單可以多維度單獨(dú)配置,并支持黑白名單同時(shí)生效,可提高灰度場景的靈活性;
員工批次管理:員工批次是灰度策略中的一種,可以靈活自定義某些沒有職級(jí)或組織結(jié)構(gòu)關(guān)聯(lián)關(guān)系的員工為一個(gè)批次,該邏輯可以覆蓋補(bǔ)齊所有灰度場景,進(jìn)一步提升灰度策略的靈活性;
數(shù)據(jù)查詢:運(yùn)維管理界面提供數(shù)據(jù)采集結(jié)果的查詢、篩選,每條結(jié)果包機(jī)器名、用戶、檢查項(xiàng)、采集結(jié)果、校驗(yàn)結(jié)果、上報(bào)時(shí)間等;
其他:除以上的主要功能以外,全鏈路運(yùn)維模塊還提供了一些額外的板塊,包含提醒配置(用于記錄客戶端用戶選擇提醒冷卻周期)、權(quán)限管理(用于配置和管理每個(gè)管理板塊的用戶權(quán)限,提高系統(tǒng)的安全性)等;
4) 安全措施
客戶端Agent和Server端之間的數(shù)據(jù)交互采用雙向不對(duì)稱加密方式,客戶端和Server端分別持有一對(duì)公鑰和私鑰(Agent擁有Agent的私鑰+Server端的公鑰,Server端擁有Agent的公鑰+Server端的私鑰)。并增加Server端Token鑒權(quán),實(shí)現(xiàn)會(huì)話機(jī)制,當(dāng)Server端接收到Agent請(qǐng)求時(shí),需要驗(yàn)證Token的有效性及時(shí)效性;
公司辦公環(huán)境復(fù)雜(有內(nèi)網(wǎng)、獨(dú)立組網(wǎng)、零信任網(wǎng)絡(luò)環(huán)境等),員工辦公電腦可能同時(shí)存在于各種網(wǎng)絡(luò)環(huán)境中,為了保證Agent能在各種環(huán)境內(nèi)正常工作,Server端同時(shí)開通內(nèi)、外網(wǎng)域名,Agent第一個(gè)請(qǐng)求首先使用內(nèi)網(wǎng)域名,無法通信則自動(dòng)切換外網(wǎng)域名,本次會(huì)話中的后續(xù)請(qǐng)求均使用確定好的域名。該機(jī)制實(shí)現(xiàn)了Agent在各種網(wǎng)絡(luò)環(huán)境的自動(dòng)適配,保證了系統(tǒng)的可用性;
每次Agent調(diào)度執(zhí)行相關(guān)腳本時(shí),都計(jì)算本地緩存文件和Sever端接口中的MD5,確保本地緩存文件不會(huì)被篡改,避免高權(quán)限執(zhí)行危險(xiǎn)命令和程序;
3.4 全鏈路業(yè)務(wù)流程圖(FLT)
3.5 員工電腦健康度查詢
3.6 困難和挑戰(zhàn)
1) 采集數(shù)據(jù)量激增,數(shù)據(jù)庫性能挑戰(zhàn)
隨著檢查項(xiàng)和接入PC數(shù)量增加,累計(jì)的數(shù)據(jù)量急劇增加(超過5000W),數(shù)據(jù)庫的性能和系統(tǒng)穩(wěn)定受到嚴(yán)峻挑戰(zhàn)。經(jīng)過仔細(xì)研究后優(yōu)化,采用數(shù)據(jù)增量更新策略,同一PC、用戶、檢測項(xiàng)的結(jié)果,如果與前一次執(zhí)行結(jié)果一致,則只更新數(shù)據(jù)的采集時(shí)間,只有在數(shù)據(jù)不一致時(shí)才新增數(shù)據(jù)記錄。通過額外字段標(biāo)識(shí)記錄采集結(jié)果是否為當(dāng)前活躍結(jié)果,并配合每個(gè)客戶端Agent執(zhí)行日志,統(tǒng)計(jì)每次Agent采集明細(xì),此機(jī)制在保證數(shù)據(jù)完整性的同時(shí),大大減緩了數(shù)據(jù)量的增長,據(jù)統(tǒng)計(jì)數(shù)據(jù)量減少超過70%;
2) 實(shí)時(shí)檢查項(xiàng)查詢邏輯優(yōu)化
實(shí)時(shí)檢查項(xiàng)的數(shù)據(jù)均通過外部接口調(diào)用獲取,工程師在線查詢各個(gè)檢測項(xiàng)的執(zhí)行結(jié)果時(shí)后臺(tái)實(shí)時(shí)觸發(fā)接口調(diào)用查詢,對(duì)查詢的時(shí)效性要求較高,隨著實(shí)時(shí)檢查項(xiàng)數(shù)量的增加,查詢速度逐漸難以滿足工程師的要求。采用多個(gè)實(shí)時(shí)檢查項(xiàng)并行查詢機(jī)制,并配合查詢結(jié)果緩存策略,提高了查詢速度。
3) 彈框顯示GUI交互問題處理
全鏈路Agent以System權(quán)限調(diào)度運(yùn)行,System權(quán)限啟動(dòng)的應(yīng)用不能直接與當(dāng)前用戶的GUI進(jìn)行交互,導(dǎo)致用戶客戶端右下角的彈框提示也無法顯示。對(duì)Agent調(diào)度程序進(jìn)行了優(yōu)化改造,拆分為FLT-System.exe和FLT-User.exe,分別以system權(quán)限運(yùn)行和當(dāng)前登錄用戶賬號(hào)運(yùn)行,F(xiàn)LT-System.exe主要負(fù)責(zé)執(zhí)行系統(tǒng)級(jí)別的檢測修復(fù)腳本(例如:網(wǎng)絡(luò)信息檢測),F(xiàn)LT-User.exe負(fù)責(zé)執(zhí)行用戶級(jí)別的檢測修復(fù)腳本,同時(shí)用戶彈框界面通過FLT-User.exe喚起。
Agent改造邏輯如下:
- FLT-System.exe、FLT-User.exe為兩個(gè)程序模塊,依次調(diào)度執(zhí)行,同時(shí)兩者之間通過RPC通信實(shí)現(xiàn)數(shù)據(jù)交互;
- FLT-User.exe向Server發(fā)送請(qǐng)求獲取客戶端所需要檢測的相關(guān)任務(wù)列表及腳本的下載,腳本運(yùn)行權(quán)限分為system權(quán)限、user權(quán)限,其中system權(quán)限的腳本FLT-User.exe向FLT-System.exe發(fā)起RPC調(diào)度請(qǐng)求,而user權(quán)限的腳本FLT-User.exe會(huì)直接調(diào)度運(yùn)行;
- FLT-System.exe啟動(dòng)開啟心跳監(jiān)測,F(xiàn)LT-User.exe每過5秒會(huì)向FLT-System.exe請(qǐng)求心跳狀態(tài),確保程序正常運(yùn)行,防止系統(tǒng)資源占用。如果不存在心跳,則FLT-User.exe自行退出,釋放系統(tǒng)資源。同時(shí)FLT-System.exe如果在連續(xù)3次都未獲得心跳檢測請(qǐng)求,也自行退出,釋放系統(tǒng)資源;
- 兩個(gè)exe之間交互采用雙向不對(duì)稱加密方式通信,RPC調(diào)用為localhost網(wǎng)絡(luò)地址,防止其他應(yīng)用調(diào)用exe接口,保證系統(tǒng)的安全;
- FLT-User.exe可在電腦右下角彈出窗口,解決GUI交互的問題,實(shí)現(xiàn)用戶交互;
Agent拆分的具體設(shè)計(jì)圖:
客戶端交互彈窗:
4) 客戶端覆蓋率提升
全鏈路工具FLT-User.exe使用當(dāng)前登錄用戶權(quán)限啟動(dòng),故在注銷狀態(tài)下無法運(yùn)行,導(dǎo)致注銷狀態(tài)下的客戶端數(shù)據(jù)無法采集,為了提升客戶端的覆蓋面,再次對(duì)全鏈路Agent調(diào)度邏輯進(jìn)行優(yōu)化。注銷狀態(tài)時(shí)FLT-System.exe和FLT-User.exe均采用System權(quán)限執(zhí)行,同時(shí)限制只運(yùn)行System權(quán)限相關(guān)的腳本(User權(quán)限相關(guān)腳本可能會(huì)執(zhí)行異常,故在此情況下不再調(diào)度),注銷狀態(tài)下無需彈框提醒,GUI交互無問題;
5) 運(yùn)維故障快速定位和解決
全鏈路工具覆蓋公司所有Windows客戶端,全鏈路運(yùn)維工作很容易造成線上故障,風(fēng)險(xiǎn)較大,例如:工程師無意修改錯(cuò)檢查項(xiàng)標(biāo)準(zhǔn)值,就會(huì)導(dǎo)致采集的數(shù)據(jù)產(chǎn)生大量的異常值,對(duì)運(yùn)維工作會(huì)造成極大的負(fù)面影響,且排障難度較大。為能快速定位和解決運(yùn)維故障,在運(yùn)維管理系統(tǒng)中增加了運(yùn)維日志模塊(審計(jì)日志),記錄后臺(tái)頁面操作的所有日志,可以快速查詢所有的配置修改,為系統(tǒng)長期穩(wěn)定運(yùn)行打好基礎(chǔ)。
審計(jì)日志查詢頁面如下:
6) 采集鏈路腳本執(zhí)行情況統(tǒng)計(jì)
由于采集數(shù)據(jù)是通過客戶端單線程隊(duì)列順序執(zhí)行腳本實(shí)現(xiàn),腳本執(zhí)行的耗時(shí)會(huì)直接影響采集的效率,再對(duì)所有采集工作耗時(shí)情況統(tǒng)計(jì)分析,正常情況單次采集工作的總耗時(shí)平均在2min~5min,非正常的采集耗時(shí)有的超過1小時(shí),這種非正常采集降低了全鏈路的可用性和準(zhǔn)確性。對(duì)FLT-System、FLT-User調(diào)度腳本采集數(shù)據(jù)的邏輯上進(jìn)行優(yōu)化,新增腳本執(zhí)行耗時(shí)統(tǒng)計(jì)、腳本執(zhí)行超時(shí)限制(在腳本管理后臺(tái)可配置),同時(shí)數(shù)據(jù)采集記錄表新增“采集耗時(shí)”字段,記錄檢測項(xiàng)腳本執(zhí)行的時(shí)間,為后續(xù)各個(gè)檢查、修復(fù)腳本的優(yōu)化提供數(shù)據(jù)支持。同時(shí)對(duì)執(zhí)行超時(shí)的腳本進(jìn)行主動(dòng)中止,避免過多消耗客戶端資源。優(yōu)化后提升了整個(gè)采集工作的效率,進(jìn)一步完善了全鏈路工具。
四、成果
通過全鏈路工具的運(yùn)營,實(shí)現(xiàn)了電腦故障的自動(dòng)檢測、提前發(fā)現(xiàn)、自動(dòng)修復(fù),改變了以往用戶報(bào)障后被動(dòng)式排障的運(yùn)營管理模式。通過自動(dòng)化故障檢測和主動(dòng)修復(fù)機(jī)制,全面提高了電腦的穩(wěn)定性和安全性,整體人工事件量降低明顯,提高了員工滿意度。
全鏈路工具上線后,使得IT運(yùn)維團(tuán)隊(duì)能夠通過技術(shù)手段,更加有效的管理全公司數(shù)萬臺(tái)用途各異、配置不同的辦公電腦,大大提高運(yùn)維團(tuán)隊(duì)的工作效率。并且提供了準(zhǔn)實(shí)時(shí)的電腦運(yùn)行數(shù)據(jù)監(jiān)控,同時(shí)為網(wǎng)絡(luò)質(zhì)量檢測、辦公電腦數(shù)據(jù)收集等業(yè)務(wù)場景提供了有力的支撐。確保滿足多樣化員工需求和信息安全的前提下,能夠高效、穩(wěn)定的開展工作。
系統(tǒng)上線前后,各類PC主要問題,周平均故障量下降20%-30%。運(yùn)維團(tuán)隊(duì)人工服務(wù)量下降超過10%,業(yè)務(wù)效果顯著。
上線前后主要檢查修復(fù)項(xiàng)故障量下降:
全鏈路檢測項(xiàng)范圍內(nèi)客戶端健康度提升:
五、未來
全鏈路數(shù)據(jù)采集腳本的執(zhí)行需要依賴于客戶端的環(huán)境,相同的腳本在不同的客戶端執(zhí)行后可能有不同的結(jié)果(成功或者異常),后續(xù)需要具體分析腳本異常問題,提升數(shù)據(jù)有效性。在未來需要持續(xù)不懈地優(yōu)化和完善系統(tǒng),不斷突破性能的極限,賦予全鏈路更加強(qiáng)大的功能,為企業(yè)提供更為卓越的桌面系統(tǒng)運(yùn)營解決方案。