告別緩慢下載，Cloudflare帶你體驗(yàn)極速Docker鏡像加速
作者：didiplus
通過(guò)利用Cloudflare的CDN服務(wù)，我們可以顯著提升Docker鏡像的下載速度。這種方法不僅簡(jiǎn)單易行，而且免費(fèi)，是開(kāi)發(fā)者加速Docker鏡像拉取的一個(gè)有效方案。
背景
國(guó)內(nèi)的Docker鏡像服務(wù)似乎突然進(jìn)入了寒冬，不僅Docker鏡像服務(wù)受到了影響，連NPM鏡像也可能面臨下架的風(fēng)險(xiǎn)。這對(duì)依賴這些服務(wù)的開(kāi)發(fā)者們來(lái)說(shuō)，無(wú)疑是一個(gè)不小的困擾。
近日，SJTUG（上海交通大學(xué)Linux用戶組）發(fā)布了一則令人震驚的公告，宣布“即時(shí)起中止對(duì)Docker Hub倉(cāng)庫(kù)的鏡像服務(wù)”。公告中建議，如果開(kāi)發(fā)者們?cè)谠L問(wèn)官方源時(shí)遇到困難，可以嘗試使用其他仍在服務(wù)的鏡像源。
在中科大鏡像網(wǎng)站，也有這條一條消息：
在國(guó)內(nèi)Docker鏡像服務(wù)面臨寒冬、官方源訪問(wèn)困難的情況下，開(kāi)發(fā)者們急需穩(wěn)定且快速的解決方案。自建Docker鏡像加速器不僅能確保開(kāi)發(fā)工作的連續(xù)性，還能提升鏡像下載速度，避免因鏡像源問(wèn)題導(dǎo)致的項(xiàng)目延誤和開(kāi)發(fā)困擾。
前提條件
- 一個(gè)已經(jīng)注冊(cè)的Cloudflare賬戶。
- 一個(gè)域名，并已經(jīng)添加到Cloudflare中進(jìn)行管理。
- 一臺(tái)可以訪問(wèn)互聯(lián)網(wǎng)的服務(wù)器。
步驟一：準(zhǔn)備工作
登錄Cloudflare[1]平臺(tái)，點(diǎn)擊Worker和Pages，然后點(diǎn)擊創(chuàng)建，如下圖所示：
填寫自定義的 Worker名稱，點(diǎn)擊部署，如下圖所示：
步驟二：部署Docker加速器
進(jìn)入到部署成功頁(yè)面后，再點(diǎn)擊編輯代碼，如下圖所示：
將下面代碼復(fù)制粘貼到初始化代碼中，進(jìn)行替換。
// Docker鏡像倉(cāng)庫(kù)主機(jī)地址
let hub_host = 'registry-1.docker.io'
// Docker認(rèn)證服務(wù)器地址
const auth_url = 'https://auth.docker.io'
// 自定義的工作服務(wù)器地址
let workers_url = 'https://你的域名'
let 屏蔽爬蟲(chóng)UA = ['netcraft'];
// 根據(jù)主機(jī)名選擇對(duì)應(yīng)的上游地址
function routeByHosts(host) {
// 定義路由表
const routes = {
// 生產(chǎn)環(huán)境
"quay": "quay.io",
"gcr": "gcr.io",
"k8s-gcr": "k8s.gcr.io",
"k8s": "registry.k8s.io",
"ghcr": "ghcr.io",
"cloudsmith": "docker.cloudsmith.io",
// 測(cè)試環(huán)境
"test": "registry-1.docker.io",
};
if (host in routes) return [ routes[host], false ];
else return [ hub_host, true ];
}
/** @type {RequestInit} */
const PREFLIGHT_INIT = {
// 預(yù)檢請(qǐng)求配置
headers: new Headers({
'access-control-allow-origin': '*', // 允許所有來(lái)源
'access-control-allow-methods': 'GET,POST,PUT,PATCH,TRACE,DELETE,HEAD,OPTIONS', // 允許的HTTP方法
'access-control-max-age': '1728000', // 預(yù)檢請(qǐng)求的緩存時(shí)間
}),
}
/**
* 構(gòu)造響應(yīng)
* @param {any} body 響應(yīng)體
* @param {number} status 響應(yīng)狀態(tài)碼
* @param {Object<string, string>} headers 響應(yīng)頭
*/
function makeRes(body, status = 200, headers = {}) {
headers['access-control-allow-origin'] = '*' // 允許所有來(lái)源
return new Response(body, { status, headers }) // 返回新構(gòu)造的響應(yīng)
}
/**
* 構(gòu)造新的URL對(duì)象
* @param {string} urlStr URL字符串
*/
function newUrl(urlStr) {
try {
return new URL(urlStr) // 嘗試構(gòu)造新的URL對(duì)象
} catch (err) {
return null // 構(gòu)造失敗返回null
}
}
function isUUID(uuid) {
// 定義一個(gè)正則表達(dá)式來(lái)匹配 UUID 格式
const uuidRegex = /^[0-9a-f]{8}-[0-9a-f]{4}-[4][0-9a-f]{3}-[89ab][0-9a-f]{3}-[0-9a-f]{12}$/i;
// 使用正則表達(dá)式測(cè)試 UUID 字符串
return uuidRegex.test(uuid);
}
async function nginx() {
const text = `
<!DOCTYPE html>
<html>
<head>
<title>Welcome to nginx!</title>
<style>
body {
width: 35em;
margin: 0 auto;
font-family: Tahoma, Verdana, Arial, sans-serif;
}
</style>
</head>
<body>
<h1>Welcome to nginx!</h1>
<p>If you see this page, the nginx web server is successfully installed and
working. Further configuration is required.</p>
<p>For online documentation and support please refer to
<a >nginx.org</a>.<br/>
Commercial support is available at
<a >nginx.com</a>.</p>
<p><em>Thank you for using nginx.</em></p>
</body>
</html>
`
return text ;
}
export default {
async fetch(request, env, ctx) {
const getReqHeader = (key) => request.headers.get(key); // 獲取請(qǐng)求頭
let url = new URL(request.url); // 解析請(qǐng)求URL
const userAgentHeader = request.headers.get('User-Agent');
const userAgent = userAgentHeader ? userAgentHeader.toLowerCase() : "null";
if (env.UA) 屏蔽爬蟲(chóng)UA = 屏蔽爬蟲(chóng)UA.concat(await ADD(env.UA));
workers_url = `https://${url.hostname}`;
const pathname = url.pathname;
const hostname = url.searchParams.get('hubhost') || url.hostname;
const hostTop = hostname.split('.')[0];// 獲取主機(jī)名的第一部分
const checkHost = routeByHosts(hostTop);
hub_host = checkHost[0]; // 獲取上游地址
const fakePage = checkHost[1];
console.log(`域名頭部: ${hostTop}\n反代地址: ${hub_host}\n偽裝首頁(yè): ${fakePage}`);
const isUuid = isUUID(pathname.split('/')[1].split('/')[0]);
if (屏蔽爬蟲(chóng)UA.some(fxxk => userAgent.includes(fxxk)) && 屏蔽爬蟲(chóng)UA.length > 0){
//首頁(yè)改成一個(gè)nginx偽裝頁(yè)
return new Response(await nginx(), {
headers: {
'Content-Type': 'text/html; charset=UTF-8',
},
});
}
const conditions = [
isUuid,
pathname.includes('/_'),
pathname.includes('/r'),
pathname.includes('/v2/user'),
pathname.includes('/v2/orgs'),
pathname.includes('/v2/_catalog'),
pathname.includes('/v2/categories'),
pathname.includes('/v2/feature-flags'),
pathname.includes('search'),
pathname.includes('source'),
pathname === '/',
pathname === '/favicon.ico',
pathname === '/auth/profile',
];
if (conditions.some(condition => condition) && (fakePage === true || hostTop == 'docker')) {
if (env.URL302){
return Response.redirect(env.URL302, 302);
} else if (env.URL){
if (env.URL.toLowerCase() == 'nginx'){
//首頁(yè)改成一個(gè)nginx偽裝頁(yè)
return new Response(await nginx(), {
headers: {
'Content-Type': 'text/html; charset=UTF-8',
},
});
} else return fetch(new Request(env.URL, request));
}
const newUrl = new URL("https://registry.hub.docker.com" + pathname + url.search);
// 復(fù)制原始請(qǐng)求的標(biāo)頭
const headers = new Headers(request.headers);
// 確保 Host 頭部被替換為 hub.docker.com
headers.set('Host', 'registry.hub.docker.com');
const newRequest = new Request(newUrl, {
method: request.method,
headers: headers,
body: request.method !== 'GET' && request.method !== 'HEAD' ? await request.blob() : null,
redirect: 'follow'
});
return fetch(newRequest);
}
// 修改包含 %2F 和 %3A 的請(qǐng)求
if (!/%2F/.test(url.search) && /%3A/.test(url.toString())) {
let modifiedUrl = url.toString().replace(/%3A(?=.*?&)/, '%3Alibrary%2F');
url = new URL(modifiedUrl);
console.log(`handle_url: ${url}`)
}
// 處理token請(qǐng)求
if (url.pathname.includes('/token')) {
let token_parameter = {
headers: {
'Host': 'auth.docker.io',
'User-Agent': getReqHeader("User-Agent"),
'Accept': getReqHeader("Accept"),
'Accept-Language': getReqHeader("Accept-Language"),
'Accept-Encoding': getReqHeader("Accept-Encoding"),
'Connection': 'keep-alive',
'Cache-Control': 'max-age=0'
}
};
let token_url = auth_url + url.pathname + url.search
return fetch(new Request(token_url, request), token_parameter)
}
// 修改 /v2/ 請(qǐng)求路徑
if (/^\/v2\/[^/]+\/[^/]+\/[^/]+$/.test(url.pathname) && !/^\/v2\/library/.test(url.pathname)) {
url.pathname = url.pathname.replace(/\/v2\//, '/v2/library/');
console.log(`modified_url: ${url.pathname}`)
}
// 更改請(qǐng)求的主機(jī)名
url.hostname = hub_host;
// 構(gòu)造請(qǐng)求參數(shù)
let parameter = {
headers: {
'Host': hub_host,
'User-Agent': getReqHeader("User-Agent"),
'Accept': getReqHeader("Accept"),
'Accept-Language': getReqHeader("Accept-Language"),
'Accept-Encoding': getReqHeader("Accept-Encoding"),
'Connection': 'keep-alive',
'Cache-Control': 'max-age=0'
},
cacheTtl: 3600 // 緩存時(shí)間
};
// 添加Authorization頭
if (request.headers.has("Authorization")) {
parameter.headers.Authorization = getReqHeader("Authorization");
}
// 發(fā)起請(qǐng)求并處理響應(yīng)
let original_response = await fetch(new Request(url, request), parameter)
let original_response_clone = original_response.clone();
let original_text = original_response_clone.body;
let response_headers = original_response.headers;
let new_response_headers = new Headers(response_headers);
let status = original_response.status;
// 修改 Www-Authenticate 頭
if (new_response_headers.get("Www-Authenticate")) {
let auth = new_response_headers.get("Www-Authenticate");
let re = new RegExp(auth_url, 'g');
new_response_headers.set("Www-Authenticate", response_headers.get("Www-Authenticate").replace(re, workers_url));
}
// 處理重定向
if (new_response_headers.get("Location")) {
return httpHandler(request, new_response_headers.get("Location"))
}
// 返回修改后的響應(yīng)
let response = new Response(original_text, {
status,
headers: new_response_headers
})
return response;
}
};
/**
* 處理HTTP請(qǐng)求
* @param {Request} req 請(qǐng)求對(duì)象
* @param {string} pathname 請(qǐng)求路徑
*/
function httpHandler(req, pathname) {
const reqHdrRaw = req.headers
// 處理預(yù)檢請(qǐng)求
if (req.method === 'OPTIONS' &&
reqHdrRaw.has('access-control-request-headers')
) {
return new Response(null, PREFLIGHT_INIT)
}
let rawLen = ''
const reqHdrNew = new Headers(reqHdrRaw)
const refer = reqHdrNew.get('referer')
let urlStr = pathname
const urlObj = newUrl(urlStr)
/** @type {RequestInit} */
const reqInit = {
method: req.method,
headers: reqHdrNew,
redirect: 'follow',
body: req.body
}
return proxy(urlObj, reqInit, rawLen)
}
/**
* 代理請(qǐng)求
* @param {URL} urlObj URL對(duì)象
* @param {RequestInit} reqInit 請(qǐng)求初始化對(duì)象
* @param {string} rawLen 原始長(zhǎng)度
*/
async function proxy(urlObj, reqInit, rawLen) {
const res = await fetch(urlObj.href, reqInit)
const resHdrOld = res.headers
const resHdrNew = new Headers(resHdrOld)
// 驗(yàn)證長(zhǎng)度
if (rawLen) {
const newLen = resHdrOld.get('content-length') || ''
const badLen = (rawLen !== newLen)
if (badLen) {
return makeRes(res.body, 400, {
'--error': `bad len: ${newLen}, except: ${rawLen}`,
'access-control-expose-headers': '--error',
})
}
}
const status = res.status
resHdrNew.set('access-control-expose-headers', '*')
resHdrNew.set('access-control-allow-origin', '*')
resHdrNew.set('Cache-Control', 'max-age=1500')
// 刪除不必要的頭
resHdrNew.delete('content-security-policy')
resHdrNew.delete('content-security-policy-report-only')
resHdrNew.delete('clear-site-data')
return new Response(res.body, {
status,
headers: resHdrNew
})
}
async function ADD(envadd) {
var addtext = envadd.replace(/[ |"'\r\n]+/g, ',').replace(/,+/g, ','); // 將空格、雙引號(hào)、單引號(hào)和換行符替換為逗號(hào)
//console.log(addtext);
if (addtext.charAt(0) == ',') addtext = addtext.slice(1);
if (addtext.charAt(addtext.length -1) == ',') addtext = addtext.slice(0, addtext.length - 1);
const add = addtext.split(',');
//console.log(add);
return add ;
}替換自己的域名后，點(diǎn)擊右上角的部署，然后保持并部署，提示部署成功。
接下來(lái)，部署成功后，通過(guò)點(diǎn)擊如下圖的workers.dev，打開(kāi)如下圖的界面：
步驟三：綁定域名
返回到Workers 和 Pages 頁(yè)面，點(diǎn)擊 設(shè)置 → 觸發(fā)器 → 添加自定義域，如下圖所示：
再次返回到** Workers 和 Pages** 頁(yè)面，點(diǎn)擊 設(shè)置 → 觸發(fā)器 ，看到顯示 “有效”，點(diǎn)擊訪問(wèn) URL 即可。
再次利用自定義域名訪問(wèn)，如下圖所示：
步驟四：配置Docker客戶端
最后，在需要加速Docker鏡像下載的客戶端機(jī)器上，配置Docker以使用你的私有Registry。編輯或創(chuàng)建/etc/docker/daemon.json文件，添加以下內(nèi)容：
{
"registry-mirrors": ["https://docker.xxxx.top"],
"insecure-registries": ["docker.xxxx.top"],
}然后重啟Docker服務(wù)：
sudo systemctl restart docker測(cè)試加速效果
現(xiàn)在，你可以通過(guò)nginx來(lái)拉取鏡像，命令如下：
docker pull nginx如果配置正確，你會(huì)發(fā)現(xiàn)鏡像拉取速度顯著提升。
總結(jié)
通過(guò)利用Cloudflare的CDN服務(wù)，我們可以顯著提升Docker鏡像的下載速度。這種方法不僅簡(jiǎn)單易行，而且免費(fèi)，是開(kāi)發(fā)者加速Docker鏡像拉取的一個(gè)有效方案。希望本文對(duì)你有所幫助。
Reference：
[1]Cloudflare: https://www.cloudflare.com/zh-cn/
責(zé)任編輯：趙寧寧
來(lái)源：
攻城獅成長(zhǎng)日記
