我的技术笔记

记录技术历程

发表于

查询

找到 IO 占用高的进程,每 2 秒更新一次

1
pidstat -d 2

当前目录下,文件夹大小。扫描深度 1

1
du -lh --max-depth=1

当前目录,文件夹大小

1
du -sh

文件操作

对比文件夹

1
diff -qr dir1/ dir2/

复制文件夹

1
cp -r dir-from/ dir-target/

Nginx

测试配置成功后重启

1
sudo nginx -t && sudo /etc/init.d/nginx restart

vim

清空所有文件内容

1
:%d

ntp

如果您使用的是systemd-timesyncd（Ubuntu 默认）

1
sudo vim /etc/systemd/timesyncd.conf

腾讯云-公网

1
NTP=ntp.tencent.com ntp2.tencent.com ntp3.tencent.com ntp4.tencent.com ntp5.tencent.com

腾讯云-内网

1
NTP=time1.tencent.com time2.tencent.com time3.tencent.com time4.tencent.com time5.tencent.com

阿里云

1
NTP=ntp1.aliyun.com ntp2.aliyun.com ntp3.aliyun.com ntp2.aliyun.com ntp3.aliyun.com

发表于

先确定 Ubuntu 是否安装 Docker Compose,那就先查询本机 Docker Compose 版本

1
docker-compose --version

结果:

1
2
3
4
Command 'docker-compose' not found, but can be installed with:

snap install docker          # version 20.10.8, or
apt  install docker-compose

安装

安装 – APT 方式

1
apt  install docker-compose

再次确认 Docker Compose 版本结果:

1
docker-compose version 1.17.1, build unknown

安装 – Github 二进制文件方式

通过比对 Github 上的 docker-compose 的版本发现,还有更新版本 v2.1.0。
想尝鲜试一试最新版本,先卸载掉 APT 安装的 1.17.1 版本。
再安装二进制文件到本机路径： /usr/local/bin/docker-compose 。

1
sudo curl -L "https://github.com/docker/compose/releases/download/v2.1.0/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose

修改执行全新和建软链：

1
sudo chmod +x /usr/local/bin/docker-compose & sudo ln -s /usr/local/bin/docker-compose /usr/bin/docker-compose

再次确认 Docker Compose 版本结果:

1
Docker Compose version v2.1.0

Sonatype Nexus3

Nexus Docker 镜像 – 3.36.0

查询 Nexus Docker 镜像),拉取 3.36.0 版本的 Docker 镜像到本地

1
docker pull sonatype/nexus3:3.36.0

配置 docker-compose.yml

预期

参考 Docker,使用 Sonatype Nexus3

docker 环境 目录 /nexus-data 映射宿主目录 /opt/maven/sonatype-work-docker/nexus-3.36.0
docker 环境 端口 5432 映射宿主端口 6432

新建 docker-compose.yml

1
2
3
4
5
6
7
8
9
10
11
12
version: "3.0"
services:
  nexus3-3.36.0:
    image: sonatype/nexus3:3.36.0
    container_name: nexus3-3.36.0
    ports:
      - "6432:5432"
    restart: always
    volumes:
      - /opt/maven/sonatype-work-docker/nexus-3.36.0:/nexus-data
    environment:
      INSTALL4J_ADD_VM_PARAMS: "-Xms2g -Xmx2g -XX:MaxDirectMemorySize=3g"

文件夹权限修改

参考后,确保 nexus3 挂载 HOST 文件夹权限正确！

1
sudo chown -R 200:200 /opt/maven/sonatype-work-docker/nexus-3.36.0

验证 docker-compose

1
sudo docker-compose up
1
sudo docker-compose up --remove-orphans

正式部署新装,后台运行

1
sudo docker-compose -f docker-compose.yml up -d

正式部署升级,后台运行

1
sudo docker-compose -f docker-compose.yml up -d --remove-orphans

维护

发表于

低调做事

按需指导

天命人

请自备账号密码

右边菜单选择 【Workers 和 Pages】

Workers 和 Pages

选择 【创建】

创建

选择 【Workers】 后，点击【创建 Worker】

创建 Worker

选择 【部署】

给 Worker 命名你喜欢的名称，比如：destiny-man , 选择 【部署】

选择部署

部署中

  • 成功后 , 选择 【编辑代码】

编辑代码并部署

编辑代码

  • 清空自带内容

  • 把以下代码拷贝，修改后粘贴,并部署

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
262
263
264
265
266
267
268
269
270
271
272
273
274
275
276
277
278
279
280
281
282
283
284
285
286
287
288
289
290
291
292
293
294
295
296
297
298
299
300
301
302
303
304
305
306
307
308
309
310
311
312
313
314
315
316
317
318
// _worker.js

// Docker镜像仓库主机地址
let hub_host = 'registry-1.docker.io'
// Docker认证服务器地址
const auth_url = 'https://auth.docker.io'
// 自定义的工作服务器地址
let workers_url = 'https://你的域名'

// 根据主机名选择对应的上游地址
function routeByHosts(host) {
		// 定义路由表
	const routes = {
		// 生产环境
		"quay": "quay.io",
		"gcr": "gcr.io",
		"k8s-gcr": "k8s.gcr.io",
		"k8s": "registry.k8s.io",
		"ghcr": "ghcr.io",
		"cloudsmith": "docker.cloudsmith.io",
		
		// 测试环境
		"test": "registry-1.docker.io",
	};

	if (host in routes) return [ routes[host], false ];
	else return [ hub_host, true ];
}

/** @type {RequestInit} */
const PREFLIGHT_INIT = {
	// 预检请求配置
	headers: new Headers({
		'access-control-allow-origin': '*', // 允许所有来源
		'access-control-allow-methods': 'GET,POST,PUT,PATCH,TRACE,DELETE,HEAD,OPTIONS', // 允许的HTTP方法
		'access-control-max-age': '1728000', // 预检请求的缓存时间
	}),
}

/**
 * 构造响应
 * @param {any} body 响应体
 * @param {number} status 响应状态码
 * @param {Object<string, string>} headers 响应头
 */
function makeRes(body, status = 200, headers = {}) {
	headers['access-control-allow-origin'] = '*' // 允许所有来源
	return new Response(body, { status, headers }) // 返回新构造的响应
}

/**
 * 构造新的URL对象
 * @param {string} urlStr URL字符串
 */
function newUrl(urlStr) {
	try {
		return new URL(urlStr) // 尝试构造新的URL对象
	} catch (err) {
		return null // 构造失败返回null
	}
}

function isUUID(uuid) {
	// 定义一个正则表达式来匹配 UUID 格式
	const uuidRegex = /^[0-9a-f]{8}-[0-9a-f]{4}-[4][0-9a-f]{3}-[89ab][0-9a-f]{3}-[0-9a-f]{12}$/i;
	
	// 使用正则表达式测试 UUID 字符串
	return uuidRegex.test(uuid);
}

async function nginx() {
	const text = `
	<!DOCTYPE html>
	<html>
	<head>
	<title>Welcome to nginx!</title>
	<style>
		body {
			width: 35em;
			margin: 0 auto;
			font-family: Tahoma, Verdana, Arial, sans-serif;
		}
	</style>
	</head>
	<body>
	<h1>Welcome to nginx!</h1>
	<p>If you see this page, the nginx web server is successfully installed and
	working. Further configuration is required.</p>
	
	<p>For online documentation and support please refer to
	<a href="http://nginx.org/">nginx.org</a>.<br/>
	Commercial support is available at
	<a href="http://nginx.com/">nginx.com</a>.</p>
	
	<p><em>Thank you for using nginx.</em></p>
	</body>
	</html>
	`
	return text ;
}

export default {
	async fetch(request, env, ctx) {
		const getReqHeader = (key) => request.headers.get(key); // 获取请求头

		let url = new URL(request.url); // 解析请求URL
		workers_url = `https://${url.hostname}`;
		const pathname = url.pathname;
		const hostname = url.searchParams.get('hubhost') || url.hostname; 
		const hostTop = hostname.split('.')[0];// 获取主机名的第一部分
		const checkHost = routeByHosts(hostTop);
		hub_host = checkHost[0]; // 获取上游地址
		const fakePage = checkHost[1];
		console.log(`域名头部: ${hostTop}\n反代地址: ${hub_host}\n伪装首页: ${fakePage}`);
		const isUuid = isUUID(pathname.split('/')[1].split('/')[0]);
		
		const conditions = [
			isUuid,
			pathname.includes('/_'),
			pathname.includes('/r'),
			pathname.includes('/v2/user'),
			pathname.includes('/v2/orgs'),
			pathname.includes('/v2/_catalog'),
			pathname.includes('/v2/categories'),
			pathname.includes('/v2/feature-flags'),
			pathname.includes('search'),
			pathname.includes('source'),
			pathname === '/',
			pathname === '/favicon.ico',
			pathname === '/auth/profile',
		];

		if (conditions.some(condition => condition) && (fakePage === true || hostTop == 'docker')) {
			if (env.URL302){
				return Response.redirect(env.URL302, 302);
			} else if (env.URL){
				if (env.URL.toLowerCase() == 'nginx'){
					//首页改成一个nginx伪装页
					return new Response(await nginx(), {
						headers: {
							'Content-Type': 'text/html; charset=UTF-8',
						},
					});
				} else return fetch(new Request(env.URL, request));
			}
			
			const newUrl = new URL("https://registry.hub.docker.com" + pathname + url.search);

			// 复制原始请求的标头
			const headers = new Headers(request.headers);

			// 确保 Host 头部被替换为 hub.docker.com
			headers.set('Host', 'registry.hub.docker.com');

			const newRequest = new Request(newUrl, {
					method: request.method,
					headers: headers,
					body: request.method !== 'GET' && request.method !== 'HEAD' ? await request.blob() : null,
					redirect: 'follow'
			});

			return fetch(newRequest);
		}

		// 修改包含 %2F 和 %3A 的请求
		if (!/%2F/.test(url.search) && /%3A/.test(url.toString())) {
			let modifiedUrl = url.toString().replace(/%3A(?=.*?&)/, '%3Alibrary%2F');
			url = new URL(modifiedUrl);
			console.log(`handle_url: ${url}`)
		}

		// 处理token请求
		if (url.pathname.includes('/token')) {
			let token_parameter = {
				headers: {
					'Host': 'auth.docker.io',
					'User-Agent': getReqHeader("User-Agent"),
					'Accept': getReqHeader("Accept"),
					'Accept-Language': getReqHeader("Accept-Language"),
					'Accept-Encoding': getReqHeader("Accept-Encoding"),
					'Connection': 'keep-alive',
					'Cache-Control': 'max-age=0'
				}
			};
			let token_url = auth_url + url.pathname + url.search
			return fetch(new Request(token_url, request), token_parameter)
		}

		// 修改 /v2/ 请求路径
		if (/^\/v2\/[^/]+\/[^/]+\/[^/]+$/.test(url.pathname) && !/^\/v2\/library/.test(url.pathname)) {
			url.pathname = url.pathname.replace(/\/v2\//, '/v2/library/');
			console.log(`modified_url: ${url.pathname}`)
		}

		// 更改请求的主机名
		url.hostname = hub_host;

		// 构造请求参数
		let parameter = {
			headers: {
				'Host': hub_host,
				'User-Agent': getReqHeader("User-Agent"),
				'Accept': getReqHeader("Accept"),
				'Accept-Language': getReqHeader("Accept-Language"),
				'Accept-Encoding': getReqHeader("Accept-Encoding"),
				'Connection': 'keep-alive',
				'Cache-Control': 'max-age=0'
			},
			cacheTtl: 3600 // 缓存时间
		};

		// 添加Authorization头
		if (request.headers.has("Authorization")) {
			parameter.headers.Authorization = getReqHeader("Authorization");
		}

		// 发起请求并处理响应
		let original_response = await fetch(new Request(url, request), parameter)
		let original_response_clone = original_response.clone();
		let original_text = original_response_clone.body;
		let response_headers = original_response.headers;
		let new_response_headers = new Headers(response_headers);
		let status = original_response.status;

		// 修改 Www-Authenticate 头
		if (new_response_headers.get("Www-Authenticate")) {
			let auth = new_response_headers.get("Www-Authenticate");
			let re = new RegExp(auth_url, 'g');
			new_response_headers.set("Www-Authenticate", response_headers.get("Www-Authenticate").replace(re, workers_url));
		}

		// 处理重定向
		if (new_response_headers.get("Location")) {
			return httpHandler(request, new_response_headers.get("Location"))
		}

		// 返回修改后的响应
		let response = new Response(original_text, {
			status,
			headers: new_response_headers
		})
		return response;
	}
};

/**
 * 处理HTTP请求
 * @param {Request} req 请求对象
 * @param {string} pathname 请求路径
 */
function httpHandler(req, pathname) {
	const reqHdrRaw = req.headers

	// 处理预检请求
	if (req.method === 'OPTIONS' &&
		reqHdrRaw.has('access-control-request-headers')
	) {
		return new Response(null, PREFLIGHT_INIT)
	}

	let rawLen = ''

	const reqHdrNew = new Headers(reqHdrRaw)

	const refer = reqHdrNew.get('referer')

	let urlStr = pathname

	const urlObj = newUrl(urlStr)

	/** @type {RequestInit} */
	const reqInit = {
		method: req.method,
		headers: reqHdrNew,
		redirect: 'follow',
		body: req.body
	}
	return proxy(urlObj, reqInit, rawLen)
}

/**
 * 代理请求
 * @param {URL} urlObj URL对象
 * @param {RequestInit} reqInit 请求初始化对象
 * @param {string} rawLen 原始长度
 */
async function proxy(urlObj, reqInit, rawLen) {
	const res = await fetch(urlObj.href, reqInit)
	const resHdrOld = res.headers
	const resHdrNew = new Headers(resHdrOld)

	// 验证长度
	if (rawLen) {
		const newLen = resHdrOld.get('content-length') || ''
		const badLen = (rawLen !== newLen)

		if (badLen) {
			return makeRes(res.body, 400, {
				'--error': `bad len: ${newLen}, except: ${rawLen}`,
				'access-control-expose-headers': '--error',
			})
		}
	}
	const status = res.status
	resHdrNew.set('access-control-expose-headers', '*')
	resHdrNew.set('access-control-allow-origin', '*')
	resHdrNew.set('Cache-Control', 'max-age=1500')

	// 删除不必要的头
	resHdrNew.delete('content-security-policy')
	resHdrNew.delete('content-security-policy-report-only')
	resHdrNew.delete('clear-site-data')

	return new Response(res.body, {
		status,
		headers: resHdrNew
	})
}

混淆

如你的当前账户下有对应的域名，可以根据实际需要,配置自定义域名访问。

选择【设置】后，点击【变量与机密】

变量名称 URL
变量值 浏览器访问时显示的网页URL

加速

配置方式

修改文件 /etc/docker/daemon.json

1
2
3
{
  "registry-mirrors": ["https://你的域名1",""https://你的域名2"]
}

命令方式

1
sudo docker pull 你的域名/ubuntu:20.04

发表于

keytool 创建 jks 格式证书,以及转换 p12

创建命令

1
keytool -genkeypair -alias [keyname] -keystore [demo.jks] -validity [365]

选择密钥算法 ECDSA

1
keytool -genkeypair -alias [keyname] -keystore [demo.jks] -validity [365] -keyalg ec
最佳实践:
store 密码 与 key 密码保持一致。    
密码长度大于8、包含大小写、含特殊字符：`!@#$%^&*()-_=+\|[{}];:’”,.<>/?

检查校验

1
keytool -list -v -keystore [demo.jks]

或

1
2
# base64 格式
keytool -exportcert -alias [keyname] -keystore [demo.jks] | openssl sha1 -binary | openssl base64

转换 p12 格式

将使用 EC 算法的 jks 转换为 p12 格式

1
keytool -importkeystore -srckeystore [demo.jks] -srcstoretype JKS -deststoretype pkcs12 -destkeystore [demo.p12]

openssl 提取 p12 私钥

1
openssl pkcs12 -nodes -in [demo.p12] -out [demo.private.pem]

openssl 提取公钥

1
openssl pkey -in [demo.private.pem] -pubout -out [demo.public.pem]

生成 csr

1
keytool -certreq -alias [keyname] -keystore [demo.p12] -storetype pkcs12 -file [demo.csr]

发表于

获取镜像

获取 docker Sonatype Nexus3 镜像,最新版本

最新版本
1
docker pull sonatype/nexus3
指定版本
1
docker pull sonatype/nexus3:3.30.1

预期

docker 环境 目录 /nexus-data 映射宿主目录 /opt/maven/sonatype-work-docker/nexus3
docker 环境 默认端口 8081 映射宿主端口 5430

映射宿主目录中存在文件和目录的情况
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
# 先启动一个默认的 sonatype/nexus3 容器
docker run -p 5430:8081 --name nexus3 sonatype/nexus3:3.30.1

# 进入对应容器
docker exec -i -t xxxxxx /bin/bash

# 查询用户和用户组的 ID
cat /etc/passwd
nexus:x:200:200:Nexus Repository Manager user:/opt/sonatype/nexus:/bin/false
# sonatype/nexus3 容器中,默认的 nexus 对应的用户id为 200

# 删除这个默认容器
docker container rm -f xxx

# 修改宿主目录的 owner
chown -R 200:200 /opt/maven/sonatype-work-docker/nexus3

运行

直接运行
1
2
3
4
docker run -p 5430:8081 --name nexus3 sonatype/nexus3:3.30.1

#docker 环境 自定义端口 5432 映射宿主端口 5432
docker run -p 5432:5432 --name nexus3 -v /opt/maven/sonatype-work-docker/nexus3:/nexus-data sonatype/nexus3:3.30.1
后台运行
1
2
3
4
5
6
7
8
9
# sonatype/nexus3 默认用户 admin ,密码存储在数据文件夹下的 admin.password 
docker run -d -p 5430:8081 --name nexus3 --restart=always sonatype/nexus3:3.30.1

# 映射宿主目录 /opt/maven/sonatype-work-docker/nexus3
docker run -d -p 5430:5432 --name nexus3 --restart=always -v /opt/maven/sonatype-work-docker/nexus3:/nexus-data sonatype/nexus3:3.30.1


#调整 Java VM 参数
docker run -d -p 5430:5432 --name nexus3 --restart=always -v /opt/maven/sonatype-work-docker/nexus3:/nexus-data -e INSTALL4J_ADD_VM_PARAMS="-Xms2g -Xmx2g -XX:MaxDirectMemorySize=3g" sonatype/nexus3:3.30.1

停止-需要时间关闭数据库

1
docker stop --time=120 nexus3
0%