我的技术笔记

记录技术历程

创建服务

运行目录

1
2
sudo mkdir /opt/nfs-mount-239.service
cd /opt/nfs-mount-239.service

启动 Shell

1
sudo vim start.sh
1
2
3
#!/bin/bash
# mount nfs
mount -t nfs 10.0.0.239:/opt/gitlab-runner/android-sdk /mnt/android-sdk-remote-nfs -o nolock
1
sudo chmod +x start.sh

停止 Shell

1
sudo vim stop.sh
1
2
3
#!/bin/bash
# umount nfs
umount /mnt/android-sdk-remote-nfs
1
sudo chmod +x stop.sh

配置文件

1
sudo vim /lib/systemd/system/nfs-mount-239.service

Unit 配置参考文档

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
[Unit]
Description=mount nfs from 10.0.0.239
Wants=network-online.target
BindsTo=nfs-client.target
After=ssh.service

[Service]
WorkingDirectory=/opt/nfs-mount-239.service
ExecStart=/opt/nfs-mount-239.service/start.sh
Restart=on-failure
ExecReload=/opt/nfs-mount-239.service/stop.sh
RestartSec=10

[Install]
WantedBy=multi-user.target
Alias=nfs-mount-239

配置

配置文件修改后,让 SystemD 重新加载配置文件

1
sudo systemctl daemon-reload

检查服务状态

1
sudo systemctl status nfs-mount-239

启动服务

1
sudo systemctl start nfs-mount-239

停止服务

1
sudo systemctl stop nfs-mount-239

设置开机启动

1
sudo systemctl enable nfs-mount-239

禁止开机启动

1
sudo  systemtl disable  nfs-mount-239

检查开机启动配置结果

1
sudo systemctl is-enabled nfs-mount-239

enable、disable或static,这里的 static 它是指对应的 Unit 文件中没有定义[Install]区域,因此无法配置为开机启动服务。

调试 & 分析

日志

启动顺序

1
systemd-analyze plot > boot.svg

启动耗时

1
systemd-analyze blame

NFS 即网络文件系统(Network File-System)

因文件夹需要在不同 Linux 设备上同步的原因,又想偷个懒。

安装

安装 NFS服务器端

1
sudo apt-get install nfs-kernel-server

安装 NFS客户端

1
sudo apt-get install nfs-common

配置

配置格式说明

DIR IP(读写权限,sync,no_root_squash)

DIR

共享目录

IP

所有 ping 通该主机的用户 : *
指定网段,在该网段中的用户可以挂载 : 192.168.1.*
指定IP用户能挂载 : 192.168.1.12

读写权限

ro : 只读
rw : 读写

sync

同步

no_root_squash

不降低root用户的权限

打开 NFS 配置文件

1
sudo vim /etc/exports
1
/opt/gitlab-runner/android-sdk 10.0.2.240(rw,sync,no_root_squash)

验证

1
sudo mount -t nfs 10.0.0.239:/opt/gitlab-runner/android-sdk /mnt/android-sdk-remote-nfs -o nolock

连接到个人目录下

1
ln -s /mnt/android-sdk-remote-nfs /home/ubuntu/Android/sdk-remote

手动挂载成功后,就可以配置为服务开机启动(systemd)

测试读写速度

在当前目录下,以 io-test.dbf 文件来测试读写性能

1
time dd if=/dev/zero of=io-test.dbf bs=4k count=10000

Windows 挂载

挂载块大小指定为 64KB

1
mount \\192.168.55.88\mnt\ceph\data\Android -o rsize=64,wsize=64,iocharset=utf8,timeo=15  X:\

卸载

1
umount X:

NFS 默认 uid、gid 修改为 1055

NFS共享目录挂载时uid和gid均为-2,而NFS服务的默认 uid 和 gid 为 65534,因此此时仅有共享目录的读权限。

修改注册表 HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\ClientForNFS\CurrentVersion\Default
添加DWORD值两项:AnonymousUid,AnonymousGid ,选择10进制,填入 1055

重启 NFS 服务

1
sudo /etc/init.d/nfs-kernel-server restart

查询

找到 IO 占用高的进程,每 2 秒更新一次

1
pidstat -d 2

当前目录下,文件夹大小。扫描深度 1

1
du -lh --max-depth=1

当前目录,文件夹大小

1
du -sh

文件操作

对比文件夹

1
diff -qr dir1/ dir2/

复制文件夹

1
cp -r dir-from/ dir-target/

Nginx

测试配置成功后重启

1
sudo nginx -t && sudo /etc/init.d/nginx restart

vim

清空所有文件内容

1
:%d

ntp

如果您使用的是systemd-timesyncd(Ubuntu 默认)

1
sudo vim /etc/systemd/timesyncd.conf

腾讯云-公网

1
NTP=ntp.tencent.com ntp2.tencent.com ntp3.tencent.com ntp4.tencent.com ntp5.tencent.com

腾讯云-内网

1
NTP=time1.tencent.com time2.tencent.com time3.tencent.com time4.tencent.com time5.tencent.com

阿里云

1
NTP=ntp1.aliyun.com ntp2.aliyun.com ntp3.aliyun.com ntp2.aliyun.com ntp3.aliyun.com

先确定 Ubuntu 是否安装 Docker Compose,那就先查询本机 Docker Compose 版本

1
docker-compose --version

结果:

1
2
3
4
Command 'docker-compose' not found, but can be installed with:

snap install docker # version 20.10.8, or
apt install docker-compose

安装

安装 – APT 方式

1
apt  install docker-compose

再次确认 Docker Compose 版本结果:

1
docker-compose version 1.17.1, build unknown

安装 – Github 二进制文件方式

通过比对 Github 上的 docker-compose 的版本发现,还有更新版本 v2.1.0。
想尝鲜试一试最新版本,先卸载掉 APT 安装的 1.17.1 版本。
再安装二进制文件到本机路径: /usr/local/bin/docker-compose 。

1
sudo curl -L "https://github.com/docker/compose/releases/download/v2.1.0/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose

修改执行全新和建软链:

1
sudo chmod +x /usr/local/bin/docker-compose & sudo ln -s /usr/local/bin/docker-compose /usr/bin/docker-compose

再次确认 Docker Compose 版本结果:

1
Docker Compose version v2.1.0

Sonatype Nexus3

Nexus Docker 镜像 – 3.36.0

查询 Nexus Docker 镜像),拉取 3.36.0 版本的 Docker 镜像到本地

1
docker pull sonatype/nexus3:3.36.0

配置 docker-compose.yml

预期

参考 Docker,使用 Sonatype Nexus3

docker 环境 目录 /nexus-data 映射宿主目录 /opt/maven/sonatype-work-docker/nexus-3.36.0
docker 环境 端口 5432 映射宿主端口 6432

新建 docker-compose.yml

1
2
3
4
5
6
7
8
9
10
11
12
version: "3.0"
services:
nexus3-3.36.0:
image: sonatype/nexus3:3.36.0
container_name: nexus3-3.36.0
ports:
- "6432:5432"
restart: always
volumes:
- /opt/maven/sonatype-work-docker/nexus-3.36.0:/nexus-data
environment:
INSTALL4J_ADD_VM_PARAMS: "-Xms2g -Xmx2g -XX:MaxDirectMemorySize=3g"

文件夹权限修改

参考后,确保 nexus3 挂载 HOST 文件夹权限正确!

1
sudo chown -R 200:200 /opt/maven/sonatype-work-docker/nexus-3.36.0

验证 docker-compose

1
sudo docker-compose up
1
sudo docker-compose up --remove-orphans

正式部署新装,后台运行

1
sudo docker-compose -f docker-compose.yml up -d

正式部署升级,后台运行

1
sudo docker-compose -f docker-compose.yml up -d --remove-orphans

维护

低调做事

按需指导

天命人

请自备账号密码

右边菜单选择 【Workers 和 Pages】

Workers 和 Pages

选择 【创建】

创建

选择 【Workers】 后,点击【创建 Worker】

创建 Worker

选择 【部署】

给 Worker 命名你喜欢的名称,比如:destiny-man , 选择 【部署】

选择部署

部署中

  • 成功后 , 选择 【编辑代码】

编辑代码并部署

编辑代码

  • 清空自带内容

  • 把以下代码拷贝,修改后粘贴,并部署

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
262
263
264
265
266
267
268
269
270
271
272
273
274
275
276
277
278
279
280
281
282
283
284
285
286
287
288
289
290
291
292
293
294
295
296
297
298
299
300
301
302
303
304
305
306
307
308
309
310
311
312
313
314
315
316
317
318
// _worker.js

// Docker镜像仓库主机地址
let hub_host = 'registry-1.docker.io'
// Docker认证服务器地址
const auth_url = 'https://auth.docker.io'
// 自定义的工作服务器地址
let workers_url = 'https://你的域名'

// 根据主机名选择对应的上游地址
function routeByHosts(host) {
// 定义路由表
const routes = {
// 生产环境
"quay": "quay.io",
"gcr": "gcr.io",
"k8s-gcr": "k8s.gcr.io",
"k8s": "registry.k8s.io",
"ghcr": "ghcr.io",
"cloudsmith": "docker.cloudsmith.io",

// 测试环境
"test": "registry-1.docker.io",
};

if (host in routes) return [ routes[host], false ];
else return [ hub_host, true ];
}

/** @type {RequestInit} */
const PREFLIGHT_INIT = {
// 预检请求配置
headers: new Headers({
'access-control-allow-origin': '*', // 允许所有来源
'access-control-allow-methods': 'GET,POST,PUT,PATCH,TRACE,DELETE,HEAD,OPTIONS', // 允许的HTTP方法
'access-control-max-age': '1728000', // 预检请求的缓存时间
}),
}

/**
* 构造响应
* @param {any} body 响应体
* @param {number} status 响应状态码
* @param {Object<string, string>} headers 响应头
*/
function makeRes(body, status = 200, headers = {}) {
headers['access-control-allow-origin'] = '*' // 允许所有来源
return new Response(body, { status, headers }) // 返回新构造的响应
}

/**
* 构造新的URL对象
* @param {string} urlStr URL字符串
*/
function newUrl(urlStr) {
try {
return new URL(urlStr) // 尝试构造新的URL对象
} catch (err) {
return null // 构造失败返回null
}
}

function isUUID(uuid) {
// 定义一个正则表达式来匹配 UUID 格式
const uuidRegex = /^[0-9a-f]{8}-[0-9a-f]{4}-[4][0-9a-f]{3}-[89ab][0-9a-f]{3}-[0-9a-f]{12}$/i;

// 使用正则表达式测试 UUID 字符串
return uuidRegex.test(uuid);
}

async function nginx() {
const text = `
<!DOCTYPE html>
<html>
<head>
<title>Welcome to nginx!</title>
<style>
body {
width: 35em;
margin: 0 auto;
font-family: Tahoma, Verdana, Arial, sans-serif;
}
</style>
</head>
<body>
<h1>Welcome to nginx!</h1>
<p>If you see this page, the nginx web server is successfully installed and
working. Further configuration is required.</p>

<p>For online documentation and support please refer to
<a href="http://nginx.org/">nginx.org</a>.<br/>
Commercial support is available at
<a href="http://nginx.com/">nginx.com</a>.</p>

<p><em>Thank you for using nginx.</em></p>
</body>
</html>
`
return text ;
}

export default {
async fetch(request, env, ctx) {
const getReqHeader = (key) => request.headers.get(key); // 获取请求头

let url = new URL(request.url); // 解析请求URL
workers_url = `https://${url.hostname}`;
const pathname = url.pathname;
const hostname = url.searchParams.get('hubhost') || url.hostname;
const hostTop = hostname.split('.')[0];// 获取主机名的第一部分
const checkHost = routeByHosts(hostTop);
hub_host = checkHost[0]; // 获取上游地址
const fakePage = checkHost[1];
console.log(`域名头部: ${hostTop}\n反代地址: ${hub_host}\n伪装首页: ${fakePage}`);
const isUuid = isUUID(pathname.split('/')[1].split('/')[0]);

const conditions = [
isUuid,
pathname.includes('/_'),
pathname.includes('/r'),
pathname.includes('/v2/user'),
pathname.includes('/v2/orgs'),
pathname.includes('/v2/_catalog'),
pathname.includes('/v2/categories'),
pathname.includes('/v2/feature-flags'),
pathname.includes('search'),
pathname.includes('source'),
pathname === '/',
pathname === '/favicon.ico',
pathname === '/auth/profile',
];

if (conditions.some(condition => condition) && (fakePage === true || hostTop == 'docker')) {
if (env.URL302){
return Response.redirect(env.URL302, 302);
} else if (env.URL){
if (env.URL.toLowerCase() == 'nginx'){
//首页改成一个nginx伪装页
return new Response(await nginx(), {
headers: {
'Content-Type': 'text/html; charset=UTF-8',
},
});
} else return fetch(new Request(env.URL, request));
}

const newUrl = new URL("https://registry.hub.docker.com" + pathname + url.search);

// 复制原始请求的标头
const headers = new Headers(request.headers);

// 确保 Host 头部被替换为 hub.docker.com
headers.set('Host', 'registry.hub.docker.com');

const newRequest = new Request(newUrl, {
method: request.method,
headers: headers,
body: request.method !== 'GET' && request.method !== 'HEAD' ? await request.blob() : null,
redirect: 'follow'
});

return fetch(newRequest);
}

// 修改包含 %2F 和 %3A 的请求
if (!/%2F/.test(url.search) && /%3A/.test(url.toString())) {
let modifiedUrl = url.toString().replace(/%3A(?=.*?&)/, '%3Alibrary%2F');
url = new URL(modifiedUrl);
console.log(`handle_url: ${url}`)
}

// 处理token请求
if (url.pathname.includes('/token')) {
let token_parameter = {
headers: {
'Host': 'auth.docker.io',
'User-Agent': getReqHeader("User-Agent"),
'Accept': getReqHeader("Accept"),
'Accept-Language': getReqHeader("Accept-Language"),
'Accept-Encoding': getReqHeader("Accept-Encoding"),
'Connection': 'keep-alive',
'Cache-Control': 'max-age=0'
}
};
let token_url = auth_url + url.pathname + url.search
return fetch(new Request(token_url, request), token_parameter)
}

// 修改 /v2/ 请求路径
if (/^\/v2\/[^/]+\/[^/]+\/[^/]+$/.test(url.pathname) && !/^\/v2\/library/.test(url.pathname)) {
url.pathname = url.pathname.replace(/\/v2\//, '/v2/library/');
console.log(`modified_url: ${url.pathname}`)
}

// 更改请求的主机名
url.hostname = hub_host;

// 构造请求参数
let parameter = {
headers: {
'Host': hub_host,
'User-Agent': getReqHeader("User-Agent"),
'Accept': getReqHeader("Accept"),
'Accept-Language': getReqHeader("Accept-Language"),
'Accept-Encoding': getReqHeader("Accept-Encoding"),
'Connection': 'keep-alive',
'Cache-Control': 'max-age=0'
},
cacheTtl: 3600 // 缓存时间
};

// 添加Authorization头
if (request.headers.has("Authorization")) {
parameter.headers.Authorization = getReqHeader("Authorization");
}

// 发起请求并处理响应
let original_response = await fetch(new Request(url, request), parameter)
let original_response_clone = original_response.clone();
let original_text = original_response_clone.body;
let response_headers = original_response.headers;
let new_response_headers = new Headers(response_headers);
let status = original_response.status;

// 修改 Www-Authenticate 头
if (new_response_headers.get("Www-Authenticate")) {
let auth = new_response_headers.get("Www-Authenticate");
let re = new RegExp(auth_url, 'g');
new_response_headers.set("Www-Authenticate", response_headers.get("Www-Authenticate").replace(re, workers_url));
}

// 处理重定向
if (new_response_headers.get("Location")) {
return httpHandler(request, new_response_headers.get("Location"))
}

// 返回修改后的响应
let response = new Response(original_text, {
status,
headers: new_response_headers
})
return response;
}
};

/**
* 处理HTTP请求
* @param {Request} req 请求对象
* @param {string} pathname 请求路径
*/
function httpHandler(req, pathname) {
const reqHdrRaw = req.headers

// 处理预检请求
if (req.method === 'OPTIONS' &&
reqHdrRaw.has('access-control-request-headers')
) {
return new Response(null, PREFLIGHT_INIT)
}

let rawLen = ''

const reqHdrNew = new Headers(reqHdrRaw)

const refer = reqHdrNew.get('referer')

let urlStr = pathname

const urlObj = newUrl(urlStr)

/** @type {RequestInit} */
const reqInit = {
method: req.method,
headers: reqHdrNew,
redirect: 'follow',
body: req.body
}
return proxy(urlObj, reqInit, rawLen)
}

/**
* 代理请求
* @param {URL} urlObj URL对象
* @param {RequestInit} reqInit 请求初始化对象
* @param {string} rawLen 原始长度
*/
async function proxy(urlObj, reqInit, rawLen) {
const res = await fetch(urlObj.href, reqInit)
const resHdrOld = res.headers
const resHdrNew = new Headers(resHdrOld)

// 验证长度
if (rawLen) {
const newLen = resHdrOld.get('content-length') || ''
const badLen = (rawLen !== newLen)

if (badLen) {
return makeRes(res.body, 400, {
'--error': `bad len: ${newLen}, except: ${rawLen}`,
'access-control-expose-headers': '--error',
})
}
}
const status = res.status
resHdrNew.set('access-control-expose-headers', '*')
resHdrNew.set('access-control-allow-origin', '*')
resHdrNew.set('Cache-Control', 'max-age=1500')

// 删除不必要的头
resHdrNew.delete('content-security-policy')
resHdrNew.delete('content-security-policy-report-only')
resHdrNew.delete('clear-site-data')

return new Response(res.body, {
status,
headers: resHdrNew
})
}

混淆

如你的当前账户下有对应的域名,可以根据实际需要,配置自定义域名访问。

选择【设置】后,点击【变量与机密】

变量名称 URL
变量值 浏览器访问时显示的网页URL

加速

配置方式

修改文件 /etc/docker/daemon.json

1
2
3
{
"registry-mirrors": ["https://你的域名1",""https://你的域名2"]
}

命令方式

1
sudo docker pull 你的域名/ubuntu:20.04
0%