程式語言初學者 Docker 入門第六章 —— 資料管理 Data Volumes

 查看容器內應用程式產生的資料，對資料進行持久化儲存，甚至多個容器之間進行資料共用

容器中管理資料主要有兩種方式：

  • 資料卷 (Data Volumes)

    容器內資料直接對應到本地主機環境

  • 資料卷容器 (Data Volume Containers)

    使用特定容器來維護資料卷

資料卷

  • 特性：
    • 容器之間共用和重用，容器間傳遞資料將變得有效率且方便
    • 資料修改會立即生效，無論是容器內操作還是本機上操作
    • 資料卷的更新不會影響到 image ，把應用程式資料分離去耦合
    • 一直存在，直到沒有容器使用，便可安全移除

1. 建立資料卷

docker create docker run 用 -v 參數 會在主機端建立一個目錄並掛載到容器內，一次使用多個 -v 可以掛載多個資料卷目錄

$ docker run -d -P --name web -v /webapp training/webapp python app.py
Unable to find image 'training/webapp:latest' locally
latest: Pulling from training/webapp
Image docker.io/training/webapp:latest uses outdated schema1 manifest format. Please upgrade to a schema2 image for better future compatibility. More information at <https://docs.docker.com/registry/spec/deprecated-schema-v1/>
e190868d63f8: Pull complete 
909cd34c6fd7: Pull complete 
0b9bfabab7c1: Pull complete 
a3ed95caeb02: Pull complete 
10bbbc0fc0ff: Pull complete 
fca59b508e9f: Pull complete 
e7ae2541b15b: Pull complete 
9dd97ef58ce9: Pull complete 
a4c1b0cb7af7: Pull complete 
Digest: sha256:06e9c1983bd6d5db5fba376ccd63bfa529e8d02f23d5079b8f74a616308fb11d
Status: Downloaded newer image for training/webapp:latest
5184ea726932e76e00a84d89cefeed19a6a68be6edb9e02da33fdbd695278e4a

<aside> 💡 -P 將容器服務的連接埠對外開放，隨機對應到本機上的連接埠 用 training/webapp image 新建一個 web 容器，並新增一個資料卷掛載到容器的 /webapp 目錄

</aside>

$ docker ps
CONTAINER ID   IMAGE             COMMAND           CREATED         STATUS         PORTS                                         NAMES
5184ea726932   training/webapp   "python app.py"   4 minutes ago   Up 4 minutes   0.0.0.0:49153->5000/tcp, :::49153->5000/tcp   web

2. 掛載一個本機目錄作為資料卷

*推薦 -v 也可以指定掛載一個本地端的已存在目錄到容器中作為資料卷，若本機預掛載目錄不存在，則會自動建立此目錄

使用者可以放置一些程式或資料到本機目錄中，然後在容器內運行和使用

容器掛載目錄：絕對路徑

本機掛載目錄：相對路行 / 絕對路行

如果目錄不存在 Docker，會自動建立

$ docker run -d -P --name web -v /src/webapp:/opt/webapp training/webapp python app.py

<aside> 💡 掛載主機的 /src/webapp 目錄到容器的 /opt/webapp 目錄用 training/webapp image 新建一個 web 容器，並新增一個資料卷掛載到容器的 /webapp 目錄

</aside>

Docker 掛載資料卷預設：可讀寫 (rw)

可指定成為讀 (ro)

$ docker run -d -P --name web -v /src/webapp:/opt/webapp:or training/webapp python app.p

資料卷容器 (Data Volume Containers)

如果使用者需要在多個容器之間共用一些持續更新的資料，最簡單的方式是使用資料卷容器。

也是容器

目的：專門用來提供資料卷供其他容器掛載

建立一個資料卷容器 dbdata，並在其中新增一個資料卷掛載到 /dbdata

$ docker run -it -v /dbdata --name dbdata ubuntu

example:

$ docker run -it -v /home/seraphine/workspace/ccclub-api:/ccclub_api --name ccclub_dbdata ubuntu
$ docker start ccclub_dbdata # 啟動 container
$ docker exec -it ccclub_dbdata /bin/bash # 進入 container

在其他容器中使用 --volumes-from 來掛載 dbdata 容器中

example:

docker run -it --volumes-from ccclub_dbdata --name db1 ubuntu
docker run -it --volumes-from ccclub_dbdata --name db2 ubuntu

$ docker ps
CONTAINER ID   IMAGE     COMMAND       CREATED          STATUS          PORTS     NAMES
e23548ee3711   ubuntu    "/bin/bash"   18 minutes ago   Up 12 minutes             ccclub_dbdata

$ docker ps -a
CONTAINER ID   IMAGE          COMMAND                  CREATED          STATUS                      PORTS     NAMES
1f5fdc05fabd   ubuntu         "/bin/bash"              13 seconds ago   Exited (0) 5 seconds ago              db2
79137ff83a8b   ubuntu         "/bin/bash"              35 seconds ago   Exited (0) 22 seconds ago             db1
e23548ee3711   ubuntu         "/bin/bash"              18 minutes ago   Up 12 minutes                         ccclub_dbdata

容器 bd1 bd2 都掛載 ccclub_dbdata 資料卷到 /ccclub_api 目錄。

此時任何一方在該目錄下的寫入，其他容器都可以看得到

exapmle: 在 ccclub_dbdata /ccclub_api 底下新增 test.py 檔

$ docker exec -it ccclub_dbdata /bin/bash
root@e23548ee3711:/# ls
bin  boot  ccclub_api  dev  etc  home  lib  lib32  lib64  libx32  media  mnt  opt  proc  root  run  sbin  srv  sys  tmp  usr  var
root@e23548ee3711:/# cd ccclub_api/
root@e23548ee3711:/ccclub_api# ls
Dockerfile  README.md    api_project  courses             entrypoint.sh  manage.py  pytest.ini     requirements.txt  students
Makefile    __init__.py  conftest.py  docker-compose.yml  lint.py        projects   questionnaire  setup.cfg         users
root@e23548ee3711:/ccclub_api# touch test.py
root@e23548ee3711:/ccclub_api# ls
Dockerfile  README.md    api_project  courses             entrypoint.sh  manage.py  pytest.ini     requirements.txt  students  users
test.py     Makefile    __init__.py  conftest.py  docker-compose.yml  lint.py        projects   questionnaire  setup.cfg

去 db2 底下查看

docker start db2
docker exec -it db2 /bin/bash
root@1f5fdc05fabd:/# cd ccclub_api/
root@1f5fdc05fabd:/ccclub_api# ls
Dockerfile  README.md    api_project  courses             entrypoint.sh  manage.py  pytest.ini     requirements.txt  students  users
test.py     Makefile    __init__.py  conftest.py  docker-compose.yml  lint.py        projects   questionnaire  setup.cfg

可以多次使用 --volumes-from 從多個容器掛載多個資料卷，也可從其他已掛載資料卷容器來掛載資料卷。container 不需要保持在執行

$ docker run -d --name db3 --volumes-from db1 training/postgres
$ docker exec -it db3 /bin/bash       
root@6c18d435c6fc:/# ls
bin  boot  ccclub-api  dev  etc  home  lib  lib64  media  mnt  opt  proc  root	run  sbin  srv	sys  tmp  usr  var
root@6c18d435c6fc:/# cd ccclub-api/
root@6c18d435c6fc:/ccclub-api# ls
Dockerfile  __init__.py  courses	     lint.py	pytest.ini	  setup.cfg
Makefile    api_project  docker-compose.yml  manage.py	questionnaire	  students
README.md   conftest.py  entrypoint.sh	     projects	requirements.txt  users

刪除掛載容器

資料卷不會被刪除，必需要刪除最後一個還掛載的容器時用 docker rm -v新版也可以使用 docker system prune

利用資料卷容器來搬移資料

  1. 備份

    docker run --volumes-from ccclub_dbdata -v $(pwd):/backup --name worker ubuntu tar cvf /backup/backup.tar /ccclub-api

    用 ubuntu image 建立 name 為 worker 的 container。用 --volumes-from 讓 worker 掛載 ccclub_dbdata 容器的資料卷（ccclub_dbdata 容器內的 /ccclub-api 目錄）

    worker 啟動後，使用 tar cvf /backup/backup.tar /ccclub-api command 來將 /ccclub-api 底下的內容備份為容器內的 /backup/backup.tar，即 Host 主機目前執行目錄下的 backup.tar

  2. 恢復 （restore）

    如果要將資料恢復搬移到一個容器：

    1. 先建立一個帶有資料卷的容器 dbdata2:

      docker run -v /ccclub_dbdata --name dbdata2 ubuntu /bin/bash

    2. 建立另一個新容器掛載 dbdata2 的容器，使用 untar 解壓縮備份檔案到掛載的容器卷中

      docker run --volumes-from dbdata2 -v $(pwd):/backup busybox tar xvf /backup/backup.tar

Comments

Post a Comment

Popular posts from this blog

《 Imgproxy 使用分析一：圖片下載速度優化分析：Akamai CDN vs Imgproxy 效能比較》

Image
前言 打造了一顆社群 App ，內有一堆圖片在 load 的時候會黑黑的，過一陣子才 load 得出來 目標 解決這個會讓用戶體驗不佳的問題，很快滑過去也不能看到黑黑的！ 方法 網上 Survey (Chat GPT) 了一下， 決定試試壓縮圖片，看能不能讓下載速度更快。 壓縮的方式選用 Imgproxy 架在 AWS Loadbalancer 層級，人如其名，就是把它當成 proxy 使用。 Source Origin 為 S3，前面也加了一層 CDN。 因此拿圖的流程會長這樣 圖1. cdn imgproxy s3 plantUML 接著就是看這樣的設計流程可不可以讓我們拿圖變快囉！ 在開始之前，需要先知道 從 S3 拉圖跟透過 imgproxy 從 S3 拉圖的速度差 才有比較的基準值，畢竟如果 imgproxy 本身就存在下載速度限制的話，再怎麼壓縮，拉圖就是會慢啊！ 實驗設計 假設 Imgroxy 可以幫我加速圖片下載速度！ 方法 比較各種情境的下載速度是否有差異： S3 vs Imgproxy  →  S3 Akamai CDN  →  S3 vs Imgproxy  →  S3 Akamai CDN  →  S3 vs CloudFront CDN  →  Imgproxy  →  S3 第一次緩存建立 CloudFront  CDN  →  Imgproxy  →  S3 與第二三次 緩存建立後 CloudFront  CDN  →  Imgproxy  →  S3，下載速度差 Akamai CDN  →  S3 vs 緩存建立後的 CloudFront  CDN  →  Imgproxy  →  S3 測試環境 星巴克 wifi, AWS S3,  AWS  Loadbalancer (Imgproxy),  AWS  CloudFront,  Akamai CDN 後面的 S3 前面的 CDN...
Read more

《 Akamai + S3 與 CloudFront + Imgproxy + S3 使用分析二：壓縮圖片設計流程：檔案大小 vs 載入時間的權衡》

Image
要透過 Imgproxy 客製化每種圖檔要被壓縮的方法，真的超難啦！ 目標 將圖片壓縮到 50 KB、250 KB、500 KB、1 MB 等不同檔案大小。 對於已小於目標大小的圖片，不進行壓縮以避免檔案變大。 支援多種圖片格式（PNG、JPG、AVIF 等），依據需求選擇最佳壓縮格式。 提供不同解析度的圖片給前端，讓前端可以根據用戶網速自動切換合適檔案大小。 壓縮設計 目的 利用 Imgproxy 壓縮圖檔下載是否可以有效增加下載圖片效率 步驟 1：判斷檔案大小與格式 從 Akamai_S3 下載原始圖片後，先檢查檔案大小與格式。 如果檔案小於欲壓縮格式目標大小 （例如欲壓縮至 250 KB，但檔案只有 70 KB），則該格式 不做處理 ，繼續跳往下一級 (50 KB)。 如果檔案大於目標大小，進行壓縮或格式轉換。 步驟 2：選擇壓縮策略與格式 優先順序： JPG (JPEG) ：適合照片、色彩豐富的圖片。壓縮率高但會有損失。 AVIF / WEBP ：壓縮率更高，幾乎無損，適合支持新格式的瀏覽器。 PNG ：適合需要透明背景的圖片。壓縮率較低但無損壓縮。 選擇策略： PNG → JPG ：如果 PNG 沒有透明背景且圖片過大，轉成 JPG 可以大幅減少檔案大小。 AVIF → AVIF ：AVIF 檔案通常已經很小，不需要轉換，僅調整品質。 JPG → JPG ：降低品質進行壓縮。 GIF → WEBP ：動態 GIF 可轉成 WEBP，通常能縮小 30-50%。 步驟 3：壓縮參數設定 JPG： quality=70-80 是較理想的平衡點， 70 可顯著減少檔案大小，畫質影響有限。 PNG： 使用無損壓縮，或轉換成 JPG 若透明度不重要。 WEBP / AVIF： quality=60-70 仍能保持優異畫質，檔案非常小。 根據以上制定規則，以下為測試參數搭配在不同檔案類型下有最佳效果的測試 png: > 1MB: q:80/rs:fit:1920:1080 500 KB - 1 MB: q:70/rs:fit:1280:720 250 KB - 500 KB: q:60/rs:fit:800:600 50 KB - 250KB: q:50/rs:fit:400:300 jpeg or jpg > 1MB: q:80/mb:1000000...
Read more

PostgreSQL 具有的 NoSQL 特性

Image
了解了 RDBMS 與 NoSQL 的差異之後，我們來了解 PostgreSQL 除了本是 RDBMS 之外，還包含了哪些 NoSQL 的特性： PS: 可依下列步驟先在地端用 docker 啟一個 postgreSQL database 1. pull posgres image and run docker run -d \ --name postgres-db \ -e POSTGRES_USER=postgres \ -e POSTGRES_PASSWORD=password \ -e POSTGRES_DB=postgres \ -p 5432:5432 \ postgres 2. 建立一個 demo database psql -h localhost -p 5432 -U postgres -c "CREATE DATABASE nosql_demo;" 3. 連線 psql -h localhost -p 5432 -U postgres -W -d nosql_demo 4. 輸入密碼 password Password: Document types 1. XML documents 是一種 Hierarchical structured 1. 用 xml text 建立資料 Examples: // create xmltest table CREATE TABLE xmltest ( data xml NOT NULL ); // 插入一筆 xmltest 資料 INSERT INTO xmltest (data) VALUES ( '<attendee><bio> <name>John Doe</name> <birthYear> 1986 </birthYear></bio><languages> <lang level = "5" >php</lang><lang level = "4" >python</lang> <lang level = "2" ...
Read more