java php Android Firefox shell mysql 程序员 apache 微软 wordpress Python centos 编程 开源 Ubuntu google nginx Windows linux 云计算

雲計算和虛擬機基礎梳理

雲計算介紹
雲計算是一種按使用量付費的模式,這種模式提供可用的、便捷的、按需的網絡訪問,進入可配置的計算資源共享池,(資源包括網絡、服務器、存儲、應用軟件、服務),這些資源能夠被快速提供,需要投入很少的管理工作,或與服務供應商進行很少的交互。

1)雲計算之前的使用模式
IDC 托管
IDC 租用
虛擬主機(買空間)
VPS:虛擬專用主機
2)傳統數據中心面臨的問題
資源使用率低
資源分配不均
自動化能力差
3)雲計算的優勢
雲計算是一種使用模式,不是一種技術
雲計算的使用方式:通過網絡訪問
雲計算的優勢:彈性計算、按需計費
4)雲計算的特點
資源池化
無處不在的網絡訪問
可隨時調節的自助服務
可測量的服務量
快速的變化伸縮
5)雲計算的服務模式

1--支撐服務
由支撐網絡來提供,雲計算模式實現的使用的方式。
2--IaaS基礎設施即服務
消費者通過支撐網絡可以從完善的計算機基礎設施獲得服務。這類服務稱為基礎設施即服務,基於 Internet 的服務(如存儲和數據庫)是 IaaS的一部分。
3--PaaS平臺即服務
PaaS(Platform-as-a-service:平臺即服務)是指將軟件研發的平臺作為一種服務,以SaaS的模式提交給用戶。因此,PaaS也是SaaS模式的一種應用。
4--SaaS
它是一種通過Internet提供軟件的模式,廠商將應用軟件統一部署在自己的服務器上,客戶可以根據自己實際需求,通過互聯網向廠商定購所需的應用軟件服務,按定購的服務多少和時間長短向廠商支付費用,並通過互聯網獲得廠商提供的服務。用戶不用再購買軟件,而改用向提供商租用基於Web的軟件,來管理企業經營活動,且無需對軟件進行維護,服務提供商會全權管理和維護軟件,軟件廠商在向客戶提供互聯網應用的同時,也提供軟件的離線操作和本地數據存儲,讓用戶隨時隨地都可以使用其定購的軟件和服務。對於許多小型企業來說,SaaS是采用先進技術的最好途徑,它消除了企業購買、構建和維護基礎設施和應用程序的需要。
6)雲計算的類型
1--公有雲
公有雲通常指第三方提供商為用戶提供的能夠使用的雲,公有雲一般可通過 Internet 使用,可能是免費或成本低廉的,公有雲的核心屬性是共享資源服務。這種雲有許多實例,可在當今整個開放的公有網絡中提供服務。例如:阿裏雲、騰訊雲、青雲、百度雲、盛大雲、迅達雲、等等。
2--私有雲
私有雲(Private Clouds)是為一個客戶單獨使用而構建的,因而提供對數據、安全性和服務質量的最有效控制。該公司擁有基礎設施,並可以控制在此基礎設施上部署應用程序的方式。私有雲可部署在企業數據中心的防火墻內,也可以將它們部署在一個安全的主機托管場所,私有雲的核心屬性是專有資源。
3--混合雲
混合雲融合了公有雲和私有雲,是近年來雲計算的主要模式和發展方向。我們已經知道私企業主要是面向企業用戶,出於安全考慮,企業更願意將數據存放在私有雲中,但是同時又希望可以獲得公有雲的計算資源,在這種情況下混合雲被越來越多的采用,它將公有雲和私有雲進行混合和匹配,以獲得最佳的效果,這種個性化的解決方案,達到了既省錢又安全的目的。

虛擬化介紹
擬化,是指通過虛擬化技術將一臺計算機虛擬為多臺邏輯計算機。在一臺計算機上同時運行多個邏輯計算機,每個邏輯計算機可運行不同的操作系統,並且應用程序都可以在相互獨立的空間內運行而互不影響,從而顯著提高計算機的工作效率。
虛擬化使用軟件的方法重新定義劃分IT資源,可以實現IT資源的動態分配、靈活調度、跨域共享,提高IT資源利用率,使IT資源能夠真正成為社會基礎設施,服務於各行各業中靈活多變的應用需求。
1)虛擬化的分類
全虛擬化:直接使用底層的硬件 比如:KVM
半虛擬化:通過一個中間件,來調用底層的硬件 比如:xen
平臺虛擬化
硬件虛擬化(Inter vt-x/EPT) (AMD AMD-v /RVI)
軟件虛擬化
桌面虛擬化
應用虛擬化
存儲虛擬化
網絡虛擬化
2)虛擬化的優勢
虛擬化可以虛擬出不同的虛擬操作系統。
虛擬機之間是相互獨立互不影響的。
支持異構。
支持快照、克隆、還原等操作
雲計算與虛擬化的區別與聯系

雲計算與虛擬化的區別與聯系
1)虛擬化是一種技術,雲計算是一種使用模式。
2)虛擬化是指將物理的實體,通過軟件模式,形成若幹虛擬存在的系統,其實真是運作還是在實體上,只是劃分了若幹區域或者時域劃分。
3)雲計算的基礎是虛擬化,但虛擬化只是雲計算的一部分,雲計算其實就是在虛擬化出若幹資源池以後的應用,但虛擬化並不是只對應雲計算的。

KVM虛擬化
KVM是開源軟件,全稱是kernel-based virtual machine(基於內核的虛擬機)。
KVM是x86架構且硬件支持虛擬化技術(如 intel VT 或 AMD-V)的Linux全虛擬化解決方案。
它包含一個為處理器提供底層虛擬化 可加載的核心模塊kvm.ko(kvm-intel.ko或kvm-AMD.ko)。
KVM還需要一個經過修改的QEMU軟件(qemu-kvm),作為虛擬機上層控制和界面。
KVM能在不改變linux或windows鏡像的情況下同時運行多個虛擬機,(它的意思是多個虛擬機使用同一鏡像)並為每一個虛擬機配置個性化硬件環境(網卡、磁盤、圖形適配器……)。
1)KVM的優勢
嵌入到Linux的Kernel中 (提高兼容性)
代碼級資源調用(提高性能)
虛擬機就是一個進程
直接支持MUMA技術(NUMA(Non Uniform Memory Access Architecture)技術可以使眾多服務器像單一系統那樣運轉,同時保留小系統便於編程和管理的優點。
2)KVM安裝前提
CPU要支持虛擬化,服務器上默認一般是開啟的,虛擬機要自己啟動VT-EPT技術
[root@oldboy-node1 ~]# grep -E "(vmx|svm)" /proc/cpuinfo
Inter處理器對應:VMX
AMD處理器對應:SVM
3)KVM虛擬機安裝
查看系統版本
[root@linux-node1~]# cat /etc/redhat-release 
CentOSLinux release 7.1.1503 (Core)

安裝KVM相關的組件
[root@oldboy-node1 ~]# yum -y install qemu-kvm qemu-kvm-tools virt-manager libvirt virt-install
kvm:linux內核中的一個模塊,不需要安裝只要加載就行,通過用戶態進程來管理。
qemu:虛擬化軟件,支持多種架構,可擴展,可移植
qemu-kvm:用戶態管理KVM,網卡、聲卡、PCI設備等的管理
libvirt:是一個虛擬化 API 和虛擬機(VMs)管理後臺,支持遠程或本地訪問,支持多種虛擬化後端 (QEMU/KVM, VirtualBox, Xen,等等) 。

檢查KVM是否加載
[root@oldboy-node1 ~]# lsmod | grep kvm
kvm_intel 148081 0
kvm 461126 1 kvm_intel

啟動並設置開機啟動libvirt
[root@linux-node1~]# systemctl enable libvirtd.service 
[root@linux-node1~]# systemctl start libvirtd.service
[root@oldboy-node1 ~]# systemctl status libvirtd.service

創建虛擬機
1--虛擬機的創建命令
–virt-type:指定虛擬機類型(kvm、qemu、xen)
–name:指定虛擬機的名稱
–raw:指定內存大小
–cpu:指定cpu的核數(默認為1)
–cdrom:指定鏡像
–disk:指定磁盤路徑(即上文創建的虛擬磁盤)
–network:指定網絡類

2--創建硬盤(創建虛擬磁盤,-f指定格式,路徑/opt/CentOS-7.1-x86_64.raw,大小10G)
[root@oldboy-node1 ~]# qemu-img create -f raw /opt/CentOS-7.1-x86_64.raw 10G
Formatting '/opt/CentOS-7.1-x86_64.raw', fmt=raw size=10737418240
3--鏡像的拷貝
[root@oldboy-node1 ~]# dd if=/dev/cdrom of=/opt/CentOS-7.1.iso
4--虛擬機的創建
[root@oldboy-node1 ~]# virt-install --name CentOS-7.1-x86_64 --virt-type kvm --ram 1024 --cdrom=/opt/CentOS-7.1.iso --disk path=/opt/CentOS-7.1-x86_64.raw --network network=default --graphics vnc,listen=0.0.0.0 --noautoconsole
5--使用VNC連接虛擬機
使用VNC客戶端連接虛擬機 物理機的地址:5900 默認是從5900開始,以此類推。也可以通過端口grep vnc查看。
6--修改網卡的名稱
因為CentOS7以後,網卡的命名發生改變。可以在安裝的時候就做出修改

按下Tab鍵,然後在quiet後面添加 net.ifnames=0 biosdevname=0
至此,一臺KVM虛擬機安裝成功。

KVM的日常應用管理
1--虛擬機的查看
# 當前正在運行中的虛擬機
[root@linux-node1 opt]# virsh list 
Id Name State
—————————————————-
1 CentOS-7-x86_64running
# 當前物理機中的所有的虛擬機
[root@linux-node1 opt]# virsh list --all
也可以在物理機進程中查看,KVM虛擬機就是一個KVM進程在運行
2--虛擬機的開關
關閉虛擬機
[root@oldboy-node1 ~]# virsh shudown CentOS-7.1-x86_64(主機名)
[root@oldboy-node1 ~]# virsh destroy CentOS-7.1-x86_64(主機名)
打開虛擬機
[root@oldboy-node1 ~]# virsh start CentOS-7.1-x86_64
刪除虛擬機
[root@oldboy-node1 ~]# virsh undefine CentOS-7.1-x86_64
掛起
[root@oldboy-node1 ~]# virsh suspended CentOS-7.1-x86_64
恢復
[root@oldboy-node1 ~]# virsh resume CentOS-7.1-x86_64
3--虛擬機CPU的擴容
編輯虛擬機
virsh edit CentOS-7.1-x86_64
# 為了實現CPU的熱添加,就需要更改Cpu的最大值,當然熱添加值不能超過最大值
# 當前為1,自動擴容最大為4
[root@linux-node1 opt]# virsh edit CentOS-7-x86_64 
<vcpu placement=’auto’ current=”1″>4</vcpu> 
# 熱修改為2個cpu(不知減少),高版本自動激活
[root@linux-node1 opt]# virsh setvcpus CentOS-7-x86_64 2 –live 
# 通過vnc登錄KVM虛擬機查看是否擴容成功
[root@KVM]# grep processor /proc/cpuinfo |wc -l 
# 在創建虛擬機時指定cpu
[root@linux-node1 ~]# virt-install –help|grep vcpus
–vcpus VCPUS 
"""
為虛擬機配置的 vcpus 數。
例如:
–vcpus 5
–vcpus 5,maxcpus=10,cpuset=1-4,6,8
–vcpus sockets=2,cores=4,threads=2,
"""
4--內存熱膨脹和壓縮
# 查看當前KVM內存大小
[root@linux-node1 ~]# virsh qemu-monitor-command CentOS-7-x86_64 –hmp –cmd info balloon 
balloon: actual=1024
# 熱添加600M
[root@linux-node1 ~]# virsh qemu-monitor-command CentOS-7.1-x86_64 –hmp –cmd balloon 600
# 在配置文件中修改
[root@linux-node1 network-scripts]# virsh edit CentOS-7.1-1-x86_64
最大內存<memory unit='KiB'>4048576</memory>
當前內存<currentMemory unit='KiB'>1048576</currentMemory>
5--硬盤的模式
生產中不建議對線上的服務器的硬盤進行更改,因此直接不對此贅述。
硬盤格式:
RAW:全鏡像格式:設置多大就是多大,寫入速度快,可以隨便轉換成其他的格式。性能最優。但是占用空間大。
QCOW2:稀疏格式:支持寫時拷貝(Cow,copy-on-write)壓縮,快照,鏡像,更小的存儲空間。(用多少給多少)可選擇基於Zlib的壓縮方式,可以選擇AES加密
創建qcow2和raw文件
[root@linux-node1 ~]# qemu-img create -f qcow2 test.qcow2 10G
Formatting 'test.qcow2', fmt=qcow2 size=10737418240 encryption=off cluster_size=65536 lazy_refcounts=off
[root@linux-node1 ~]# qemu-img create -f raw test.raw 10G
Formatting 'test.raw', fmt=raw size=10737418240
空間使用情況對比
[root@linux-node1 ~]# ll -sh test.*
200K -rw-r--r-- 1 qiaoliyong qiaoliyong 193K 5 月 6 10:29 test.qcow2
0 -rw-r--r-- 1 qiaoliyong qiaoliyong 10G 5 月 6 10:28 test.raw
[root@linux-node1 ~]# stat test.raw
文件:"test.raw"
大小:10737418240 塊:0 IO 塊:4096 普通文件
[root@linux-node1 ~]# stat test.qcow2
文件:"test.qcow2"
大小:197120 塊:400 IO 塊:4096 普通文件

6--網卡的配置
# 先建立一個虛擬網卡,名稱為br0(可以看做是一個邏輯網段,也可以看做是一個VLAN名稱)
[root@linux-node1~]# brctl addbr br0 
# 查看網卡信息
[root@linux-node1 ~]# brctl show 
bridge
name bridge id STP enabled interfaces
br0 8000.000000000000 no
virbr0 8000.5254009f0311 yes virbr0-nic
# 把eth0加入網橋,使用橋接模式,給br0設置ip段,添加路由網關,關閉防火墻
[root@linux-node1 ~]# brctl addif br0 eth0 && ip addr del dev eth0 192.168.56.111/24 && ifconfig br0 192.168.56.111/24 up && route add default gw192.168.56.2 && iptables -F 
# 查看網橋的IP
[root@linux-node1~]# ifconfig br0 
br0:flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1500
inet 192.168.56.111 netmask 255.255.255.0 broadcast 192.168.56.255
inet6 fe80::20c:29ff:fe5d:cc27 prefixlen 64scopeid 0x20<link>
ether 00:0c:29:5d:cc:27 txqueuelen 0(Ethernet)
RX packets 4813 bytes 472527 (461.4 KiB)
RX errors 0 dropped 0overruns 0 frame 0
TX packets 2705 bytes 510369 (498.4 KiB)
TX errors 0 dropped 0 overruns 0 carrier 0collisions 0
# 編輯虛擬機的網絡配置使用br0網橋模式
[root@linux-node1 ~]# virsh edit CentOS-7-x86_64 
<interface type=’bridge’>        #虛擬機網絡連接方式
<mac address=’52:54:00:22:04:0f’/>        #為虛擬機分配MAC地址,務必唯一,如果是dhcp獲得同樣IP會引起沖突
<source bridge=’br0’/>        #當前主機網橋名稱
# 重啟虛擬機
# 關閉KVM虛擬機
[root@linux-node1 opt]# virsh shutdown CentOS-7-x86_64 
Domain CentOS-7-x86_64 is being shutdown
# 啟動KVM虛擬機
[root@linux-node1 opt]# virsh start CentOS-7-x86_64 
Domain CentOS-7-x86_64 started
# 然後配置靜態IP地址,重啟網卡,即可以通過xshell連接上KVM虛擬機了。

KVM性能優化
1)CPU的優化
Inter的cpu運行級別,按權限級別高低Ring3->Ring1->Ring0(Ring2和Ring1暫時不使用)Ring3為用戶態;Ring0為內核態

Ring3的用戶態是沒有權限管理硬件的,需要切換到內核態Ring0,這樣的切換(系統調用)稱為上下文切換,物理機到虛擬機多次的上下文切換,勢必會導致性能出現問題。對於全虛擬化,inter實現了技術VT-x,在CPU硬件上實現了加速轉換,CentOS7默認是不需要開啟的。
2)CPU緩存綁定
[root@linux-node1 ~]# lscpu|grep cache
L1d cache: 32K
L1i cache: 32K
L2 cache: 256K
L3 cache: 3072K

L1是靜態緩存,造價高。
L2,L3是動態緩存,通過脈沖的方式寫入0和1,造價較低。
cache解決了cpu處理快,內存處理慢的問題,類似於memcaced和數據庫。
如果cpu調度器把進程隨便調度到其他cpu上,而不是當前L1,L2,L3的緩存cpu上,緩存就不生效了,就會產生miss,為了減少cache miss,需要把KVM進程綁定到固定的cpu上。
可以使用taskset把某一個進程綁定(cpu親和力綁定,可以提高20%的性能)在某一個cpu上,例如:taskset -cp 125718(1指的是cpu1,也可以綁定到多個cpu上,25718是指的pid).
cpu綁定的優點:提高性能,20%以上
cpu綁定的缺點:不方便遷移,靈活性差
3)內存優化
原本實現方式:
虛擬機的虛擬內存===>虛擬機的物理內存
宿主機的虛擬內存===>宿主機的物理內存

現在實現方式:EPT(inter)
虛擬機的虛擬內存=====EPT=====宿主機的物理內存
VMM通過采用影子列表解決內存轉換的問題,影子頁表是一種比較成熟的純軟件的內存虛擬化方式,但影子頁表固有的局限性,影響了VMM的性能,例如,客戶機中有多個CPU,多個虛擬CPU之間同步頁面數據將導致影子頁表更新次數幅度增加,測試頁表將帶來異常嚴重的性能損失。如下圖1-1為影子頁表的原理圖:

在此之際,Inter在最新的Core I7系列處理器上集成了EPT技術(對應AMD的為RVI技術),以硬件輔助的方式完成客戶物理內存到機器物理內存的轉換,完成內存虛擬化,並以有效的方式彌補了影子頁表的缺陷,該技術默認是開啟的,如下圖1-2為EPT技術的原理。

KSM內存合並
宿主機上默認會開啟ksmd進程,該進程作為內核中的守護進程存在,它定期執行頁面掃描,識別副本頁面並合並副本,釋放這些頁面以供它用,CentOS7默認是開啟狀態
[root@linux-node1 ~]# ps aux |grep ksmd
root 280 0.0 0.0 0 0 ? SN 20:37 0:00 [ksmd]

大頁內存
Linux默認的內存頁面大小都是4K,HugePage進程會將默認的每個內存頁面可以調整為2M,CentOS7默認開啟的
[root@linux-node1 ~]# cat /sys/kernel/mm/transparent_hugepage/enabled
[always] madvise never
[root@linux-node1 ~]# ps aux|grep hugepage|grep -v grep
root 2810.0 0.0 00 ? SN 04:220:03 [khugepaged]

4)磁盤IO優化
IO調度算法,也叫電梯算法,詳情請看趙班長博客:http://www.unixhot.com/article/4
1--Noop Scheduler:簡單的FIFO隊列,最簡單的調度算法,由於會產生讀IO的阻塞,一般使用在SSD硬盤,此時不需要調度,IO效果非常好
2--Anticipatory IO Scheduler(as scheduler)適合大數據順序順序存儲的文件服務器,如ftp server和web server,不適合數據庫環境,DB服務器不要使用這種算法。
3--Deadline Schedler:按照截止時間的調度算法,為了防止出現讀取被餓死的現象,按照截止時間進行調整,默認的是讀期限短於寫期限,就不會產生餓死的狀況,一般應用在數據庫
4--Complete Fair Queueing Schedule:完全公平的排隊的IO調度算法,保證每個進程相對特別公平的使用IO
# 查看本機Centos7默認所支持的調度算法
[root@linux-node1 ~]# dmesg|grep -i “scheduler” 
[ 1.332147] io scheduler noop registered
[ 1.332151] io scheduler deadline registered (default)
[ 1.332190] io scheduler cfq registered
# 臨時更改某個磁盤的IO調度算法,將deadling模式改為cfq模式
[root@linux-node1 ~]# cat /sys/block/sda/queue/scheduler
noop [deadline] cfq
[root@linux-node1 ~]# echo cfq >/sys/block/sda/queue/scheduler 
[root@linux-node1 ~]# cat /sys/block/sda/queue/scheduler
noop deadline [cfq]
# 使更改的IO調度算法永久生效,需要更改內核參數
[root@linux-node1 ~]# vim /boot/grub/menu.lst 
kernel /boot/vmlinuz-3.10.0-229.el7 ro root=LABEL=/ elevator=deadline rhgb quiet

延伸阅读

    评论