python基础之网络基础
一.操作系統(tǒng)基礎(chǔ)
? 操作系統(tǒng):(Operating System,簡稱OS)是管理和控制計算機硬件與軟件資源的計算機程序,是直接運行在“裸機”上的最基本的系統(tǒng)軟件,任何其他軟件都必須在操作系統(tǒng)的支持下才能運行。
注:計算機(硬件)->os->應(yīng)用軟件
二.網(wǎng)絡(luò)通信原理
2.1 互聯(lián)網(wǎng)的本質(zhì)就是一系列的網(wǎng)絡(luò)協(xié)議
一臺硬設(shè)有了操作系統(tǒng),然后裝上軟件你就可以正常使用了,然而你也只能自己使用
像這樣,每個人都擁有一臺自己的機器,然而彼此孤立
如何能大家一起玩耍
然而internet為何物?
其實兩臺計算機之間通信與兩個人打電話之間通信的原理是一樣的(中國有很多地區(qū),不同的地區(qū)有不同的方言,為了全中國人都可以聽懂,大家統(tǒng)一講普通話)
普通話屬于中國國內(nèi)人與人之間通信的標準,那如果是兩個國家的人交流呢?
問題是,你不可能要求一個人/計算機掌握全世界的語言/標準,于是有了世界統(tǒng)一的通信標準:英語
?
結(jié)論:英語成為世界上所有人通信的統(tǒng)一標準,如果把計算機看成分布于世界各地的人,那么連接兩臺計算機之間的internet實際上就是
一系列統(tǒng)一的標準,這些標準稱之為互聯(lián)網(wǎng)協(xié)議,互聯(lián)網(wǎng)的本質(zhì)就是一系列的協(xié)議,總稱為‘互聯(lián)網(wǎng)協(xié)議’(Internet Protocol Suite).
互聯(lián)網(wǎng)協(xié)議的功能:定義計算機如何接入internet,以及接入internet的計算機通信的標準。
2.2 osi七層協(xié)議
互聯(lián)網(wǎng)協(xié)議按照功能不同分為osi七層或tcp/ip五層或tcp/ip四層
?
每層運行常見物理設(shè)備
2.3 tcp/ip五層模型講解
我們將應(yīng)用層,表示層,會話層并作應(yīng)用層,從tcp/ip五層協(xié)議的角度來闡述每層的由來與功能,搞清楚了每層的主要協(xié)議
就理解了整個互聯(lián)網(wǎng)通信的原理。
首先,用戶感知到的只是最上面一層應(yīng)用層,自上而下每層都依賴于下一層,所以我們從最下一層開始切入,比較好理解
每層都運行特定的協(xié)議,越往上越靠近用戶,越往下越靠近硬件
2.3.1 物理層
物理層由來:上面提到,孤立的計算機之間要想一起玩,就必須接入internet,言外之意就是計算機之間必須完成組網(wǎng)
物理層功能:主要是基于電器特性發(fā)送高低電壓(電信號),高電壓對應(yīng)數(shù)字1,低電壓對應(yīng)數(shù)字0
2.3.2 數(shù)據(jù)鏈路層
數(shù)據(jù)鏈路層由來:單純的電信號0和1沒有任何意義,必須規(guī)定電信號多少位一組,每組什么意思
數(shù)據(jù)鏈路層的功能:定義了電信號的分組方式
以太網(wǎng)協(xié)議:
早期的時候各個公司都有自己的分組方式,后來形成了統(tǒng)一的標準,即以太網(wǎng)協(xié)議ethernet
ethernet規(guī)定
- 一組電信號構(gòu)成一個數(shù)據(jù)包,叫做‘幀’
- 每一數(shù)據(jù)幀分成:報頭head和數(shù)據(jù)data兩部分
| ? ? ? ?head | ? ? ? ? ? ? ? ? ? ? ? ?data ? ? ? ? ? ? ? ? ? ? ? ? ? ?? |
?
head包含:(固定18個字節(jié))
- 發(fā)送者/源地址,6個字節(jié)
- 接收者/目標地址,6個字節(jié)
- 數(shù)據(jù)類型,6個字節(jié)
data包含:(最短46字節(jié),最長1500字節(jié))
- 數(shù)據(jù)包的具體內(nèi)容
head長度+data長度=最短64字節(jié),最長1518字節(jié),超過最大限制就分片發(fā)送
mac地址:
head中包含的源和目標地址由來:ethernet規(guī)定接入internet的設(shè)備都必須具備網(wǎng)卡,發(fā)送端和接收端的地址便是指網(wǎng)卡的地址,即mac地址
mac地址:每塊網(wǎng)卡出廠時都被燒制上一個世界唯一的mac地址,長度為48位2進制,通常由12位16進制數(shù)表示(前六位是廠商編號,后六位是流水線號)
廣播:
有了mac地址,同一網(wǎng)絡(luò)內(nèi)的兩臺主機就可以通信了(一臺主機通過arp協(xié)議獲取另外一臺主機的mac地址)
ethernet采用最原始的方式,廣播的方式進行通信,即計算機通信基本靠吼
2.3.3 網(wǎng)絡(luò)層
網(wǎng)絡(luò)層由來:有了ethernet、mac地址、廣播的發(fā)送方式,世界上的計算機就可以彼此通信了,問題是世界范圍的互聯(lián)網(wǎng)是由
一個個彼此隔離的小的局域網(wǎng)組成的,那么如果所有的通信都采用以太網(wǎng)的廣播方式,那么一臺機器發(fā)送的包全世界都會收到,
這就不僅僅是效率低的問題了,這會是一種災(zāi)難
上圖結(jié)論:必須找出一種方法來區(qū)分哪些計算機屬于同一廣播域,哪些不是,如果是就采用廣播的方式發(fā)送,如果不是,
就采用路由的方式(向不同廣播域/子網(wǎng)分發(fā)數(shù)據(jù)包),mac地址是無法區(qū)分的,它只跟廠商有關(guān)
網(wǎng)絡(luò)層功能:引入一套新的地址用來區(qū)分不同的廣播域/子網(wǎng),這套地址即網(wǎng)絡(luò)地址
IP協(xié)議:
- 規(guī)定網(wǎng)絡(luò)地址的協(xié)議叫ip協(xié)議,它定義的地址稱之為ip地址,廣泛采用的v4版本即ipv4,它規(guī)定網(wǎng)絡(luò)地址由32位2進制表示
- 范圍0.0.0.0-255.255.255.255
- 一個ip地址通常寫成四段十進制數(shù),例:172.16.10.1
ip地址分成兩部分
- 網(wǎng)絡(luò)部分:標識子網(wǎng)
- 主機部分:標識主機
注意:單純的ip地址段只是標識了ip地址的種類,從網(wǎng)絡(luò)部分或主機部分都無法辨識一個ip所處的子網(wǎng)
例:172.16.10.1與172.16.10.2并不能確定二者處于同一子網(wǎng)
子網(wǎng)掩碼
所謂”子網(wǎng)掩碼”,就是表示子網(wǎng)絡(luò)特征的一個參數(shù)。它在形式上等同于IP地址,也是一個32位二進制數(shù)字,它的網(wǎng)絡(luò)部分全部為1,主機部分全部為0。比如,IP地址172.16.10.1,如果已知網(wǎng)絡(luò)部分是前24位,主機部分是后8位,那么子網(wǎng)絡(luò)掩碼就是11111111.11111111.11111111.00000000,寫成十進制就是255.255.255.0。
?
知道”子網(wǎng)掩碼”,我們就能判斷,任意兩個IP地址是否處在同一個子網(wǎng)絡(luò)。方法是將兩個IP地址與子網(wǎng)掩碼分別進行AND運算(兩個數(shù)位都為1,運算結(jié)果為1,否則為0),然后比較結(jié)果是否相同,如果是的話,就表明它們在同一個子網(wǎng)絡(luò)中,否則就不是。
?
比如,已知IP地址172.16.10.1和172.16.10.2的子網(wǎng)掩碼都是255.255.255.0,請問它們是否在同一個子網(wǎng)絡(luò)?兩者與子網(wǎng)掩碼分別進行AND運算,
172.16.10.1:10101100.00010000.00001010.000000001
255255.255.255.0:11111111.11111111.11111111.00000000
AND運算得網(wǎng)絡(luò)地址結(jié)果:10101100.00010000.00001010.000000001->172.16.10.0
?
172.16.10.2:10101100.00010000.00001010.000000010
255255.255.255.0:11111111.11111111.11111111.00000000
AND運算得網(wǎng)絡(luò)地址結(jié)果:10101100.00010000.00001010.000000001->172.16.10.0
結(jié)果都是172.16.10.0,因此它們在同一個子網(wǎng)絡(luò)。
總結(jié)一下,IP協(xié)議的作用主要有兩個,一個是為每一臺計算機分配IP地址,另一個是確定哪些地址在同一個子網(wǎng)絡(luò)。
ip數(shù)據(jù)包
ip數(shù)據(jù)包也分為head和data部分,無須為ip包定義單獨的欄位,直接放入以太網(wǎng)包的data部分
?
head:長度為20到60字節(jié)
data:最長為65,515字節(jié)。
而以太網(wǎng)數(shù)據(jù)包的”數(shù)據(jù)”部分,最長只有1500字節(jié)。因此,如果IP數(shù)據(jù)包超過了1500字節(jié),它就需要分割成幾個以太網(wǎng)數(shù)據(jù)包,分開發(fā)送了。
?
| 以太網(wǎng)頭 ?? | ? ? ? ? ? ? ip 頭? | ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?ip數(shù)據(jù) ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? |
?
?
?ARP協(xié)議
arp協(xié)議由來:計算機通信基本靠吼,即廣播的方式,所有上層的包到最后都要封裝上以太網(wǎng)頭,然后通過以太網(wǎng)協(xié)議發(fā)送,在談及以太網(wǎng)協(xié)議時候,我門了解到
通信是基于mac的廣播方式實現(xiàn),計算機在發(fā)包時,獲取自身的mac是容易的,如何獲取目標主機的mac,就需要通過arp協(xié)議
arp協(xié)議功能:廣播的方式發(fā)送數(shù)據(jù)包,獲取目標主機的mac地址
?
協(xié)議工作方式:每臺主機ip都是已知的
例如:主機172.16.10.10/24訪問172.16.10.11/24
一:首先通過ip地址和子網(wǎng)掩碼區(qū)分出自己所處的子網(wǎng)
| 場景 | 數(shù)據(jù)包地址 |
| 同一子網(wǎng) | 目標主機mac,目標主機ip |
| 不同子網(wǎng) | 網(wǎng)關(guān)mac,目標主機ip |
?
?
?
二:分析172.16.10.10/24與172.16.10.11/24處于同一網(wǎng)絡(luò)(如果不是同一網(wǎng)絡(luò),那么下表中目標ip為172.16.10.1,通過arp獲取的是網(wǎng)關(guān)的mac)
| ? | 源mac | 目標mac | 源ip | 目標ip | 數(shù)據(jù)部分 |
| 發(fā)送端主機 | 發(fā)送端mac | FF:FF:FF:FF:FF:FF | 172.16.10.10/24 | 172.16.10.11/24 | 數(shù)據(jù) |
?
?
三:這個包會以廣播的方式在發(fā)送端所處的自網(wǎng)內(nèi)傳輸,所有主機接收后拆開包,發(fā)現(xiàn)目標ip為自己的,就響應(yīng),返回自己的mac
2.3.4 傳輸層
傳輸層的由來:網(wǎng)絡(luò)層的ip幫我們區(qū)分子網(wǎng),以太網(wǎng)層的mac幫我們找到主機,然后大家使用的都是應(yīng)用程序,你的電腦上可能同時開啟qq,暴風(fēng)影音,等多個應(yīng)用程序,
那么我們通過ip和mac找到了一臺特定的主機,如何標識這臺主機上的應(yīng)用程序,答案就是端口,端口即應(yīng)用程序與網(wǎng)卡關(guān)聯(lián)的編號。
傳輸層功能:建立端口到端口的通信
補充:端口范圍0-65535,0-1023為系統(tǒng)占用端口
tcp協(xié)議:
可靠傳輸,TCP數(shù)據(jù)包沒有長度限制,理論上可以無限長,但是為了保證網(wǎng)絡(luò)的效率,通常TCP數(shù)據(jù)包的長度不會超過IP數(shù)據(jù)包的長度,以確保單個TCP數(shù)據(jù)包不必再分割。
| 以太網(wǎng)頭 | ip 頭 ? ? ? ? ? ? ? | tcp頭 ? ? ? ? ? ? ? | 數(shù)據(jù) ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? |
?
udp協(xié)議:
不可靠傳輸,”報頭”部分一共只有8個字節(jié),總長度不超過65,535字節(jié),正好放進一個IP數(shù)據(jù)包。
| 以太網(wǎng)頭 | ip頭 ? ? ? ? ? ? ? ?? | ? ? udp頭 ? ? ? ? ? ? ? ? ? ? ? ? ?? | 數(shù)據(jù) ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?? |
?
tcp報文
tcp三次握手和四次揮手
2.3.5 應(yīng)用層
應(yīng)用層由來:用戶使用的都是應(yīng)用程序,均工作于應(yīng)用層,互聯(lián)網(wǎng)是開發(fā)的,大家都可以開發(fā)自己的應(yīng)用程序,數(shù)據(jù)多種多樣,必須規(guī)定好數(shù)據(jù)的組織形式?
應(yīng)用層功能:規(guī)定應(yīng)用程序的數(shù)據(jù)格式。
例:TCP協(xié)議可以為各種各樣的程序傳遞數(shù)據(jù),比如Email、WWW、FTP等等。那么,必須有不同協(xié)議規(guī)定電子郵件、網(wǎng)頁、FTP數(shù)據(jù)的格式,這些應(yīng)用程序協(xié)議就構(gòu)成了”應(yīng)用層”。
?
2.3.6 socket
我們知道兩個進程如果需要進行通訊最基本的一個前提能能夠唯一的標示一個進程,在本地進程通訊中我們可以使用PID來唯一標示一個進程,但PID只在本地唯一,網(wǎng)絡(luò)中的兩個進程PID沖突幾率很大,這時候我們需要另辟它徑了,我們知道IP層的ip地址可以唯一標示主機,而TCP層協(xié)議和端口號可以唯一標示主機的一個進程,這樣我們可以利用ip地址+協(xié)議+端口號唯一標示網(wǎng)絡(luò)中的一個進程。
能夠唯一標示網(wǎng)絡(luò)中的進程后,它們就可以利用socket進行通信了,什么是socket呢?我們經(jīng)常把socket翻譯為套接字,socket是在應(yīng)用層和傳輸層之間的一個抽象層,它把TCP/IP層復(fù)雜的操作抽象為幾個簡單的接口供應(yīng)用層調(diào)用已實現(xiàn)進程在網(wǎng)絡(luò)中通信。
socket起源于UNIX,在Unix一切皆文件哲學(xué)的思想下,socket是一種"打開—讀/寫—關(guān)閉"模式的實現(xiàn),服務(wù)器和客戶端各自維護一個"文件",在建立連接打開后,可以向自己文件寫入內(nèi)容供對方讀取或者讀取對方內(nèi)容,通訊結(jié)束時關(guān)閉文件。
三.網(wǎng)絡(luò)通信實現(xiàn)
想實現(xiàn)網(wǎng)絡(luò)通信,每臺主機需具備四要素
- 本機的IP地址
- 子網(wǎng)掩碼
- 網(wǎng)關(guān)的IP地址
- DNS的IP地址
獲取這四要素分兩種方式
1.靜態(tài)獲取
即手動配置
2.動態(tài)獲取
通過dhcp獲取
| 以太網(wǎng)頭 | ip頭 | udp頭 | dhcp數(shù)據(jù)包 |
?
(1)最前面的”以太網(wǎng)標頭”,設(shè)置發(fā)出方(本機)的MAC地址和接收方(DHCP服務(wù)器)的MAC地址。前者就是本機網(wǎng)卡的MAC地址,后者這時不知道,就填入一個廣播地址:FF-FF-FF-FF-FF-FF。
?
(2)后面的”IP標頭”,設(shè)置發(fā)出方的IP地址和接收方的IP地址。這時,對于這兩者,本機都不知道。于是,發(fā)出方的IP地址就設(shè)為0.0.0.0,接收方的IP地址設(shè)為255.255.255.255。
?
(3)最后的”UDP標頭”,設(shè)置發(fā)出方的端口和接收方的端口。這一部分是DHCP協(xié)議規(guī)定好的,發(fā)出方是68端口,接收方是67端口。
?
這個數(shù)據(jù)包構(gòu)造完成后,就可以發(fā)出了。以太網(wǎng)是廣播發(fā)送,同一個子網(wǎng)絡(luò)的每臺計算機都收到了這個包。因為接收方的MAC地址是FF-FF-FF-FF-FF-FF,看不出是發(fā)給誰的,所以每臺收到這個包的計算機,還必須分析這個包的IP地址,才能確定是不是發(fā)給自己的。當看到發(fā)出方IP地址是0.0.0.0,接收方是255.255.255.255,于是DHCP服務(wù)器知道”這個包是發(fā)給我的”,而其他計算機就可以丟棄這個包。
?
接下來,DHCP服務(wù)器讀出這個包的數(shù)據(jù)內(nèi)容,分配好IP地址,發(fā)送回去一個”DHCP響應(yīng)”數(shù)據(jù)包。這個響應(yīng)包的結(jié)構(gòu)也是類似的,以太網(wǎng)標頭的MAC地址是雙方的網(wǎng)卡地址,IP標頭的IP地址是DHCP服務(wù)器的IP地址(發(fā)出方)和255.255.255.255(接收方),UDP標頭的端口是67(發(fā)出方)和68(接收方),分配給請求端的IP地址和本網(wǎng)絡(luò)的具體參數(shù)則包含在Data部分。
?
新加入的計算機收到這個響應(yīng)包,于是就知道了自己的IP地址、子網(wǎng)掩碼、網(wǎng)關(guān)地址、DNS服務(wù)器等等參數(shù)
四.網(wǎng)絡(luò)通信流程
1.本機獲取
- 本機的IP地址:192.168.1.100
- 子網(wǎng)掩碼:255.255.255.0
- 網(wǎng)關(guān)的IP地址:192.168.1.1
- DNS的IP地址:8.8.8.8
2.打開瀏覽器,想要訪問Google,在地址欄輸入了網(wǎng)址:www.google.com。
3.dns協(xié)議(基于udp協(xié)議)
?
13臺根dns:
A.root-servers.net198.41.0.4美國
B.root-servers.net192.228.79.201美國(另支持IPv6)
C.root-servers.net192.33.4.12法國
D.root-servers.net128.8.10.90美國
E.root-servers.net192.203.230.10美國
F.root-servers.net192.5.5.241美國(另支持IPv6)
G.root-servers.net192.112.36.4美國
H.root-servers.net128.63.2.53美國(另支持IPv6)
I.root-servers.net192.36.148.17瑞典
J.root-servers.net192.58.128.30美國
K.root-servers.net193.0.14.129英國(另支持IPv6)
L.root-servers.net198.32.64.12美國
M.root-servers.net202.12.27.33日本(另支持IPv6)
?
域名定義:http://jingyan.baidu.com/article/1974b289a649daf4b1f774cb.html
頂級域名:以.com,.net,.org,.cn等等屬于國際頂級域名,根據(jù)目前的國際互聯(lián)網(wǎng)域名體系,國際頂級域名分為兩類:類別頂級域名(gTLD)和地理頂級域名(ccTLD)兩種。類別頂級域名是 ? ? ? ? ? ?以"COM"、"NET"、"ORG"、"BIZ"、"INFO"等結(jié)尾的域名,均由國外公司負責(zé)管理。地理頂級域名是以國家或地區(qū)代碼為結(jié)尾的域名,如"CN"代表中國,"UK"代表英國。地理頂級域名一般由各個國家或地區(qū)負責(zé)管理。
二級域名:二級域名是以頂級域名為基礎(chǔ)的地理域名,比喻中國的二級域有,.com.cn,.net.cn,.org.cn,.gd.cn等.子域名是其父域名的子域名,比喻父域名是abc.com,子域名就是www.abc.com或者*.abc.com.
一般來說,二級域名是域名的一條記錄,比如alidiedie.com是一個域名,www.alidiedie.com是其中比較常用的記錄,一般默認是用這個,但是類似*.alidiedie.com的域名全部稱作是alidiedie.com的二級
?
?
4.HTTP部分的內(nèi)容,類似于下面這樣:
?
GET / HTTP/1.1
Host: www.google.com
Connection: keep-alive
User-Agent: Mozilla/5.0 (Windows NT 6.1) ……
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8
Accept-Encoding: gzip,deflate,sdch
Accept-Language: zh-CN,zh;q=0.8
Accept-Charset: GBK,utf-8;q=0.7,*;q=0.3
Cookie: … …
?
我們假定這個部分的長度為4960字節(jié),它會被嵌在TCP數(shù)據(jù)包之中。
?
5 TCP協(xié)議
?
TCP數(shù)據(jù)包需要設(shè)置端口,接收方(Google)的HTTP端口默認是80,發(fā)送方(本機)的端口是一個隨機生成的1024-65535之間的整數(shù),假定為51775。
TCP數(shù)據(jù)包的標頭長度為20字節(jié),加上嵌入HTTP的數(shù)據(jù)包,總長度變?yōu)?980字節(jié)。
?
6 IP協(xié)議
?
然后,TCP數(shù)據(jù)包再嵌入IP數(shù)據(jù)包。IP數(shù)據(jù)包需要設(shè)置雙方的IP地址,這是已知的,發(fā)送方是192.168.1.100(本機),接收方是172.194.72.105(Google)。
IP數(shù)據(jù)包的標頭長度為20字節(jié),加上嵌入的TCP數(shù)據(jù)包,總長度變?yōu)?000字節(jié)。
?
7 以太網(wǎng)協(xié)議
?
最后,IP數(shù)據(jù)包嵌入以太網(wǎng)數(shù)據(jù)包。以太網(wǎng)數(shù)據(jù)包需要設(shè)置雙方的MAC地址,發(fā)送方為本機的網(wǎng)卡MAC地址,接收方為網(wǎng)關(guān)192.168.1.1的MAC地址(通過ARP協(xié)議得到)。
以太網(wǎng)數(shù)據(jù)包的數(shù)據(jù)部分,最大長度為1500字節(jié),而現(xiàn)在的IP數(shù)據(jù)包長度為5000字節(jié)。因此,IP數(shù)據(jù)包必須分割成四個包。因為每個包都有自己的IP標頭(20字節(jié)),所以四個包的IP數(shù)據(jù)包的長度分別為1500、1500、1500、560。
?
?
8 服務(wù)器端響應(yīng)
?
經(jīng)過多個網(wǎng)關(guān)的轉(zhuǎn)發(fā),Google的服務(wù)器172.194.72.105,收到了這四個以太網(wǎng)數(shù)據(jù)包。
根據(jù)IP標頭的序號,Google將四個包拼起來,取出完整的TCP數(shù)據(jù)包,然后讀出里面的”HTTP請求”,接著做出”HTTP響應(yīng)”,再用TCP協(xié)議發(fā)回來。
本機收到HTTP響應(yīng)以后,就可以將網(wǎng)頁顯示出來,完成一次網(wǎng)絡(luò)通信。
轉(zhuǎn)載于:https://www.cnblogs.com/bingabcd/p/6803610.html
總結(jié)
以上是生活随笔為你收集整理的python基础之网络基础的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: Essential Studio for
- 下一篇: Python自动化运维之13、异常处理及