网络协议

Signal Protocol（前身为 TextSecure Protocol）是一个现代的、开源的、密码学加强的端到端加密 (End-to-End Encryption, E2EE) 协议，旨在为异步和同步即时通讯应用提供消息的机密性、完整性、认证性和不可抵赖性。它由 Open Whisper Systems（现为 Signal Foundation 和 Signal Messenger LLC）开发，最初用于 Signal 应用，现已被WhatsApp、Facebook Messenger（在“秘密对话”模式下）、Google Messages（在 RCS 聊天中）等主流通讯应用广泛采用，成为业界公认的E2EE黄金标准之一。 核心思想：Signal Protocol 通过巧妙结合双棘轮算法 (Double Ratchet Algorithm)、预密钥 (Pre-keys) 和 扩展的 Diffie-Hellman 密钥交换 (X3DH)，实现了前向保密性 (Forward Secrecy) 和 未来保密性/后向保密性 (Future Secrecy/P...

MTProto 是 Telegram 即时通讯应用使用的自定义加密协议。它由尼古拉·杜罗夫 (Nikolai Durov) 设计，旨在实现高速、安全、多设备同步和抗审查的消息传输。MTProto 并非基于现有标准加密协议，而是为适应 Telegram 的特定需求而从头构建。它是一个多层级的协议，涵盖了传输、加密和 API 抽象，是 Telegram 提供其核心价值主张（速度和安全性）的基石。 核心思想：MTProto 是一个专为移动设备和分布式架构优化的加密协议，通过其分层设计和高效二进制格式，在保证强大加密安全性的同时，提供极速响应和无缝的多设备云同步能力。它是 Telegram 服务得以运行的底层技术支柱。 一、背景与起源Telegram 于 2013 年推出时，其创始人帕维尔·杜罗夫 (Pavel Durov) 及其 брат尼古拉·杜罗夫 (Nikolai Durov) 对当时市场上主流的即时通讯协议的性能和安全性感到不满。他们认为这些协议在移动网络环境下效率低下，且未充分考虑多设备同步的需求。因此，尼古拉·杜罗夫着手设计了一个全新的协议，即 MTProto，其目...

LSP (Language Server Protocol) 是一个开放的、基于 JSON-RPC 的协议，用于在编程语言特有的服务（通常称为 Language Server）和开发工具（通常是 Editor 或 IDE，称为 Client）之间进行通信。其核心目标是解耦语言特有的功能实现与开发工具的用户界面，从而极大地简化了多语言、多工具环境下的开发体验。 核心思想：将语言的智能特性（如代码补全、跳转定义、错误检查等）从开发工具中抽离出来，放入一个独立的进程（Language Server），然后开发工具通过标准协议（LSP）与这个进程通信。 一、为什么需要 LSP？在 LSP 出现之前，每当要为一个新的编程语言或一个新的开发工具提供智能特性时，开发者都需要进行大量的重复工作。这个问题可以形象地描述为 N*M 问题： N 种编程语言 (Python, Java, Go, C#, JavaScript…) M 种开发工具 (VS Code, Vim, Emacs, Sublime Text, Eclipse, IntelliJ…) 传统模式下，如果要在 M 种编辑器...

HLS (HTTP Live Streaming) 是 Apple 公司在 2009 年推出的一种基于 HTTP 的自适应比特率流媒体传输协议。它将整个媒体流切割成一系列小的、基于 HTTP 的文件片段，通常是 MPEG-2 Transport Stream (TS) 格式。客户端下载这些片段，并通过一个被称为 “manifest” 或 “playlist” 的 M3U8 文件来获取片段的顺序和可用的比特率版本。HLS 最初是为了在 iOS 设备上播放流媒体而设计，但由于其简单、CDN 友好以及自适应比特率等优势，现已成为互联网上最流行的流媒体协议之一。 核心思想：将视频内容切分成小段（TS 文件），用 M3U8 文件描述这些片段的顺序和不同质量版本，客户端通过 HTTP 渐进下载和播放，并根据网络状况动态切换视频质量。 一、为什么需要 HLS？在 HLS 出现之前，传统的流媒体协议如 RTMP (Real-Time Messaging Protocol) 依赖于特定的服务器和协议栈，需要专门的流媒体服务器，并且在防火墙和 CDN 部署方面存在一些挑战。HLS 的出现旨在...

RTSP (Real-Time Streaming Protocol) 是一种应用层协议，旨在为流媒体服务器提供对实时媒体流的控制功能。它允许客户端远程控制流媒体服务器，例如启动、暂停、快进、倒带或停止媒体流，而无需下载整个文件。RTSP 协议本身不负责传输实际的媒体数据，它主要负责媒体流的会话建立、控制和断开。实际的媒体数据通常由 RTP (Real-time Transport Protocol) 和 RTCP (RTP Control Protocol) 协议进行传输。 核心思想：RTSP 就像一个“远程遥控器”，用于指挥流媒体服务器发送或停止媒体数据，而具体的数据传输则交给其他协议（通常是 RTP/RTCP）来完成。 一、为什么需要 RTSP？在流媒体领域，用户需要对媒体播放进行灵活的控制，类似于操作本地播放器。传统的 HTTP 协议虽然可以用于文件下载，但其“请求-响应”模式并不适合实时流媒体的互动控制： 缺乏实时控制能力：HTTP 主要用于文件传输，不支持播放、暂停、快进、倒带等实时媒体控制操作。 不适合长时间连接：HTTP 通常是短连接，每次操作...

WebDAV (Web Distributed Authoring and Versioning) 是一种基于 HTTP 协议的扩展协议，它允许客户端直接通过 Web 远程地执行文件和文件夹的操作，包括创建、移动、复制、删除、读取以及管理文件属性和锁机制。简而言之，WebDAV 将 Web 服务器从一个简单的内容消费者转变为一个可供用户直接进行创作和协同工作的平台，将 Web 页面视为可编辑的文档集合。 核心思想：WebDAV 在不改变 HTTP 核心语义的前提下，增加了 HTTP 缺乏的文件锁定、属性管理、命名空间管理等功能，使其能够支持分布式文件系统的基本操作。它将传统的“请求-响应”模式扩展为“文档创作-协作”模式。 一、为什么需要 WebDAV？HTTP 的局限性HTTP (Hypertext Transfer Protocol) 在设计之初，主要是为了实现信息的单向传输，即客户端请求资源，服务器提供资源。它的主要方法 (GET, POST, PUT, DELETE, HEAD, OPTIONS) 专注于获取、提交和替换/删除单个资源。 然而，对于 We...

STUN (Session Traversal Utilities for NAT)，即 NAT 会话穿越工具，是一种网络协议，它允许位于NAT (Network Address Translation，网络地址转换) 设备之后的客户端发现其外部（公共）IP 地址和端口号，以及 NAT 设备的类型。STUN 的主要目的是协助建立对等连接 (P2P)，尤其是在 VoIP、视频会议和 WebRTC 等实时通信应用中。 核心思想：帮助内网主机探测 NAT 类型和获取公网 IP:Port，为 P2P 连接做准备。 一、为什么需要 STUN？现代互联网中，IPv4 地址资源日益枯竭，导致大多数终端设备都部署在 NAT 设备（如路由器）之后。NAT 设备通过将内部私有 IP 地址映射到外部公共 IP 地址和端口，允许多个内部设备共享一个公共 IP 地址访问互联网。 然而，NAT 给直接的点对点 (P2P) 通信带来了巨大的挑战： 内网 IP 地址不可路由：内部私有 IP 地址在公共互联网上是不可见的，外部设备无法直接通过私有 IP 地址联系到内部设备。 端口映射不确定：NAT 设备...

DHCP (Dynamic Host Configuration Protocol)，即动态主机配置协议，是一个应用层协议，它允许服务器动态地为客户端（例如计算机、智能手机、物联网设备等）分配 IP 地址和其他网络配置参数。DHCP 是目前最常用的网络配置方式，极大地简化了网络管理，避免了手动配置 IP 地址可能出现的冲突和错误。 核心思想：自动化分配 IP 地址和其他网络参数，简化网络管理，提高效率。 一、为什么需要 DHCP？在没有 DHCP 的情况下，每台连接到 TCP/IP 网络的设备都需要手动配置以下信息： IP 地址：设备在网络上的唯一标识。 子网掩码：用于区分 IP 地址的网络部分和主机部分。 默认网关：设备访问外部网络的路由器的 IP 地址。 DNS 服务器地址：用于将域名解析为 IP 地址的服务器。 手动配置的弊端显而易见： 复杂且耗时：对于大型网络，手动配置数百甚至数千台设备的网络参数是一项繁琐且容易出错的工作。 易出错：人为输入错误可能导致网络连接问题或 IP 地址冲突。 IP 地址冲突：如果不小心将同一个 IP 地址分配给多台设备，...

PPPoE (Point-to-Point Protocol over Ethernet)，中文常译为“以太网上的点对点协议”，是一种将传统的点对点协议 (PPP) 封装在以太网数据帧中的网络协议。它主要用于在以太网局域网中实现点对点连接，最常见的应用场景是通过 DSL (数字用户线路) 或光纤等宽带接入技术向最终用户提供上网服务。PPPoE 允许 ISP (互联网服务提供商) 对用户进行身份验证 (Authentication)、会话管理以及基于会话的计费，同时为用户分配 IP 地址和其他网络参数。 核心思想：在以太网链路的基础上，模拟 PPP 连接的拨号体验，为每个用户提供独立的虚拟“隧道”，实现用户身份认证、IP地址分配和会话管理，以便进行计费和带宽控制。 一、什么是 PPPoE？在 ADSL (非对称数字用户线路) 和早期的光纤宽带时代，ISP 需要一种机制来管理大量拨号上网的用户。传统的拨号上网（通过电话线 Modem 连接）使用的是 PPP 协议，它能够提供用户认证、IP 地址分配和加密等功能。然而，随着局域网 (LAN) 和以太网的普及，人们希望在以太网环境...

ARP (Address Resolution Protocol)，即地址解析协议，是一个在局域网 (LAN) 内使用的网络层协议，主要用于将IP 地址 (网络层地址)解析为MAC 地址 (数据链路层地址)。在 TCP/IP 协议栈中，当一台主机知道目标主机的 IP 地址，但需要知道其在同一物理网络上的 MAC 地址才能进行数据帧的发送时，就会使用 ARP 协议。 核心思想：将逻辑地址 (IP) 映射到物理地址 (MAC)，使得 IP 数据包能够在数据链路层封装成帧并通过物理网络介质传输到正确的目标设备。 一、为什么需要 ARP？在理解 ARP 之前，我们需要明确 IP 地址和 MAC 地址在网络通信中的角色： IP 地址 (Internet Protocol Address)：工作在 OSI 模型的第三层 (网络层)。它是一个逻辑地址，用于在不同网络之间识别和路由数据包。IP 地址是分层的，包含网络部分和主机部分，使得路由器能够根据网络部分将数据包转发到正确的网络。 MAC 地址 (Media Access Control Address)：工作在 OSI ...

NDP (Neighbor Discovery Protocol)，即邻居发现协议，是 IPv6 (Internet Protocol version 6) 中的一个关键协议。它属于 ICMPv6 (Internet Control Message Protocol for IPv6) 的一部分，旨在替代 IPv4 中的 ARP (Address Resolution Protocol)、ICMP Router Discovery (路由器发现) 和 ICMP Redirect (重定向) 等功能，为 IPv6 主机和路由器提供在同一链路 (link) 上发现彼此、确定链路层地址、发现路由器、处理地址自动配置以及检测重复地址等服务。 核心思想：为 IPv6 提供无状态、多功能、更安全且效率更高的本地链路通信机制。它通过一系列 ICMPv6 消息，实现了 IPv4 中分散的多个协议功能，支持 IPv6 的核心特性如无状态地址自动配置 (SLAAC) 和高效的邻居管理。 一、为什么需要 NDP？(与 IPv4 协议的对比)IPv4 网络中的一些协议在 IPv6 环境下存在局限...

RDMA (Remote Direct Memory Access) 是一种高性能网络通信技术，允许一台计算机（源端）的网卡（Network Interface Card, NIC）直接访问另一台远程计算机（目的端）的内存，而无需目的端操作系统的 CPU 介入。这种“零拷贝” (Zero-copy) 和“内核旁路” (Kernel-bypass) 的特性极大地减少了数据传输的延迟、提高了吞吐量，并显著降低了 CPU 占用率，是现代高性能计算 (HPC)、人工智能/机器学习 (AI/ML)、分布式存储和金融交易等领域中不可或缺的技术。 核心思想：RDMA 的核心是绕过操作系统内核的网络协议栈，实现远程内存的直接读写。它将数据在源端和目的端之间传输的任务从 CPU 卸载到专用的网络硬件（RDMA 网卡，如 HCA），从而实现了超低延迟、极高吞吐量和极低的 CPU 占用率。 一、传统网络通信的痛点在理解 RDMA 的优势之前，我们先回顾一下传统 TCP/IP 网络通信的数据路径，以及它所面临的挑战： 数据拷贝开销 (Data Copy Overh...

五层因特网协议栈，也常被称为 TCP/IP 五层模型，是现代互联网架构中实际使用和教学中最常见的网络模型。它结合了 OSI (开放系统互连) 参考模型的层次化思想和 TCP/IP 协议族的实际应用，将复杂的网络通信功能划分为五个逻辑层级，每个层级负责特定的任务，并通过定义良好的接口与相邻层交互。与 OSI 七层模型相比，五层协议栈更贴近实际实现，是理解互联网如何工作的核心。 核心思想：将互联网的通信过程划分为五个逻辑层级，自顶向下依次为应用层、传输层、网络层、数据链路层和物理层，每层负责不同的通信职责，协同工作以实现全球互联。 一、为什么选择五层协议栈？尽管 OSI 七层模型提供了非常详细的理论分层，但由于其设计时在标准制定上花费了大量时间，并且部分层次划分在实际实现中显得过于细致，导致其未能大规模落地。相反，TCP/IP 协议族在互联网的早期发展中迅速崛起并成为事实标准。五层协议栈结合了二者的优点： 实用性：它直接反映了 TCP/IP 协议族栈的工作方式，是互联网实际运行的写照。 简洁性：相比 OSI 七层模型，它将 OSI 的...

OSI (Open Systems Interconnection) 参考模型 是由国际标准化组织 (ISO) 于 1980 年代初期推出的一套概念性框架，旨在提供一个开放、标准化的通信协议分层结构。它将网络通信过程划分为七个不同的功能层，每个层级负责特定的网络通信任务，并向上层提供服务，向下层请求服务。OSI 模型是一个重要的理论基石，帮助人们理解和设计复杂的网络系统，尽管在实际应用中更常见的是 TCP/IP 四层或五层模型，但 OSI 模型的分层思想对网络学科产生了深远影响。 核心思想：将复杂的网络通信过程分解为七个逻辑上独立的功能层，每层只关注自己的职责，通过标准接口与相邻层交互，从而简化网络设计、实现和故障排除。 一、为什么需要 OSI 模型？在早期，计算机网络发展非常混乱，各个厂商都有自己独有的网络架构和协议，导致不同厂商的设备之间无法通信。为了解决这种“信息孤岛”的问题，急需一个统一的标准来指导网络系统的设计和实现。OSI 模型应运而生，其主要目标包括： 标准化：提供一个通用的框架，使得不同厂商、不同系统之间可以进行互操作。 模块化：将复杂的网络通...

QUIC (Quick UDP Internet Connections) 是由 Google 最早开发的一种通用的传输层网络协议，它旨在通过在 UDP 协议之上实现可靠性和安全性来加速 HTTP 流量。QUIC 合并了 TCP、TLS 和 HTTP/2 的最佳特性，并针对现代互联网环境进行了优化，解决了 TCP 的一些固有局限性。目前，QUIC 已经由 IETF (Internet Engineering Task Force) 标准化为 RFC 9000 系列，并作为 HTTP/3 的底层传输协议。 核心思想：QUIC 将 TCP 连接管理、TLS 加密和 HTTP/2 多路复用等功能集成到 UDP 上，通过 0-RTT 连接、独立流、更快的连接迁移和可插拔拥塞控制，实现了低延迟、高吞吐量和强大的安全性。 一、为什么需要 QUIC？尽管 TCP/IP 协议栈在过去几十年中支撑了整个互联网，但随着网络应用的发展和移动设备的普及，TCP 的一些固有缺陷逐渐显现出来： TCP 三次握手延迟 (3-RTT)：每次建立新的 TCP 连接...

ICMP (Internet Control Message Protocol)，互联网控制消息协议，是 TCP/IP 协议族中的一个核心协议。它主要用于在 IP 主机和路由器之间传递控制消息，这些控制消息可以报告数据报的处理错误，或者提供诊断信息。与 IP 协议的“尽力而为”特性不同，ICMP 为网络层提供了基本的错误报告和查询功能，但它本身并不能修复错误，只是提供一个通知机制。ICMP 消息被封装在 IP 数据报中传输，不提供可靠性保证。 核心思想：作为 IP 协议的“辅助”协议，ICMP 在网络层提供错误报告和诊断功能，帮助网络设备了解网络状态。 一、为什么需要 ICMP？IP 协议是一个无连接、不可靠的“尽力而为”的网络层协议。这意味着 IP 数据报在传输过程中可能丢失、重复、乱序，并且没有任何机制通知发送方这些问题。如果仅仅依赖 IP 协议，当数据报遇到各种网络问题（如目标不可达、路由循环、TTL 超时等）时，发送方将无从得知其数据报的命运。 ICMP 协议的引入正是为了弥补 IP 协议的这一不足： 错误报告 (Error Reporting)：当...

FRP (Fast Reverse Proxy) 是一个高性能的内网穿透和反向代理工具，它允许您将位于内网（局域网）中的服务（如 Web 服务器、SSH、数据库等）通过一台具有公网 IP 的服务器暴露给公网用户访问。在当前 IPv4 地址资源日益紧张，许多家庭和小型办公室难以获取公网 IP 的背景下，FRP 提供了便捷、高效的解决方案。 核心思想：FRP 通过在公网服务器上运行一个 frps (服务端) 和在内网机器上运行一个 frpc (客户端) 来建立连接。内网流量经由 frpc 转发到 frps，再由 frps 转发到公网用户，实现内网服务的公网访问。 一、为什么需要 FRP？在许多场景下，我们需要从外部网络访问位于内网的服务，但常常面临以下问题： 没有公网 IP：大多数家庭宽带用户和一些小型企业用户不再拥有独立的公网 IPv4 地址。他们处于运营商的 NAT (Network Address Translation) 之后，无法直接从外部访问内网设备。 端口转发困难：即使有公网 IP，也可能需要手动在路由器上配置端口转发规则，这对于不熟悉网络配置的用户来说可能比...

HTTP Upgrade 请求 是一种特殊的 HTTP/1.1 机制，允许客户端和服务器在已经建立的 TCP 连接上，将当前协议从 HTTP/1.1 切换到另一个不同的、更高级别的协议。最常见的应用场景是将 HTTP 连接升级到 WebSocket 协议，从而实现全双工、低延迟的持久连接。 核心思想：Upgrade 请求是 HTTP/1.1 中用于协议协商的机制，允许在一个已有的 TCP 连接上，在客户端和服务器都同意的情况下，从 HTTP 切换到其他协议，避免了重新建立连接的开销，并开启更强大的通信模式。 一、为什么需要 HTTP Upgrade？HTTP/1.0 和 HTTP/1.1 都是无状态的请求-响应协议。对于每个请求，客户端发送请求，服务器发送响应，然后连接可以关闭（非持久连接）或保持一段时间用于后续的 HTTP 请求（持久连接，Keep-Alive）。 这种请求-响应模式对于传统的 Web 页面浏览非常高效。然而，随着 Web 应用复杂度的增加，许多场景需要更高级的通信模式： 实时通信：聊天应用、在线游戏、...

WebSocket 是一种在单个 TCP 连接上进行全双工（Full-Duplex）通信的网络协议。它在 Web 浏览器和服务器之间提供了一个持久化的连接，允许双方在任何时候发送消息，而无需像传统的 HTTP 请求那样需要先发送请求再接收响应。WebSocket 解决了传统 Web 应用中实现实时通信的诸多难题，是构建实时 Web 应用的关键技术之一。 核心思想：从 HTTP 协议“握手”后，将底层 TCP 连接“升级”为 WebSocket 连接，实现客户端与服务器之间长时间、双向、无阻塞的消息传输，从而大幅降低通信开销，提升实时应用的性能。 一、为什么需要 WebSocket？传统 HTTP 的局限性在 WebSocket 出现之前，Web 应用程序要实现实时通信，如聊天室、股票行情、在线游戏、推送通知等，面临着传统 HTTP 协议的固有局限性： 半双工 (Half-Duplex) 通信：HTTP 协议是单向请求-响应模型。客户端发送请求，服务器返回响应。服务器无法主动向客户端发送消息，除非客户端先发起请求。 效率低下： 频繁连接建立与断开：每个 HTTP 请求都需...

IPSec (Internet Protocol Security) 是一套在 IP 层 (网络层) 提供安全服务的协议族。它不依赖于任何特定的应用程序，而是通过加密和认证 IP 数据包在网络中安全传输。IPSec 广泛应用于构建 VPN (Virtual Private Network - 虚拟专用网络)，为远程用户、分支机构和云资源提供安全的、端到端的通信。它提供了数据完整性、数据源认证、防重放保护以及数据机密性等关键安全服务。 核心思想：IPSec 通过在网络层透明地加密和认证 IP 数据包，为 IP 通信提供端到端的安全保障，是构建安全 VPN 和保护 IP 流量的核心技术。 一、IPSec 概述1.1 什么是 IPSec？IPSec 是由 IETF (Internet Engineering Task Force) 定义的一整套开放标准的协议族，它工作在 OSI 模型的网络层 (Layer 3)。其核心目标是为 IP 通信提供高级安全功能，而无需修改应用程序。 1.2 为什么需要 IPSec？传统的 IP 协议本身无法提供数据的机密性、完整性或认证。数据在公共网...