NDN的互联网信息高速最后一公里

原创
1648 天前
10290


“任何一个学生,不论他在地球的哪一个角落,都能够随时坐在他书房里的投影仪边,阅读所有的书和文件,这些投影和原件一模一样,毫无二致。”1937年,“科幻小说之父” 乔治·威尔斯(H·G·Wells)用文字尽情挥洒他天马行空的想象力。

而在半世纪后,冷战阴霾下,这一切成为了现实。

1957年,随着前苏联第一颗人造卫星(Sputnik)发射成功,冷战进入高潮,美国政府为了迎头赶上,于两个月后建立了“国防高级研究计划署”,简称“阿帕(ARPANET)”。1966年,时任阿帕信息技术处理办公室第三任主任的保罗·奥特勒提出了建构一个小型试验网络计划,为此他找来了“分布式通信理论”的保罗·巴兰,TCP/IP(传输控制协议/网际协议)协议起草者罗伯特·卡恩等。1983年1月1日,TCP/IP 协议在众多网络通信协议中最终胜出,阿帕正式接入TCP/IP 协议也标志着因特网的出现,TCP/IP也成为我们至今共同遵循的网络传输控制协议。

然而,每一项技术都是有生命周期的。随着互联网经历了多个发展阶段,用户数量迅速激增,新业务也不断拓展,TCP/IP 这种端到端设计原则已失去其实用性,且成为更加高效实用的基础设施的主要障碍。尤其是人工智能、大数据等新技术的广泛应用,知识付费、移动直播、短视频等新模式的快速兴起,互联网与内容产业融合发展程度日益加深,传统的TCP/IP架构无法进一步满足现有互联网的需求。

当传统的TCP/IP网络流模式不再适用时,该如何打破互联网架构藩篱?下一代信息中心互联网架构正初露真容。

 1.步履维艰的传统互联网架构

明星突爆八卦、春节购票、或者是双十一购物时,你是不是经常会碰到网站崩溃的情况。以12306网站为例,每逢春节,大量用户集体抢票,且瞬时提交订单数量,并发量过高会导致服务器无法承受。如果这时候用户再继续增加请求,硬件部分满负荷运转,就会看到我们常说的“12306崩了”现象。

网络访问不流畅为商业机构带来巨大的损失,据媒体调查显示,一个日盈利10万美元的网站,网站加载速度每慢1秒,将导致7%转化率降低,11%的PV损失,并减少250万美元的年收益。

TCP/IP这个互联网最基本的协议已经不堪重负了。为了缓解互联网网络拥塞、提高互联网业务响应速度,内容分发网络(CDN)代替TCP/IP成为了新的解决方案,并在过去几年得到了蓬勃发展。CDN可以被认为部署的多个数据中心,通过智能缓存的运营,分布式系统,减少服务器中存在的延迟。据计世资讯(CCW Research)统计显示,2018年中国CDN市场规模为201.6亿元。

然而,井喷的流量仍给正在成长的CDN市场带来了挑战。据思科全新的可视化网络指数(VNI)调查显示,在过去五年里,全球IP流量增加了三倍。到2022年,通过全球网络传输的IP流量将会超过截止到2016年底之前所有“互联网年”的流量总和。换言之,2022年将会创造比自互联网诞生32年以来更多的流量。爆发式网络流量增长使得固定和移动宽带下载速率增速放缓,如直播卡顿、平台崩溃、游戏不流畅等问题,都将直接影响到用户体验。除此之外,随着CDN市场的竞争愈发激烈,大型CDN公司的网络和硬件成本非常高昂,利润也越来越低,这些问题成为了当前CDN行业发展的痛点。

虽然,传统互联网架构正在经历着巨大的变革,技术也在不断的更新迭代,但还是在新需求面前难于招架、步履维艰。那么,如何推动新一代互联网应用与业务的发展?  

2.分布式存储网络:一面成熟,一面“天真”

随着愈发火热的5G、人工智能、大数据、区块链等新兴技术,纷纷开始追求各个数字化的应用场景,这意味着未来的数字世界将有越来越大规模的数据需要存储、传输和维护。那么如何在高效传输和维护数据的同时,又能保障数据安全呢?IPFS带来了答案,它被外界认为是对互联网协议的一次重塑,也是是互联网改革史上的一次壮举。

2014年,胡安·贝内特(Juan Benet)设计了一种新的互联网协议——IPFS(星际文件系统)。众所周知,当前的互联网主要基于HTTP协议,而HTTP存在着极易受到攻击、数据存储成本高、数据的中心化带来泄漏风险和大规模数据存储,传输和维护难这四大问题。而相比传统的HTTP协议,IPFS这种开源的分布式超媒体协议有着低成本高效率、数据存储更安全及可持续保存等优点。

在IPFS这个分布式存储网络中,任何存储在系统里的资源,包括文字、图片、声音、视频,以及网站代码,通过IPFS进行哈希运算后,都会生成唯一的地址。同时,由于加密算法的保护,该地址具备了不可篡改和删除的特性。

而Filecoin作为运行在IPFS上的一个激励层,是一个基于区块链的分布式存储网络,它将云存储变为一个算法市场。Filecoin协议拥有两个交易市场,数据检索和数据存储。IPFS/Filecoin 可解决互联网的数据存储和数据分发,并承诺提供了更加低成本、安全稳定的存储解决方案。例如基于HTTP协议,当很多人都下载某部电影时,会造成内存资源极大浪费。而IPFS会把存储文件进行哈希计算,相同的两个文件哈希值相同。所以,用户只需使用相同的哈希值,就可以访问该文件,这个哈希值就是文件的地址。

然而,在IPFS呈星火燎原之势的同时,其数据检索速度一直是去中心化存储及检索领域的一大痛点。IPFS提供的是一个具有内容寻址超链接的高吞吐量的内容寻址块存储模型,但由于Web没有完全去中心化,仍然存在着搜索效率低下的问题。

3.分布式网络的提速升级“新基建”

而近期在国际通信网络领域顶会SIGCOMM上发表的一篇论文,有望打破了这个困扰区块链存储领域多年的技术瓶颈。在该论文中,8位作者从互联网的视频内容分发需求入手,引入了对P2P存储和检索领域的思考。他们一致认为,以IPFS为代表的以去中心化存储及检索将是未来行业和科技的发展方向。值得一提的是,这8位作者还通过实验来验证单纯的IPFS系统和启用了NDN网络的IPFS系统在视频数据传输方面的性能差别。


如上图所示,该模拟实验采用的是一份有10分钟长度、清晰度为480P的视频文件。论文采用NS-3来运行IPFS的产品模式,NDN采用NDN SIM的客户端,其中路由缓存功能暂时未开启,NDN的三种转发策略分别是:ASF、NCC和Best route strategy。

由此得出结论,由于IPFS采用的的DHT技术存在寻址慢的问题,并且BitSwap协议的传输效率太低,在传输大型的文件时还会通过不同的节点同时传输重复的文件碎片,真正有效的数据占比只有10%,其余全部是重复的数据包。因此,单纯的IPFS系统检索性能比较低。

而实验的数据也显示,基于NDN的IPFS比普通IPFS,在寻址性能方面有着20倍的提升,吞吐量也有着20倍左右的提升。

与此同时,该论文还指出,构建在现有P2P分发网络的ICN/NDN通信协议是非常有价值的,它们通过采用自适应状态转发,利用SNAMP保证名字空间的安全,利用SIT路由去寻找网络同一区的内容的方式,确保NDN网络比IP网络的效率更高。另外,IPFS/FileCoin的激励机制和自认证命名在基于ICN/NDN的网络也是可用的。IPFS网络中内容Hash可以是NDN层级结构命名的一部分。

可以说,随着NDN对IPFS的有力补充,NDN通过NDN技术解决IPFS/FileCoin项目中遗留的数据检索问题,可构建更高效的分布式存储网络。

4.打破传统构架:从数据传输管道向内容分发平台

只有勇于离开浅岸,才能迎接深海。

如果科技始终停留在象牙塔里,没有办法走出来,那么它将永远不能实现一个新的商业周期。传统的TCP/IP网络体系结构采用的是沙漏架构模型,采用分层结构并通过统一的接口进行数据交换使得层与层之间相互透明。其中最重要的是沙漏“细腰”部分的网络层,基于IP数据包的网络通信基本上覆盖了所有的功能需求。但也正是这个“细腰”的结构制约了互联网的快速发展。

NDN作为国际上颇受关注的新型网络体系结构之一,NDN可改变网络沙漏结构中以 IP 地址为核心的设计方法,将数据的名称标签代替 IP 作为网络体系结构的核心层,即“窄腰结构”。用户在网络上的数据通信不再以“点对点”的方式进行,而是以数据内容为核心来进行。简单而言,就是用户关心的What,而不是Where。

在NDN的设计中,采用了NDN网络替代了细腰位置的IP协议,从而巧妙的将网络流量问题转化为存储问题进行解决,也就是将分布式网络问题转化为分布式存储问题,并通过对分布式存储项目,也就是 Filecoin项目已经实现的时空证明共识算法的研究,提出了时空流证明算法,从而做到公平地激励每一个网络节点效率最大化的进行工作。基于这种激励,可以快速而高效的建立一个下一代的互联网基础设置体系。

不过,NDN目前还处在研究阶段,没有大规模NDN网络部署,也缺少真实的大规模名字查找表以及相应的流量。为此,NDN提出使用区块链和数字货币驱动的NDN框架的实现方式。原因在于在数字货币作为信任中介的情况下,NDN会得到更好的推动和实施。

在传统互联网走向臃肿的今天,NDN通过NDN和区块链技术相结合推动互联网从“数据传输管道”向“内容分发平台”转变,构建出创新的内容中心自组织互联网。

当然,要想实现这样的愿景,绝非易事。作为即将在5月20日上线OKEx Jumpstart的项目,除了技术过硬之外,NDN的团队的综合实力也非常强大。目前,NDN在全局数据命名、数据路由工作证明、数据安全自证明等多个方向实现突破,核心科研成果及科研成员来自于 NDN 项目团队和美国、乌克兰等地的知名网络科学家。

NDN的一小步,或是互联网架构的一大步。