通信学报

• • 上一篇    下一篇

基于内容寻址网络的分布式信息采集通信量优化算法

张伟哲,许 笑   

  • 出版日期:2011-09-30 发布日期:2011-09-16

  • Online:2011-09-30 Published:2011-09-16

摘要: 为了保持高覆盖率、低重复率并平衡各个节点的页面负载,广域网分布式Web信息采集系统通常在采集节点之间进行URL交换。分布在网络各处的采集节点,将发现但并不归己管辖的URL(称为”inter-link”),传送给真正对其具有管辖权的采集节点。针对广域网分布式Web信息采集系统中节点间通信负载较重的问题,提出根据Web主机之间链接关系建立链接坐标模型的方法,设计了基于链接关系的通信量优化算法。基于5种链接拓扑数据集的实验证明,该算法在inter-link总数和路由开销两方面与同类算法比较具有较好的综合性能。

No Suggested Reading articles found!