刘应波 作品数:17 被引量:44 H指数:5 供职机构: 云南省科学技术情报研究院 更多>> 发文基金: 国家自然科学基金 中国博士后科学基金 云南省应用基础研究基金 更多>> 相关领域: 自动化与计算机技术 天文地球 更多>>
海量异构科技文献信息资源的非结构化存储研究 被引量:5 2018年 在大数据环境下,科技文献信息资源具有分散、异构、动态、海量等特性,为解决传统关系型数据库存储这些数据时面临的不易扩展、性能较低等难题,进行了以非关系型数据库为核心的异构科技文献信息资源存储研究。形式化描述科技文献资源的结构;在此基础上研究非关系型数据库存储异构文献信息资源的可行性数据模式;结合科技文献信息资源的特点设计面向异构资源的No SQL(Not Only SQL)适配器来融合现有存量信息资源。实验验证了No SQL适配器的高效性以及非关系型数据库存储科技文献信息资源时的可行性、高性能以及高扩展性。 李鹏程 刘应波 王锋 文若瑾关键词:元数据 资源服务 可扩展性 科学工作流系统-Nebulas的设计和实现 随着网络技术和计算机应用技术的发展,科学家和工程研究人员正在构建越来越多的数据密集型和计算密集型应用程序来管理和处理大型数据集。这些数据集和与之相关的计算资源分布于不同的地域和组织机构内。同时,许多科学研究需要多学科、多... 刘应波关键词:科学工作流 SPDL 数据驱动 文献传递 基于Web.py的MUSER软件系统界面实现 被引量:2 2017年 明安图射电频谱日像仪(Mingantu Ultrawide Sp Ectral Radioheliograph,MUSER)已经完成硬件建设,与之配套的数据处理系统也初步开发完成。为提高用户操作的可用性,简化操作难度,数据处理系统在提供传统的命令行用户界面的同时,也提供了网络交互方式。简单介绍了Web.py的基本概念和内部组件交互流程,讨论了基于Web.py进行网络开发的方法和流程,并利用Web.py框架实现了数据处理系统的网络界面交互。成果已经应用,提高了日像仪数据处理系统的可用性,也为其它天文软件系统的开发提供了一定的借鉴与参考价值。 蔡能健 刘东浩 邓辉 卫守林 王锋 梅盈 戴伟 刘应波 吴静平关键词:用户界面 分布式存储中冗余数据快速恢复方法及装置 本发明提供一种分布式存储中冗余数据快速恢复方法及装置,其中方法包括:读取配置文件,配置文件包括与存储数据服务器一一对应的存储服务器编号和存储服务器IP地址;判断存储服务器IP地址所对应的存储数据服务器是否发生异常,若是,... 刘应波 王锋 邓辉文献传递 分布式文件海量存储研究进展--NVST数据分布式存储 王锋 刘应波分布式存储中冗余数据快速恢复方法及装置 本发明提供一种分布式存储中冗余数据快速恢复方法及装置,其中方法包括:读取配置文件,配置文件包括与存储数据服务器一一对应的存储服务器编号和存储服务器IP地址;判断存储服务器IP地址所对应的存储数据服务器是否发生异常,若是,... 刘应波 王锋 邓辉文献传递 基于Paxos的强一致性复制在天文数据存储中的应用研究 被引量:1 2019年 随着新一代天文观测技术的快速发展,观测设备所获得的科学数据迅猛增长,传统的外挂式存储设备已经难以满足海量观测数据的近实时存储和同步数据处理的需求。基于廉价硬件的分布式存储系统是解决当前天文观测数据存储的有效手段。由于廉价硬件节点发生故障的概率相对较高,为了确保科学观测和数据的可靠存储,提出了一种基于Paxos的改进的分布式软件多副本复制算法。实验表明,在针对大于1 MB的天文FITS图像文件存储过程中,算法虽然增加少量的存储延迟,但能够容忍多种软硬件异常下多个副本的强一致性,较好地解决当前海量天文数据存储中的多副本数据存储的一致性问题。 童彬 王锋 刘应波 刘应波关键词:分布式存储 分布式检索在异构科技信息资源中的应用及优化 被引量:5 2017年 为解决使用传统集中式检索处理海量异构科技信息资源时存在单点故障、性能低、不易扩展等问题,提出一种在异构科技资源下应用的分布式高性能检索系统(DHRS),并对其核心技术进行重点研究和分析。针对检索结果资源访问开销大的问题,给出基于访问代价的评估算法。并结合实际应用场景对算法进行优化,优化后请求数减少了80%,实验环境下的性能平均提高了68%。同时通过真实数据集的测试,验证了DHRS检索海量科技资源的可行性,能够适用于对检索和扩展性能要求较高的场景。 李城 童彬 刘应波 刘应波 邬平 文若瑾 陈亚杰关键词:科技资源 分布式检索 海量数据 异构资源 分布式海量数据处理方法及装置 本发明提供一种分布式海量数据处理方法及装置,包括:向元数据服务器发送索引请求;接收元数据服务器返回的可用服务器列表;对待索引的原始数据进行拆分,以获得拆分后的分块数据,并为分块数据分配数字编号;以分块数据的分块信息为键值... 王锋 刘应波 邓辉NVST-太阳观测数据高速存储 刘应波 王锋