摘要:

摘要:大数据时代移动通信和传感设备等位置感知技术的发展形成了位置大数据，为人们的生活、商业运作方法以及科学研究带来了巨大收益.由于位置大数据用途多样，内容交叉冗余，经典的基于“知情与同意”以及匿名的隐私保护方法不能全面地保护用户隐私.位置大数据的隐私保护技术度量用户的位置隐私，在信息论意义上保护用户的敏感信息.介绍了位置大数据的概念以及位置大数据的隐私威胁，总结了针对位置大数据隐私的统一的基于度量的攻击模型，对目前位置大数据隐私保护领域已有的研究成果进行了归纳.根据位置隐私的保护程度，可以把现有方法总结为基于启发式隐私度量、概率推测和隐私信息检索的位置大数据隐私保护技术.对各类位置隐私保护技术的基本原理、特点进行了阐述，并重点介绍了当前该领域的前沿问题：基于隐私信息检索的位置隐私保护技术.在对已有技术深入分析对比的基础上，指出了未来在位置大数据与非位置大数据相结合、用户背景知识不确定等情况下保护用户位置隐私的发展方向.

摘要:随着位置服务和车联网应用的不断普及，由地理数据、车辆轨迹和应用记录等所构成的位置大数据已成为当前用来感知人类社群活动规律、分析地理国情和构建智慧城市的重要战略性资源，是大数据科学研究极其重要的一部分.与传统小样统计不同，大规模位置数据存在明显的混杂性、复杂性和稀疏性，需要对其进行价值提取和协同挖掘，才能获得更为准确的移动行为模式和区域局部特征，从而还原和生成满足关联应用分析的整体数据模型.因此，着重从以下3个方面系统综述了针对位置大数据的分析方法，包括：（1）针对数据混杂性，如何先从局部提取出移动对象的二阶行为模式和区域交通动力学特征；（2）针对数据复杂性，如何从时间和空间尺度上分别对位置复杂网络进行降维分析，从而建立有关社群整体移动性的学习和推测方法；（3）针对数据的稀疏性，如何通过协同过滤、概率图分析等方法构建位置大数据全局模型.最后，从软件工程角度提出了位置大数据分析的整体框架.在这一框架下，位置数据将不仅被用来进行交通问题的分析，还能够提升人们对更为广泛的人类社会经济活动和自然环境的认识，从而体现位置大数据的真正价值.

摘要:大数据的规模效应给数据存储、管理以及数据分析带来了极大的挑战，学界和业界广泛采用分布式文件系统和MapReduce编程模型来应对这一挑战.提出了大数据环境中一种基于Hadoop分布式文件系统（HDFS）和MapReduce编程模型的分布式MOLAP技术，称为DOLAP（distributed OLAP）.DOLAP采用一种特殊的多维模型完成维和度量的映射；采用维编码和遍历算法实现维层次上的上卷下钻操作；采用数据分块和线性化算法将维和度量保存在分布式文件系统中；采用数据块选择算法优化OLAP的性能；采用MapReduce编程模型实现OLAP操作.描述了DOLAP在科学数据分析的应用案例，并与主流的非关系数据库系统进行性能对比.实验结果表明，尽管数据装载性能略显不足，但DOLAP的性能要优于基于HBase，Hive，HadoopDB，OLAP4Cloud等主流非关系数据库系统实现的OLAP性能.

摘要:大数据与传统的数据仓库技术相结合产生了大数据实时分析处理需要（volume+velocity），它要求大数据背景下的数据仓库不能过多地依赖物化、索引等高存储代价的优化技术，而要提高实时处理能力来应对大数据分析中数据量大、查询分析复杂等特点.这些查询分析操作一般表现为在事实表和维表之间连接操作的基础上对结果集上进行分组聚集等操作.因此，表连接和分组聚集操作是ROLAP（relational OLAP）性能的两个重要决定因素.研究了新硬件平台下针对大规模数据的OLAP查询的性能，设计新的列存储OLAP查询执行引擎CDDTA-MMDB（columnar direct dimensional tuple access-main memory databasequeryexecutionengine，直接维表元组访问的内存数据库查询执行引擎）.基于三元组的物化策略，使得CDDTA-MMDB能够减少内存列存储模型上表连接操作访问基表和中间数据结构的次数.首先，CDDTA-MMDB将查询分解为作用在维表和事实表上的子查询，如果只涉及过滤操作，子查询将生成<代理键，布尔值>二元组；否则，子查询生成<代理键，关键字，值>三元组.然后，只需一趟扫描事实表，利用事实表的外键映射函数直接定位相应三元组或者二元组，完成相应的过滤、连接或聚集操作.CDDTA-MMDB充分考虑了内存列存储数据库的设计原则，尽量减少随机内存访问.实验结果表明：CDDTA-MMDB是高效的，与具代表性的列存储数据库相比，比MonetDB 5.5快2.5倍，比C-store的invisible join快5倍；并且，CDDTA-MMDB在多核处理器上具有线性加速比.

摘要:现有研究表明，社交网络中用户的社交结构信息和非敏感属性信息均会增加用户隐私属性泄露的风险.针对当前社交网络隐私属性匿名算法中存在的缺乏合理模型、属性分布特征扰动大、忽视社交结构和非敏感属性对敏感属性分布的影响等弱点，提出一种基于节点分割的隐私属性匿名算法.该算法通过分割节点的属性连接和社交连接，提高了节点的匿名性，降低了用户隐私属性泄露的风险.此外，量化了社交结构信息对属性分布的影响，根据属性相关程度进行节点的属性分割，能够很好地保持属性分布特征，保证数据可用性.实验结果表明，该算法能够在保证数据可用性的同时，有效抵抗隐私属性泄露.

摘要:在线社会化媒体大数据是行动者自组织关系的集合，其内部蕴含了多层次的社会实体关系，因此，在线社会化媒体大数据抽样方法的研究对于社会计算这一新兴研究领域具有重要的理论和应用价值.现有抽样方法存在大型马尔可夫链难以并行化、样本局部性陷入、马尔可夫链燃烧预热等问题.针对这些问题，提出了在线社会化媒体大数据整群多阶段抽样方法OSM-MSCS.该方法首先进行整群分解，将总体分解成若干小型凝聚子群；而后，使用动态延迟拒绝方法对凝聚子群内部的关系抽样；最后，使用Gibbs方法完成不同凝聚子群之间相干关系的筛选，从而获得整个样本序列.实验结果表明，OSM-MSCS方法能够有效地对各种结构特征的在线社会化媒体大数据进行抽样，从“个体地位-群体凝聚性-整体结构性”这3个层次进行综合评价，其抽样效果要明显好于MHRW和BFS这两种最主流的抽样方法.

摘要:研究了基于图压缩的k可达查询处理，提出了一种支持k可达查询的图压缩算法k-RPC及无需解压缩的查询处理算法，k-RPC算法在所有基于等价类的支持k-reach查询的图压缩算法中是最优的.由于k-RPC算法是基于严格的等价关系，因此进一步又提出了线性时间的近似图压缩算法k-GRPC.k-GRPC算法允许从原始图中删除部分边，然后使用k-RPC获得更好的压缩比.提出了线性时间的无需解压缩的查询处理算法.真实数据上的实验结果表明，对于稀疏的原始图，两种压缩算法的压缩比分别可以达到45%，对于稠密的原始图，两种压缩算法的压缩比分别可以达到75%和67%；与在原始图上直接进行查询处理相比，两种基于压缩图的查询处理算法效率更好，在稀疏图上的查询效率可以提高2.5倍.

摘要:Top-K查询在搜索引擎、电子商务等领域有着广泛的应用.Top-K查询从海量数据中返回最符合用户需求的前K个结果，主要目的是消除信息过载带来的负面影响.大数据背景下的Top-K查询，给数据管理和分析等方面带来新的挑战.结合MapReduce的特点，从数据划分、数据筛选等方面对云环境下的大数据Top-K查询问题进行深入研究.实验结果表明，该方法具有良好的性能和扩展性.

摘要:为了提取具有较好判别性能的低维特征，提出了一种新的有监督的线性降维算法——边界判别投影，即，最小化同类样本间的最大距离，最大化异类样本间的最小距离，同时保持数据流形的几何形状.与经典的基于边界定义的算法相比，边界判别投影可以较好地保持数据流形的几何结构和判别结构等全局特性，可避免小样本问题，具有较低的计算复杂度，可应用于超高维的大数据降维.人脸数据集上的实验结果表明，边界判别分析是一种有效的降维算法，可应用于大数据上的特征提取.

摘要:大数据计算主要有批量计算和流式计算两种形态，目前，关于大数据批量计算系统的研究和讨论相对充分，而如何构建低延迟、高吞吐且持续可靠运行的大数据流式计算系统是当前亟待解决的问题且研究成果和实践经验相对较少.总结了典型应用领域中流式大数据所呈现出的实时性、易失性、突发性、无序性、无限性等特征，给出了理想的大数据流式计算系统在系统结构、数据传输、应用接口、高可用技术等方面应该具有的关键技术特征，论述并对比了已有的大数据流式计算系统的典型实例，最后阐述了大数据流式计算系统在可伸缩性、系统容错、状态一致性、负载均衡、数据吞吐量等方面所面临的技术挑战.

摘要:传统的数据库应用中，数据往往被假定是精确可用的，而实际中数据普遍存在不确定性.以往许多利用溯源信息追踪数据不确定性的方法往往关注元组或单一属性存在不确定性的情况，通过对元组添加唯一变量标识，用变量标识所表示的溯源信息构造布尔表达式计算结果元组概率.当元组中多个属性存在不确定性时，对元组进行标识不能帮助用户快速而准确地找到造成不确定性的源属性值.定义属性表达式，并通过属性表达式构造溯源表达式.利用该溯源表达式不仅可以准确地追溯不确定性产生的具体位置，同时还可以实现结果元组的概率计算.为保证概率计算结果的正确性，提出溯源表达式的转换算法.通过分析影响结果元组概率计算效率的因素，还提出构建共享路径表的方法，在构建过程中对原子析取式进行预计算，以提高概率计算的效率.实验部分将该方法与现有的元组级溯源信息表示方法在时间代价和空间代价方面进行比较，验证其可行性和有效性.此外，实验部分还对利用共享路径加快结果元组概率计算的有效性进行了评估.

摘要:随着云计算的迅速发展，用户开始将数据迁移到云端服务器，以此避免繁琐的本地数据管理并获得更加便捷的服务.为了保证数据安全和用户隐私，数据一般是以密文存储在云端服务器中，但是用户将会遇到如何在密文上进行查找的难题.可搜索加密（searchable encryption，简称SE）是近年来发展的一种支持用户在密文上进行关键字查找的密码学原语，它能够为用户节省大量的网络和计算开销，并充分利用云端服务器庞大的计算资源进行密文上的关键字查找.介绍了SE机制的研究背景和目前的研究进展，对比阐述了基于对称密码学和基于公钥密码学而构造的SE机制的不同特点，分析了SE机制在支持单词搜索、连接关键字搜索和复杂逻辑结构搜索语句的研究进展.最后阐述了其所适用的典型应用场景，并讨论了SE机制未来可能的发展趋势.

摘要:随着IPv4地址资源逐渐耗尽，IPv4向IPv6的全面过渡更加紧迫.现有过渡机制在大规模部署中仍面临着诸多问题需要解决，如缺少统一的评价指标，如何选择合适的过渡方案成为难题.研究并总结了ISP网络中潜在的IPv6过渡场景及典型的过渡机制；提出统一的评价指标，在功能、应用、性能、部署以及安全方面对IPv6过渡机制进行评价比较；依据评价指标，提出ISP网络中核心网和接入网IPv6过渡部署的策略.最后，结合软件定义网络，提出基于SDN架构的IPv6过渡部署考虑.