本科毕业设计（论文）基于Spark的实时电信分析系统的研究与设计Researchanddesignofreal-timetelecommunicationanalysissystembasedonSpark.院（系）计算机学院专业软件工程班级16软工二班学号16210120237学生姓名周庭帅指导教师易会战提交日期2020年3月30日毕业设计（论文）原创性声明本人郑重声明：所呈交的毕业设计（论文），是本人在指导老师的指导下，独立进行的设计（研究）工作及取得的成果，论文中引用他人的文献、数据、图件、资料均已明确标注出，论文中的结论和结果为本人独立完成，不包含他人已经发表或撰写的作品及成果。对本文的研究作出贡献的个人和集体，均已在论文中作了明确的说明。本人完全意识到本声明的法律结果由本人承担。毕业论文作者（签字）：签字日期：年月日成绩评定成绩项论文成绩（百分制）折合比例实得成绩（折合分）指导教师成绩30%评阅教师成绩20%答辩成绩50%总评成绩注：毕业设计（论文）成绩按百分制评定。答辩成绩不及格的（评分低于60分的），则该毕业设计（论文）总评成绩为答辩成绩。中文摘要随着移动互联网和技术的飞速发展，数据量正日益增加，“大数据”一词具有5V特性，具有大数据量，各种数据类型和高价值。大数据量（Volume）、多样化数据种类（Variety）、高价值（V）、高吞吐量（Velocity）、可靠精确（Veracity）引领了大数据的新时代，并且无法使用现有软件工具捕获，管理和处理伴随的数据量。它是及时完成的，因此需要一种新的处理模式以充分利用它。巨大的人口总数以及应用市场的复杂性和多变性，使我国已经俨然成为世界上的最复杂大数据的国家。我国的国民每天数据指数已经达到一个无可估量的数值，因此解决大量规模的数据所引来的问题并且探索和挖掘出基于数据的多种多样的解决方案俨然已经成为升级中国新型产业和提高工作效率的不二之选、重要手段。数据挖掘方向的投入不仅仅可以成为互联网公司的竞争力来源，甚至可以成为提升国家竞争力的一部分。大数据的研究主题正从硅谷传播到世界各地。随着智能手机、智能设备和“可穿戴”运动设备的诞生，人们的行为举止，所在位置和身体素质数据的所有改变都俨然已经成为了可以被记录和被分析的价值数据。基于此类数据，崭新的商业性质已经形成如：新经济和反馈性经济等。大数据时代对于日常生活、新产业工作和人们思维逻辑的巨大变化。数据量已经发生了极其重大变化。深究庞大的数据体系，就像能够用望远镜观测宇宙并且用显微镜细究生活一般，大数据已经改变我们现有生活水平上对世界的理解方式，大数据已经成为新发明创造和新型服务的来源，并且将会发生更多更大的变化。□关键词：大数据SparkStreaming数据分析数据挖掘实时分析系统离线分析系统HadoopAbstractWiththerapiddevelopmentofmobileInternetandtechnology,theamountofdataisincreasingdaybyday.Theword"bigdata"has5Vcharacteristics,withlargeamountofdata,variousdatatypesandhighvalue.LargeVolume,Variety,highvalue(V),highthroughput(Velocity),reliabilityandaccuracy(Veracity)leadtoaneweraofbigdata,anditisimpossibletouseexistingsoftwaretoolstocapture,manageandprocesstheaccompanyingdata.Itisdoneintime,soanewprocessingmodeisneededtotakefulladvantageofit.Chinahasbecomethemostcomplexbigdatacountryintheworldduetoitshugepopulationandthecomplexityandvariabilityoftheapplicationmarket.China'snationaldataindexhasreachedaninestimablevalueeveryday,sosolvingtheproblemscausedbyalargenumberofdataandexploringandminingavarietyofsolutionsbasedon