基于爬虫的招聘信息管理及可视化分析系统学商学院院：信息管理与信息系统专业：黄润敏学16080210号：4963姓名：韩娜职讲师称：指导老师：中国·珠海北京理工大学珠海学院2020届本科生毕业设计二○二○年五月诚信承诺书本人郑重承诺：本人承诺呈交的毕业设计《基于爬虫的招聘信息管理及可视化分析系统》是在指导教师的指导下，独立开展研究取得的成果，文中引用他人的观点和材料，均在文后按顺序列出其参考文献，设计使用的数据真实可靠。本人签名：北京理工大学珠海学院2020届本科生毕业设计日期：年月日北京理工大学珠海学院2020届本科生毕业设计基于爬虫的招聘信息管理及可视化分析系统摘要随着互联网信息技术的发展，网络招聘成为了企业与求职者间的沟通桥梁。但随着网络招聘的流行，网站上的招聘信息呈现爆发式增长，企业招不到人的同时，很多人也找不到工作，出现了结构性失业的现象，如何从大量的招聘数据里挖掘出信息潜在的价值，反映企业对人才的需求，发现有效的信息，成为求职者在就业时越来越关心的问题。本系统将通过前程无忧招聘网站，采用基于关键词的定向爬取方式，爬取信管几大热门岗位的招聘数据，将样本数据下载到数据库MongoDB进行存储。为了保证数据的准确性，我们还必须利用python的第三方库对数据进行去空去重、规整等清洗处理，最后利用pyecharts将数据用图表可视化展现出来，并将图表以美观和新颖的方式在招聘数据分析平台展示出来。在对数据进行探索性分析的时候，发现了学历与薪资、工作经验与薪资均存在一定的线性关系，所以本文最后将招聘数据作为样本数据，训练出了一个线性模型。关键字：Web爬虫；数据分析；可视化展示；北京理工大学珠海学院2020届本科生毕业设计RecruitmentinformationmanagementandvisualanalysissystembasedoncrawlerAbstractWiththedevelopmentofInternetinformationtechnology,onlinerecruitmenthasbecomeabridgebetweenenterprisesandjobseekers.ButwiththepopularityofInternetrecruitment,recruitmentinformationonthesiteshowexplosivegrowth,companiesrecruitlessthanpeopleatthesametime,alotofpeoplealsocannotfindwork,appearedthephenomenonofstructuralunemployment,howtodigupinformationfromalotofhiringdatapotentialvalue,reflecttheenterprisetotalentedperson'sdemand,findeffectiveinformation,becomeacandidateinthejobismoreandmoreconcern.Throughtherecruitmentwebsiteof51job,thissystemwilladoptthekeyword-baseddirectionalcrawlingmethod,crawltherecruitmentdataofseveralpopularpositions,anddownloadthesampledatatothedatabaseMongoDBforstorage.Inordertoensuretheaccuracyofthedata,wemustalsousethethird-partylibraryofpythontocleanandcleanthedata,suchasdeduplication,normalization,etc.Finally,weusepyechartstovisualizethedataincharts,anddisplaythechartsintherecruitmentdataanalysisplatforminabeautifulandnovelway.Intheexploratoryanalysisofthedata,itisfoundthatthereisacertainlinearrelationshipbetweeneducationandsalary,workexperienceandsalary.Therefore,th