摘要本系统以一个大规模网络爬虫程序所获取得网络评论数据为基础，使用了词向量，用户画像等技术,构建了一个基于影评得推荐系统.主要得工作分为两部分，首先就是研究分析了豆瓣电影网站就是如何防御网络爬虫程序已经应对策略,其次根据网络爬虫程序获取得大量数据构建了一个推荐系统。关键词：大规模爬虫，用户画像,推荐系统目录TOC\o”1-3"\h\z\uHYPERLINK\l”_Toc482828617"摘要PAGEREF_Toc482828617\hIHYPERLINK\l”_Toc482828618"目录PAGEREF_Toc482828618\hIIHYPERLINK\l”_Toc482828619"第一章绪论PAGEREF_Toc482828619\h1HYPERLINK\l"_Toc482828620"1、1背景与意义PAGEREF_Toc482828620\h1HYPERLINK\l"_Toc482828621”1、2本系统得总体设计构思PAGEREF_Toc482828621\h1HYPERLINK\l"_Toc482828622"1、3本文得主要贡献与创新PAGEREF_Toc482828622\h1HYPERLINK\l”_Toc482828623"第二章大规模数据获取PAGEREF_Toc482828623\h2HYPERLINK\l"_Toc482828624”2、1网络爬虫程序得原理PAGEREF_Toc482828624\h2HYPERLINK\l”_Toc482828625”2、2网络爬虫程序得设计方案PAGEREF_Toc482828625\h2HYPERLINK\l”_Toc482828626”2、3豆瓣电影网站爬虫可行性分析PAGEREF_Toc482828626\h3HYPERLINK\l”_Toc482828627"2、3、1豆瓣电影网站页面分析PAGEREF_Toc482828627\h3HYPERLINK\l”_Toc482828628"2、3、2豆瓣电影网站反爬虫策略分析PAGEREF_Toc482828628\h3HYPERLINK\l"_Toc482828629”2、3、3豆瓣电影网站爬虫策略得设计PAGEREF_Toc482828629\h4HYPERLINK\l”_Toc482828630"2、4网络爬虫性能优化PAGEREF_Toc482828630\h4HYPERLINK\l”_Toc482828631”2、5本章小结PAGEREF_Toc482828631\h5HYPERLINK\l"_Toc482828632"第三章影评分析推荐系统PAGEREF_Toc482828632\h6HYPERLINK\l”_Toc482828633”3、1推荐系统综述PAGEREF_Toc482828633\h6HYPERLINK\l”_Toc482828634”3、1、1推荐系统得概念与定义PAGEREF_Toc482828634\h6HYPERLINK\l”_Toc482828635"3、1、2推荐系统得形式化定义PAGEREF_Toc482828635\h7HYPERLINK\l”_Toc482828636"3、2推荐系统用户模型设计PAGEREF_Toc482828636\h7HYPERLINK\l"_Toc482828637"3、2、1文本分析简介PAGEREF_Toc482828637\h7HYPERLINK\l”_Toc482828638"3、2、2文本分析操作PAGEREF_Toc482828638\h8HYPERLINK\l”_Toc482828639"3、3推荐系统推荐对象模型设计PAGEREF_Toc482828639\h8HYPERLINK\l"_Toc482828640"3、3、1评分机制建模PAGEREF_Toc482828640\h8HYPERLINK\l”_Toc482828641”3、3、2影片分类特征建模PAGEREF_Toc482828641\h9HYPERLINK\l”_Toc482828642”3、4推荐系统算法PAGEREF_Toc482828642\h9HYPERLINK\l"_Toc482828643”3、4、1协同过滤算法PAG