大数据毕业设计Hadoop+Spark+Hive景区游客满意度预测与优化 旅游推荐系统 Apriori算法 景区客流量预测 旅游大数据 旅游景点推荐 景点规划 计算机毕业设计 机器学习 深度学习-程序员宅基地
技术标签： hive 机器学习 spark 人工智能 hadoop 大数据 课程设计 大数据毕业设计
核心算法代码分享如下：
#使用PySpark完成部分机票指标分析
from pyspark.sql.types import StringType, StructField, IntegerType, DoubleType, StructType
from pyspark.sql.functions import col
from pyspark.sql import SparkSession
csv_format = 'com.databricks.spark.csv'
mysql_url = "jdbc:mysql://bigdata:3306/tour"
prop = {'user': 'root', 'password': '123456', 'driver': "com.mysql.jdbc.Driver"}
# 1.创建SparkSession
spark = SparkSession.builder.appName("table01_task").getOrCreate()
fields = [
StructField("name", StringType(), True),
StructField("username", StringType(), True),
StructField("content", StringType(), True),
StructField("ctime", StringType(), True),
StructField("sentiments", DoubleType(), True),
StructField("star", IntegerType(), True),
StructField("star_desc", StringType(), True),
StructField("province", StringType(), True),
StructField("supports", IntegerType(), True)
]
schema= StructType(fields)
# 2.读取本地文件路径
# flights_data = spark.read.format(csv_format).options( ending='utf-8').load(
# "hdfs://bigdata:9000/flink_fliggy_flight/flight/hdfs_flights.csv")
flights_data=spark.read.option("header", "false").schema(schema).csv("hdfs://bigdata:9000/ctrip/comments/comments.csv")
# 3.创建临时表
flights_data.createOrReplaceTempView("ods_comments")
# 4.分析sql
tables01_sql='''
select province,count(1) num
from ods_comments
group by province
order by num desc
'''
spark.sql(tables01_sql).write.jdbc(mysql_url, 'table01', 'overwrite', prop)
| 拟选题目 |
基于hadoop+spark的旅游数据分析与推荐系统的设计与实现 |
| 选题依据和研究意义 我国旅游景区众多，五千年的历史文明及广袤无垠的疆土为旅游产业提供了有力的客观支持，但是不同的用户对景区地理位置、景观特点、人文历史、出行方式选择等旅游服务需求不尽相同。用户在庞大的旅游资源信息中查询契合需求的出行路线，往往既花费时间又消耗精力，使用传统的旅游搜索方式对于旅游资源信息进行查询使用户感到极大困难[3]。而运用大数据技术对符合相似需求类型的旅游信息进行整理计算和归纳，能够为个体需求提供更加契合的精准服务和更加合理的旅行体验。使用基于Hadoop的MapReduce计算处理框架[2]，对旅游景点评价数据进行归纳推理能够为用户提供更加精准舒适的旅行服务。 为了更好的满足人们的旅游需求，摒弃传统出行的各局限性跟上信息时代的高速发展，通过汇编语言开发出能够在线智能搜索的旅游网站，并且能够高效的对其管理的系统成为目前的发展趋势[3]。目前，旅游网站越来越多，其中绝大多是由旅游爱好者和文化部门所创建，百度搜索旅游网站就会看到各种不同的旅游网站，排名前几的有：携程，去哪儿，飞猪，同程，马蜂窝等热门旅游网站[2]。这类网站一般都是独立公司开发出来的产品，网站规模大，旅游信息也比较全面，客户访问人次多，打开他们的首页会发现除了内容布局有所出入，其推荐结果，热门景点，排行榜都是一样的必不可少。除了上述大型的旅游网站，还有一些小型旅游网站，这类小型旅游网站往往规模小，关于旅游信息的内容上也有所侧重，大多为驴友个人所创。 旅游网站给用户和管理员都带来了很大方便，一般旅游网站都是通过数据库管理、软件协作来实现用户与管理员之间的友好操作，由此设计而成[2]。计算机快捷高效的协助管理员解决管理工作可以实现对旅游数据管理自动化的巨大优势，因此计算机成为现代管理应用主要工具也是必然趋势。 |
|
| 文献综述（对已有相关代表性研究成果的综合介绍与评价） 国内研究现状： 近年来，随着中国旅游业的迅速发展，旅游数据呈现出爆炸性增长。国内对于基于大数据的旅游分析和推荐系统的研究逐渐增多。其中，一些研究集中于利用Hadoop和Spark这类大数据处理框架对旅游数据进行处理和分析。例如，去哪儿网的研究团队针对旅游评论数据，利用Spark进行情感分析，从而为旅游景区提供有益的建议。另外，还有一些研究结合了深度学习算法，如腾讯云团队开发的基于深度学习的旅游景点推荐系统，该系统能够根据用户的喜好和历史行为为其推荐合适的旅游目的地。 国外研究现状： 在国外，对于基于Hadoop+Spark的旅游数据分析与推荐系统的研究也相当活跃。例如，斯坦福大学的一个研究团队利用Spark对全球范围内的旅游数据进行处理和分析，旨在预测旅游趋势和热门目的地。他们的工作不仅对旅游业有重要影响，还对城市规划和政策制定具有指导意义。此外，谷歌也推出了自己的旅游推荐系统，该系统基于用户的历史搜索数据和点击行为，利用机器学习算法为用户推荐相关的旅游产品和服务。 发展趋势： 随着技术的不断进步，未来的旅游数据分析与推荐系统将更加智能化和个性化。基于大数据和机器学习的推荐系统将能够更好地理解用户的喜好和需求，从而为其提供更加精准的推荐。同时，随着物联网和传感器技术的发展，旅游数据来源将更加丰富，这为更深入的数据分析和预测提供了可能。 总的来说，基于Hadoop+Spark的旅游数据分析与推荐系统是一个充满挑战和机遇的研究领域。国内外的研究者们正努力探索如何更好地利用大数据技术为旅游业提供有价值的信息和服务，这将为推动旅游业的发展和提升用户体验起到重要作用。 |
|
| 研究内容（包括基本思路、框架、主要研究方式、方法等）
二、 系统框架
三、 研究方式和方法 （一）使用vmvare导入centos7镜像搭建Linux开发环境； （二）在虚拟机中安装并配置jdk1.8、hadoop、azkaban、hive、mysql等大数据生态圈组件； （三）使用Python的DrissionPage自动化工具框架爬取驴妈妈旅游网站本地景点数据，爬取完成以后存入.csv文件中； （四）编写shell脚本对虚拟机中的.csv原始数据进行数据清洗：去除重复数据、错误数据、补齐缺失字段、数据校校验等，最终的.csv旅游数据文件文件上传至hdfs文件服务器； （五）通过hive工具将hdfs中海量旅游数据.csv文件导入数据仓库； （六）编写hive脚本对数据仓库分DWA、DWB、DWT三层数仓架构； （七）离线指标编写shell脚本调用hive_sql语句对DWA层的数据进行多种维度计算，经过DWB、DWT层形成最终统计数据；实时指标编写Spark之Scala脚本对hdfs中的.csv文件进行分析； （八）编写shell脚本调用sqoop框架把DWT层的数据传输到mysql中方便制作BI报表； （九）封装以上全部shell脚本，使用azkaban调度工具进行一键调用； （十）使用Flask+echarts搭建可视化web环境。使用柱状图、饼状图、折线图、中国地图等直观展示可视化统计结果，指标有：各省星级景点数量、各等级景区收入占比、各省景点销售额、全国热门景点Top、各省景点平均票价、各省景点销售额占比、全国景点信息滚动动态图(景点名称、地区、等级、评分、评论数)； （十一）启动Flask，完成可视化统计图web端展示； （十二）使用sprringboot+vue.js搭建推荐系统，进行个性化旅游景点推荐、购票等业务功能实现； |
|
| 研究进程安排 1、1月10日-2月26日：阅读文献，课题准备/熟悉开发环境 2、2月27日-3月19日：毕业实习，撰写实习报告 3、3月20日-3月30日：完成开题报告和文献翻译，熟练掌握开发环境和编程语言 4、4月1日-4月7日：系统需求分析和系统概要设计 5、4月8日-4月30日：系统详细分析与设计，代码编写 6、5月1日-5月7日：系统测试，资料整理 7、5月8日-5月15日：完成论文初稿撰写 8、5月16日-6月10日：论文修改及定稿，准备答辩 |
|
| 主要参阅文献 [1]范路桥，高洁，段班祥，等基于Python+ECharts的旅游销售数据可视化系统[J]电脑编程技巧与维护，2022（6）：78-81. [2]常亮，曹玉婷，孙文平，等旅游推荐系统研究综述J计算机科学，2021.44（10）：1-6. [5]孙文杰，张素莉，许骏，等，长白山旅游数据爬取及可视化分析[].吉林大学学报（信息科学版），2021.39（4）：416-420. [4]南淑萍，王莉丽，王秀友Python Web开发案例教程：慕课版：使用Flask、Tornado、Django[M].北京：人民邮电出版社，2020. [5]黄源，蒋文豪，徐受蓉大数据分析：Python爬虫、数据清洗和数据可视化[M]北京：清华大学出版社，2020. [6]吕太之，颜悦，刘子为，等基于Flas和ECharts的科研数据可视化系统[].电脑与电信，2020（11）：16-19. [7]张艺豪，盛丹红，翟丹丹基于Flask和ECharts的光缆数据管理平台[J].电脑编程技巧与维护，2021（6）：94-95. [8]LIDMEI H，SHEN Y，et alECharts:a declarative framework for rapid construction of web-based visualization[J].Visual informatics，2023，2（2）：136-146. [9]HUANG ML.HUANG TH，ZHANG XY.A noveI vMrtual node approach for interactive visual analytics of big datasets in parallel coordinatesJ].Future generation computer systems，2022，55.510-523. [10]蒙芳，霍建丽学习行为大数据可视化的网络数据库学习仿真（J]，计算机仿真，2021，38（9）：216-220. [11]SAKET B，KM H，BROWN E T，et al.Visualization by demonstration:an interaction paradigm for visual data explorationJ].IEEE transactions on visualization&computer graphics，2022，23（1）：331-340. [12]陈东辉，高峰，刘娜，等气象台站历史沿革信息检索可视化系统设计与实现（J].计算机应用，2021，41（Z1）：119-124. [13]范路桥，张良均，郑述招，等Web数据可视化（ECharts版）[M]北京：人民邮电出版社，2021. |
|
| 其它说明 |
|
| 指导教师是否同意开题 签名: 年 月 日 |
|
| 教研室教学负责人签署 签名: 年 月 日 |
|
| 说明： 1、开题报告工作从第七学期学生确定毕业设计（论文）题目后开始，在教师指导下，学生通过调研、收资后，于第八学期第四周前完成。 2、纸张填写不够可另加附页。 |
|
智能推荐
2022黑龙江最新建筑八大员（材料员）模拟考试试题及答案_料账的试题-程序员宅基地
文章浏览阅读529次。百分百题库提供建筑八大员（材料员）考试试题、建筑八大员（材料员）考试预测题、建筑八大员（材料员）考试真题、建筑八大员（材料员）证考试题库等,提供在线做题刷题，在线模拟考试，助你考试轻松过关。310项目经理部应编制机械设备使用计划并报（）审批。A监理单位B企业C建设单位D租赁单位答案：B311对技术开发、新技术和新工艺应用等情况进行的分析和评价属于（）。A人力资源管理考核B材料管理考核C机械设备管理考核D技术管理考核答案：D312建筑垃圾和渣土._料账的试题
chatgpt赋能python：Python自动打开浏览器的技巧-程序员宅基地
文章浏览阅读614次。本文由chatgpt生成，文章没有在chatgpt生成的基础上进行任何的修改。以上只是chatgpt能力的冰山一角。作为通用的Aigc大模型，只是展现它原本的实力。对于颠覆工作方式的ChatGPT，应该选择拥抱而不是抗拒，未来属于“会用”AI的人。AI职场汇报智能办公文案写作效率提升教程 专注于AI+职场+办公方向。下图是课程的整体大纲下图是AI职场汇报智能办公文案写作效率提升教程中用到的ai工具。_python自动打开浏览器
Linux中安装JDK-RPM_linux 安装jdk rpm-程序员宅基地
文章浏览阅读545次。Linux中安装JDK-RPM方式_linux 安装jdk rpm
net高校志愿者管理系统-73371，计算机毕业设计（上万套实战教程，赠送源码）-程序员宅基地
文章浏览阅读25次。免费领取项目源码，请关注赞收藏并私信博主，谢谢-高校志愿者管理系统主要功能模块包括页、个人资料（个人信息。修改密码）、公共管理（轮播图、系统公告）、用户管理（管理员、志愿用户）、信息管理（志愿资讯、资讯分类）、活动分类、志愿活动、报名信息、活动心得、留言反馈，采取面对对象的开发模式进行软件的开发和硬体的架设，能很好的满足实际使用的需求，完善了对应的软体架设以及程序编码的工作，采取SQL Server 作为后台数据的主要存储单元，采用Asp.Net技术进行业务系统的编码及其开发，实现了本系统的全部功能。
小米宣布用鸿蒙了吗,小米OV对于是否采用鸿蒙保持沉默，原因是中国制造需要它们...-程序员宅基地
文章浏览阅读122次。原标题：小米OV对于是否采用鸿蒙保持沉默，原因是中国制造需要它们目前华为已开始对鸿蒙系统大规模宣传，不过中国手机四强中的另外三家小米、OPPO、vivo对于是否采用鸿蒙系统保持沉默，甚至OPPO还因此而闹出了一些风波，对此柏铭科技认为这是因为中国制造当下需要小米OV几家继续将手机出口至海外市场。 2020年中国制造支持中国经济渡过了艰难的一年，这一年中国进出口贸易额保持稳步增长的势头，成为全球唯一..._小米宣布用鸿蒙系统
Kafka Eagle_kafka eagle git-程序员宅基地
文章浏览阅读1.3k次。1.Kafka Eagle实现kafka消息监控的代码细节是什么?2.Kafka owner的组成规则是什么？3.怎样使用SQL进行kafka数据预览？4.Kafka Eagle是否支持多集群监控？1.概述在《Kafka 消息监控 - Kafka Eagle》一文中，简单的介绍了 Kafka Eagle这款监控工具的作用，截图预览，以及使用详情。今天_kafka eagle git
随便推点
Eva.js是什么（互动小游戏开发）-程序员宅基地
文章浏览阅读1.1k次，点赞29次，收藏19次。Eva.js 是一个专注于开发互动游戏项目的前端游戏引擎。：Eva.js 提供开箱即用的游戏组件供开发人员立即使用。是的，它简单而优雅！：Eva.js 由高效的运行时和渲染管道 (Pixi.JS) 提供支持，这使得释放设备的全部潜力成为可能。：得益于 ECS（实体-组件-系统）架构，你可以通过高度可定制的 API 扩展您的需求。唯一的限制是你的想象力！_eva.js
OC学习笔记-Objective-C概述和特点_objective-c特点及应用领域-程序员宅基地
文章浏览阅读1k次。Objective-C概述Objective-C是一种面向对象的计算机语言，1980年代初布莱德.考斯特在其公司Stepstone发明Objective-C，该语言是基于SmallTalk-80。1988年NeXT公司发布了OC，他的开发环境和类库叫NEXTSTEP， 1994年NExt与Sun公司发布了标准的NEXTSTEP系统，取名openStep。1996_objective-c特点及应用领域
STM32学习笔记6：TIM基本介绍_stm32 tim寄存器详解-程序员宅基地
文章浏览阅读955次，点赞20次，收藏16次。TIM（Timer）定时器定时器可以对输入的时钟进行计数，并在计数值达到设定值时触发中断16位计数器、预分频器、自动重装寄存器的时基单元，在 72MHz 计数时钟下可以实现最大 59.65s 的定时，59.65s65536×65536×172MHz59.65s65536×65536×721MHz不仅具备基本的定时中断功能，而且还包含内外时钟源选择、输入捕获、输出比较、编码器接口、主从触发模式等多种功能。_stm32 tim寄存器详解
前端基础语言HTML、CSS 和 JavaScript 学习指南_艾编程学习资料-程序员宅基地
文章浏览阅读1.5k次。对于任何有兴趣学习前端 Web 开发的人来说，了解 HTML、CSS 和JavaScript 之间的区别至关重要。这三种前端语言都是您访问过的每个网站的用户界面构建块。而且，虽然每种语言都有不同的功能重点，但它们都可以共同创建令人兴奋的交互式网站，让用户保持参与。因此，您会发现学习所有三种语言都很重要。如果您有兴趣从事前端开发工作，可以通过多种方式学习这些语言——在艾编程就可以参与到学习当中来。在本文中，我们将回顾每种语言的特征、它们如何协同工作以及您可以在哪里学习它们。HTML vs C._艾编程学习资料
三维重构（10）：PCL点云配准_局部点云与全局点云配准-程序员宅基地
文章浏览阅读2.8k次。点云配准主要针对点云的：不完整、旋转错位、平移错位。因此要得到完整点云就需要对局部点云进行配准。为了得到被测物体的完整数据模型，需要确定一个合适的坐标系变换，将从各个视角得到的点集合并到一个统一的坐标系下形成一个完整的数据点云，然后就可以方便地进行可视化，这就是点云数据的配准。点云配准技术通过计算机技术和统计学规律，通过计算机计算两个点云之间的错位，也就是把在不同的坐标系下的得到的点云进行坐标变..._局部点云与全局点云配准
python零基础学习书-Python零基础到进阶必读的书藉：Python学习手册pdf免费下载-程序员宅基地
文章浏览阅读273次。提取码：0oorGoogle和YouTube由于Python的高可适应性、易于维护以及适合于快速开发而采用它。如果你想要编写高质量、高效的并且易于与其他语言和工具集成的代码，《Python学习手册：第4 版》将帮助你使用Python快速实现这一点，不管你是编程新手还是Python初学者。本书是易于掌握和自学的教程，根据作者Python专家Mark Lutz的著名培训课程编写而成。《Python学习..._零基础学pythonpdf电子书