Python数据采集、分析与可视化实战

2021年7月26日-8月1日，青海西宁

课程简介

实验课程注重代码实践，更注重落地应用

通过大量案例快速介绍Python运算符、表达式、内置函数，列表、元组、字典、集合，选择结构与循环结构，函数定义与使用，字符串与正则表达式等内容。学习完这些基础内容之后，重点学习文本文件操作、json文件操作、CSV文件操作、Word文件操作、Excel文件操作、网络爬虫原理与应用、numpy数组运算与矩阵运算、pandas数据分析、matplotlib数据可视化以及sklearn机器学习等方面的内容。

全案例教学，边讲边练，实战性强

报名送书

大算力实验室免费使用1个月

赠送2000页PPT和全部案例源代码

课程大纲

实验课程注重代码实践，更注重落地应用

模块一：Python开发环境搭建与入门案例实战

1 IDLE、Jupyter Notebook、Spyder简单使用

2 词频统计在自然语言处理和密码分析中的应用

3 电影评分与推荐

4 过滤无效书评

5 组合数算法优化

6 蒙特卡罗算法计算圆周率近似值

7 考虑兔子生育能力和寿命的斐波那契数列

8 蒙蒂霍尔悖论

9 验证6174猜想

10 寻找n位水仙花数

11 猜数游戏

12 抓狐狸游戏

13 轮盘抽奖

14 报数游戏

15 花式爬楼梯方法计算

16 垃圾邮件快速检测，对抗垃圾邮件过滤机制

17 秦九韶算法快速计算多项式的值

18 打字练习程序准确率计算

模块二：数据采集实战——文件与数据库操作

1 文本文件读写，数据排序，添加行号

2 JSON文件读写

3 CSV文件读写

4 文本文件转换为Excel文件，Excel文件合并，Excel文件演员关系分析，个人爱好汇总，多次考试成绩不同课程最高分统计，批量设置单元格字体、边框、背景色，读取Excel文件中公式计算结果

5 Word书稿重复字查找，口算题库生成器，Word文件中表格与Excel文件互相转换，Word文件自动设置章节目录，自动设置页眉、页脚，Word文件中关键字自动着色，超链接文本与地址提取，提取书稿中例题、插图与表格，批量提取文件中红色和加粗的文字，查找包含特定文本的Office文件，Word文件转图片式PDF文件，删除PDF文件水印

6 目录树深度优先遍历，目录树广度优先遍历

模块三：数据采集实战——网络爬虫与信息提取

1 HTML、正则表达式、urllib、requests、scrapy、selenium基础

2 凯撒加密，数据压缩，随机密码生成器，批量随机信息生成，中英文分词，拼音处理，词云图

3 提取最长数字子串，提取电话号码，提取网页源代码中的特定信息

4 网页文本提取与图片下载

5 简单反爬机制对抗，UA检测，防盗链

6 某高校新闻网站数据采集与分析

7 中国工程院院士信息爬取与分析

8 爬取山东省各城市天气预报

9 天涯小说爬取

10 批量自动爬取微信公众号“Python小屋”文章

11 百度搜索结果的过滤

12 电子邮件附件批量下载

模块四：数据分析实战——numpy、pandas

1 数组与矩阵生成，数组运算，矩阵运算，逆矩阵，qr分解，svd分解，线性方程组求解

2 数据筛选及修改，缺失值、重复值、异常值处理，数据差分，分组与聚合，数据拆分与合并，日期时间高级接口，字符串高级接口，交叉表，透视表，读写文件

3 演员关系分析，转盘抽奖

4 饭店营业额数据分析与可视化

5 学生成绩分析与可视化

6 超市营业额综合分析

模块五：数据可视化与科学计算可视化实战——matplotlib

1 绘制折线图，商场优惠活动，角谷猜想可视化，龟兔赛跑可视化，函数图像

2 散点图，商场内手机信号强度分布，烧烤店营业额

3 饼状图，转盘抽奖可视化

4 柱状图，闯红灯现象，烧烤店营业额，商场业绩

5 雷达图，学生成绩与能力体现

6 热力图，学生成绩分析

7 设置图例，图例位置、样式

8 设置轴域背景以及坐标轴位置、样式、刻度

9 绘制三维图形，三维折线图、三维柱状图、三维柱状图

10 绘制南丁格尔玫瑰图

11 事件响应与处理高级编程，鼠标悬停标注，直线标注，顶点拾取

12 绘制动态柱状图，动态散点图（随机游走与定位），保存GIF动图

模块六：机器学习实战

1 线性回归、逻辑回归、系统聚类、KNN、KMeans、DBSCAN、支持向量机、贝叶斯算法、决策树算法原理

2 儿童身高预测

3 身材肥胖程度分类

4 基于SVM的图像识别

5 基于朴素贝叶斯算法的垃圾邮件分类，训练结果保存与复用

6 Python水平判断与分类

7 基于KMeans聚类算法的图像颜色压缩

7 模型评估

8 网格搜索

案例实验展示

赠送课件、代码、数据、配套实践手册

实验一、绘制折线图、散点图、热力图辅助数据分析

实验二、绘制雷达图辅助数据分析

实验三、绘制柱状图辅助数据分析

实验四、交互式可视化与事件响应高级编程

实验五、交互式可视化：文本标注

实验六、绘制雷达图辅助数据分析

实力专家主讲

历届好评最多的实力派讲师

董老师

董付国，山东工商学院副教授，山东省一流本科课程“Python应用开发”负责人，出版《Python程序设计（第3版）》（该书第2版被评为清华大学出版社2019年度畅销图书）、《Python程序设计基础（第2版）》（该书被评为清华大学出版社2019年度畅销图书）、《Python可以这样学》、《Python程序设计开发宝典》、《中学生可以这样学Python》、《玩转Python轻松过二级》、《Python程序设计实验指导书》、《Python数据分析、挖掘与可视化》、《Python程序设计基础与应用》、《Python编程基础与案例集锦（中学版）》等系列图书，国内几百所高校选作教材，累计印刷超过110次。其中《Python可以这样学》同时在台湾发行繁体版。多次获得校级教学优秀效果一等奖和教学质量奖，开发过适用于煤矿、油田、淘宝店的多套系统，以及在线考试系统和课堂教学管理系统。发表科研论文40余篇，20余篇被EI收录，拥有国家发明专利1项，软件著作权1项。两次入选“中国大数据创新百人榜单”，长期维护微信公众号“Python小屋”并免费分享1000多篇Python技术文章和超过500节微课视频，智慧树慕课进入平台TOP100。近年来应邀为国内高校和企业作报告或培训90多次，多次应邀出席全国教学研讨会做专题报告。