pandas读excel文件,电子表格Pandas读取Excel

1. Pandas读取Excel

使用pandas对excel就行格式设置需要用到一些代码。

2. pandas读取Excel日期时变成了数字

pandas与xlwings的区别

先说下xlwings与pandas的简单区别:pandas是对结构化数据的分析挖掘。要求数据非常规整。比如第一列单元格填什么字段,第二列填什么字段都很清楚。一般为二维数据。pandas读取excel会破坏excel的格式。比如说数据透视表,合并单。

3. pandas读取Excel太慢

首先查看电脑中是否安装pandas库，win+R→运行栏输入WindowsPowerShell→cd python安装路径(比如"F:/python"该路径下要有python.exe)→输入python -m pip show pandas回车(或者python -m pip list回车)→查看屏幕提示有无pandas的版本等信息。①如果没有，联网后，在WindowsPowerShell中输入：

cd (比如"F:/python/lib/site-packages"此为安装python第三方库的文件夹路径，具体以用户安装的实际路径为准)回车

输入python -m pip install pandas看屏幕提示，等待将其下载安装完毕。

②如果有，进入python解释器(python.exe)

用import pandas即可调用该库了。比如：

pandas.read_excel("excel文件含后辍.xls所在的路径")；举例：pandas.read_excel("E:/excel/demo.xls")

pandas.read_csv("csv文件含后辍.csv所在的路径")，等等，具体pandas怎么用不再赘述。

4. pandas读取Excel显示的值

　　在有关大数据分析Python API的本教程中，我们将学习如何从远程网站检索数据以进行数据科学项目。像baidu，Twitter和Facebook之类的网站都通过其应用程序编程接口(API)向程序员提供某些数据。要使用API，你需要向远程Web服务器发出请求，然后检索所需的数据。

　　但是，为什么要使用API而不是可以下载的静态数据集呢?API在以下情况下很有用：

　　a.数据变化很快。股票价格数据就是一个例子。重新生成数据集并每分钟下载一次并没有实际意义-这会占用大量带宽，而且速度很慢。

　　b.您需要一小部分更大的数据。Reddit评论就是一个例子。如果您只想在Reddit上发表自己的评论该怎么办?下载整个Reddit数据库，然后仅过滤您自己的注释并没有多大意义。

　　c.涉及重复计算。Spotify的API可以告诉您音乐的流派。从理论上讲，您可以创建自己的分类器，并使用它对音乐进行分类，但您将永远不会拥有Spotify所拥有的数据。

　　在上述情况下，API是正确的解决方案。对于本数据科学教程，我们将查询一个简单的API，以检索有关国际空间站(ISS)的数据。使用API可以节省我们自己进行所有计算的时间和精力。

　　大数据分析Python中的API请求

　　API托管在Web服务器上。当您google在浏览器的地址栏中键入内容时，您的计算机实际上是在向google服务器询问网页，然后该网页返回到您的浏览器。

　　API的工作方式几乎相同，除了您的程序要求数据而不是您的Web浏览器询问网页之外。这些数据通常以JSON格式返回(有关更多信息，请参阅有关使用JSON数据的教程)。

　　为了获取数据，我们向Web服务器发出请求。然后，服务器将回复我们的数据。在大数据分析Python中，我们将使用请求库来执行此操作。在此大数据分析Python API教程中，我们将为所有示例使用大数据分析Python 3.4。

　　请求类型

　　有许多不同类型的请求。最常用的一个GET请求用于检索数据。

　　我们可以使用一个简单的GET请求从OpenNotify API 检索信息。

　　OpenNotify具有多个API端点。端点是用于从API检索不同数据的服务器路由。例如，/commentsReddit API上的端点可能会检索有关注释的信息，而/users端点可能会检索有关用户的数据。要访问它们，您可以将端点添加到API 的基本URL中。

　　我们将在OpenNotify上看到的第一个端点是iss-now.json端点。该端点获取国际空间站的当前纬度和经度。如您所见，检索此数据不适用于数据集，因为它涉及服务器上的一些计算，并且变化很快。

　　您可以在此处查看OpenNotify上所有端点的列表。

　　OpenNotify API 的基本网址是http://api.open-notify.org，因此我们将其添加到所有端点的开头。

　　状态码

　　我们刚刚发出的请求的状态码为200。向Web服务器发出的每个请求都返回状态代码。状态代码指示有关请求发生的情况的信息。以下是与GET请求相关的一些代码：

　　a)200 -一切正常，结果已返回(如果有)

　　b)301—服务器正在将您重定向到其他端点。当公司切换域名或更改端点名称时，可能会发生这种情况。

　　c)401-服务器认为您未通过身份验证。当您没有发送正确的凭据来访问API时就会发生这种情况(我们将在以后的文章中讨论身份验证)。

　　d)400-服务器认为您提出了错误的请求。当您没有正确发送数据时，可能会发生这种情况。

　　e)403 —您尝试访问的资源被禁止—您没有正确的权限查看它。

　　f)404 -在服务器上找不到您尝试访问的资源。

　　现在http://api.open-notify.org/iss-pass，根据API文档，向不存在的端点发出GET请求。

　　击中正确的终点

　　iss-pass不是有效的端点，因此我们得到了一个404状态码作为相应。.json正如API文档所述，我们忘记在最后添加。

　　现在，我们将向发出GET请求http://api.open-notify.org/iss-pass.json。

　　查询参数

　　您将在上一个示例中看到，我们得到了一个400状态码，表示请求错误。如果您查看OpenNotify API的文档，我们会发现ISS Pass端点需要两个参数。

　　当ISS下次通过地球上的给定位置时，将返回ISS Pass端点。为了对此进行计算，我们需要将位置的坐标传递给API。为此，我们传递了两个参数-纬度和经度。

　　为此，我们可以在params请求中添加可选的关键字参数。在这种情况下，我们需要传递两个参数：

　　1)lat —我们想要的位置的纬度。

　　2)lon —我们想要的位置的经度。

　　我们可以使用这些参数制作字典，然后将它们传递给requests.get函数。

　　我们还可以通过将查询参数添加到url中来直接做同样的事情，如下所示：http://api.open-notify.org/iss-pass.json?lat=40.71&lon=-74。

　　将参数设置为字典几乎总是可取的，因为requests它可以处理一些事情，例如正确设置查询参数的格式。

　　我们将使用纽约市的坐标进行请求，然后查看得到的答复。

　　b'{n "message": "success", n "request": {n "altitude": 100, n "datetime": 1441417753, n "latitude": 40.71, n "longitude": -74.0, n "passes": 5n }, n "response": [n {n "duration": 330, n "risetime": 1441445639n }, n {n "duration": 629, n "risetime": 1441451226n }, n {n "duration": 606, n "risetime": 1441457027n }, n {n "duration": 542, n "risetime": 1441462894n }, n {n "duration": 565, n "risetime": 1441468731n }n ]n}'

　　b'{n "message": "success", n "request": {n "altitude": 100, n "datetime": 1441417753, n "latitude": 40.71, n "longitude": -74.0, n "passes": 5n }, n "response": [n {n "duration": 329, n "risetime": 1441445639n }, n {n "duration": 629, n "risetime": 1441451226n }, n {n "duration": 606, n "risetime": 1441457027n }, n {n "duration": 542, n "risetime": 1441462894n }, n {n "duration": 565, n "risetime": 1441468731n }n ]n}'

　　使用JSON数据

　　您可能已经注意到，响应的内容之前是a string(尽管它显示为bytes对象，但是我们可以使用轻松地将内容转换为字符串response.content.decode("utf-8"))。

　　字符串是我们将信息来回传递给API的方式，但是很难从字符串中获取我们想要的信息。我们如何知道如何解码返回的字符串并在大数据分析Python中使用它?我们如何altitude从字符串响应中找出ISS的含义?

　　幸运的是，有一种名为JavaScript Object Notation(JSON)的格式。JSON是一种将列表和字典之类的数据结构编码为字符串的方法，以确保它们易于被机器读取。JSON是将数据来回传递给API的主要格式，大多数API服务器将以JSON格式发送其响应。

　　json套件随附大数据分析Python强大的JSON支持。该json软件包是标准库的一部分，因此我们无需安装任何程序即可使用它。我们既可以将列表和字典转换为JSON，也可以将字符串转换为列表和字典。就我们的ISS Pass数据而言，它是一个字典，编码为JSON格式的字符串。

　　json库有两种主要方法：

　　1)dumps —接收一个大数据分析Python对象，并将其转换为字符串。

　　2)loads —接收JSON字符串，并将其转换为大数据分析Python对象。

　　从API请求获取JSON

　　通过使用.json()响应上的方法，您可以将响应的内容作为大数据分析Python对象获取。

　　{'response': [{'risetime': 1441456672, 'duration': 369}, {'risetime': 1441462284, 'duration': 626}, {'risetime': 1441468104, 'duration': 581}, {'risetime': 1441474000, 'duration': 482}, {'risetime': 1441479853, 'duration': 509}], 'message': 'success', 'request': {'latitude': 37.78, 'passes': 5, 'longitude': -122.41, 'altitude': 100, 'datetime': 1441417753}}

　　内容类型

　　服务器不仅会在生成响应时发送状态码和数据。它还发送包含有关如何生成数据以及如何对其进行解码的信息的元数据。这存储在响应头中。在大数据分析Python中，我们可以使用headers响应对象的属性来访问它。

　　标头将显示为字典。在标题中，content-type是目前最重要的键。它告诉我们响应的格式以及如何对其进行解码。大数据分析Python API入门教程https://aaa-cg.cn/data/2308.html对于OpenNotify API，格式为JSON，这就是为什么我们可以json更早地使用包对其进行解码的原因。

　　寻找太空中的人数

　　OpenNotify还有一个API端点astros.json。它告诉你当前有多少人在太空中。相应的格式可以在这里找到。

　　9

　　{'number': 9, 'people': [{'name': 'Gennady Padalka', 'craft': 'ISS'}, {'name': 'Mikhail Kornienko', 'craft': 'ISS'}, {'name': 'Scott Kelly', 'craft': 'ISS'}, {'name': 'Oleg Kononenko', 'craft': 'ISS'}, {'name': 'Kimiya Yui', 'craft': 'ISS'}, {'name': 'Kjell Lindgren', 'craft': 'ISS'}, {'name': 'Sergey Volkov', 'craft': 'ISS'}, {'name': 'Andreas Mogensen', 'craft': 'ISS'}, {'name': 'Aidyn Aimbetov', 'craft': 'ISS'}], 'message': 'success'}

　　大数据分析Python API数据科学教程：后续步骤

　　现在，您已经完成了大数据分析Python API教程，现在应该可以访问简单的API并发出get请求了。requests在我们的dataquest API和抓取课程中，还有其他几种类型，您可以了解更多信息以及与API身份验证一起使用。

　　建议的其他后续步骤是阅读请求文档，并使用Reddit API。有一个名为PRAW 的程序包，它使在大数据分析Python中使用Reddit API更加容易，但是建议requests首先使用它来了解一切的工作原理。

https://toutiao/i6832146415016215043/

5. pandas读取Excel指定行

import xlrddata = xlrd.open_workbook('excelFile.xls')table = data.sheets()[0] #通过索引顺序获取table = data.sheet_by_index(0) #通过索引顺序获取table = data.sheet_by_name(u'Sheet1')#通过名称获取

6. Pandas读取excel文件的函数是

答方法如下

1

打开电脑，在桌面鼠标右键选择新建excel工作表；接着打开工作表，在sheet1插入一个表格

2

然后在excel表格sheet2，插入另一个表格数据

3

双击打开pycharm工具，新建python文件，导入pandas包；调用read_excel()方法读取excel文件数据

4

/6

保存代码并运行python文件，结果出现了报错，缺少xlrd包

5

点击File菜单，选择Settings，找到项目对应的Project Interpreter，安装xlrd

6

安装完毕后，再次运行代码，可以查看到控制台打印出excel文件数据

7. pandas读取excel文件使用什么方法

两种方法可以实现。

第一，导入numpy，将文本数据导入txt文档，然后通过函数load就可以读取txt文件，就可以导入文本数据了。

第二，导入pandas包，将文本文件等距插入excel表，然后通过read_txt来读取excel文件，这样也可以导入文本数据。

8. pandas读取Excel忽略空白列

本文所演示的的可视化方法

散点图 （Scatterplot)

直方图 (Histogram）

小提琴图 （Violinplot)

特征两两对比图（Pairplot）

安德鲁斯曲线 (Andrews curves)

核密度图 (Kernel density estimation plot)

平行坐标图 （Parallel coordinates）

Radviz （力矩图？）

热力图 (Heatmap)

气泡图 (Bubbleplot)

这里主要使用Python一个流行的作图工具: Seaborn library，同时Pandas和bubbly辅助。为什么Seaborn比较好？

因为很多时候数据分析，建模前，都要清洗数据，清洗后数据的结果总要有个格式，我知道的最容易使用，最方便输入模型, 最好画图的格式叫做"Tidy Data" (Wickham H. Tidy data[J]. Journal of Statistical Software, 2014, 59(10): 1-23.) 其实很简单，Tidy Data格式就是：

每条观察（记录）自己占一行

观察（记录）的每个特征自己占一列

举个例子，我们即将作图的数据集IRIS就是Tidy Data（IRIS（IRIS数据集）_百度百科）：

Iris数据集是常用的分类实验数据集，由Fisher, 1936收集整理。Iris也称鸢尾花卉数据集，是一类多重变量分析的数据集。数据集包含150个数据集，分为3类，每类50个数据，每个数据包含4个属性。可通过花萼长度，花萼宽度，花瓣长度，花瓣宽度4个属性预测鸢尾花卉属于（Setosa，Versicolour，Virginica）三个种类中的哪一类。

该数据集包含了5个属性：

Sepal.Length（花萼长度），单位是cm;

Sepal.Width（花萼宽度），单位是cm;

Petal.Length（花瓣长度），单位是cm;

Petal.Width（花瓣宽度），单位是cm;

种类：Iris Setosa（山鸢尾）、Iris Versicolour（杂色鸢尾），以及Iris Virginica（维吉尼亚鸢尾）。

IRIS数据

可以看到，每条观察（ID=0,1,2...）自己占一行，每个特征(四个部位长/宽度，种类）自己占一列。Seaborn就是为Tidy Data设计的，所以方便使用。

所以这个数据集有6列，6个特征，很多时候做可视化就是为了更好的了解数据，比如这里就是想看每个种类的花有什么特点，怎么样根据其他特征把花分为三类。我个人的喜好是首先一张图尽量多的包含数据点，展示数据信息，从中发现规律。我们可以利用以下代码完全展示全部维度和数据这里用的bubbly：

三维图，全局观察

Python做出来，其实是一张可以拖动角度，放大缩小的图，拖一拖看各角度视图会发现三类还是分的挺明显的。Github上这个bubbly还是很厉害的，方便。

接下来开始做一些基础的可视化，没有用任何修饰，代码只有最关键的画图部分，可视化作为比赛的一个基础和开端，个人理解做出的图能看就行，美不美无所谓，不美也不扣分。因为

散点图，可以得到相关性等信息，比如基本上SepalLengthCm越大，SepalWidthCm越大

散点图

使用Jointplot, 看两个变量的分布，KDE图，同时展示对应的数据点

就像上一篇说的，比赛中的每个环节都至关重要，很有必要看下这些分布直方图，kde图，根据这些来处理异常值等，这里请教，为什么画了直方图还要画KDE？？我理解说的都是差不多的东西。

关于KDE:"由于核密度估计方法不利用有关数据分布的先验知识，对数据分布不附加任何假定，是一种从数据样本本身出发研究数据分布特征的方法，因而，在统计学理论和应用领域均受到高度的重视。"

无论如何，我们先画直方图，再画KDE

直方图KDE 图

这里通过KDE可以说，由于Setosa的KDE与其他两种没有交集，直接可以用Petailength线性区分Setosa与其他两个物种。

Pairplot

箱线图，显示一组数据分散情况的统计图。形状如箱子。主要用于反映原始数据分布的特征，关键的5个黑线是最大值、最小值、中位数和两个四分位数。在判断异常值，处理异常值时候有用。

BoxPlot

小提琴图

Violinplot

这个Andrews curves很有趣，它是把所有特征组合起来，计算个值，展示该值，可以用来确认这三个物种到底好不好区分，维基百科的说法是“If there is structure in the data, it may be visible in the Andrews' curves of the data.”（Andrews plot - Wikipedia）

Andrews' curvesradviz

Radviz可视化原理是将一系列多维空间的点通过非线性方法映射到二维空间的可视化技术，是基于圆形平行坐标系的设计思想而提出的多维可视化方法。圆形的m条半径表示m维空间，使用坐标系中的一点代表多为信息对象，其实现原理参照物理学中物体受力平衡定理。 多维空间的点映射到二维可视空间的位置由弹簧引力分析模型确定。 (Radviz可视化原理 - CSDN博客) ，能展示一些数据的可区分规律。

数值是皮尔森相关系数，浅颜色表示相关性高，比如Petal.Length（花瓣长度）与 Petal.Width（花瓣宽度）相关性0.96，也就是花瓣长的花，花瓣宽度也大，也就是个大花。

不过，现在做可视化基本上不用python了，具体为什么可以去看我的写的文章，我拿python做了爬虫，BI做了可视化，效果和速度都很好。

finereport

可视化的一大应用就是数据报表，而FineReport可以自由编写整合所需要的报表字段进行报表输出，支持定时刷新和监控邮件提醒，是大部分互联网公司会用到的日常报表平台。

尤其是公司体系内经营报表，我们用的是商业报表工具，就是finereport。推荐他是因为有两个高效率的点：①可以完成从数据库取数（有整合数据功能）—设计报表模板—数据展示的过程。②类似excel做报表，一张模板配合参数查询可以代替几十张报表。

FineBI

简洁明了的数据分析工具，也是我个人最喜欢的可视化工具，优点是零代码可视化、可视化图表丰富，只需要拖拖拽拽就可以完成十分炫酷的可视化效果，拥有数据整合、可视化数据处理、探索性分析、数据挖掘、可视化分析报告等功能，更重要的是个人版免费。

主要优点是可以实现自助式分析，而且学习成本极低，几乎不需要太深奥的编程基础，比起很多国外的工具都比较易用上手，非常适合经常业务人员和运营人员。在综合性方面，FineBI的表现比较突出，不需要编程而且简单易做，能够实现平台展示，比较适合企业用户和个人用户，在数据可视化方面是一个不错的选择；

这些是我见过比较常用的，对数据探索有帮助的可视化方法。