程序笔记   发布时间:2022-07-20  发布网站:大佬教程  code.js-code.com
大佬教程收集整理的这篇文章主要介绍了1-pandas介绍大佬教程大佬觉得挺不错的,现在分享给大家,也给大家做个参考。

1:pandas 介绍

  • 2008年WesMcKinney开发出的库
  • 专门用于数据挖掘的开源python库
  • 以Numpy为基础,借力Numpy模块在计算方面性能高的优势
  • 基于matplotlib,能够简便的画图
  • 独特的数据结构

2:为什么使用pandas

  • 便捷的数据处理能力
  • 读取文件方便
  • 封装了Matplotlib、Numpy的画图和计算

  

3:案列

创建一个符合正太分布的10个股票5天的涨跌幅数据

import pandas as pd
import numpy as np
,
# 创建一个符合正太分布的10个股票5天的涨跌幅数据
stock_change = np.random.normal(0,1,(10,5))
stock_change
array([[-0.28043833, -1.32618229, -0.02362175, -0.20094603,  0.73294529],
       [ 0.3112984 ,  1.02195314,  1.83917576,  0.11195336, -0.71334307],
       [-1.11658247, -0.36826343, -0.09732063,  1.02642364, -0.45189628],
       [-1.46312303, -0.38870085, -0.29937979,  1.39809135, -0.29268142],
       [ 1.46594285, -0.15487364,  0.54051497,  0.93455721, -0.78488885],
       [-0.97427856, -0.17405788, -0.19173299, -1.11578472,  1.21075393],
       [-1.15417931,  1.24306906, -0.2191712 , -1.49959002,  0.71535429],
       [ 0.91310418,  0.69221889, -2.05595283, -2.46365018,  0.1180998 ],
       [ 0.27667615, -0.91727713,  0.96849262, -1.80839189,  1.2208173 ],
       [-0.91819014, -0.52027355, -0.95796782,  0.01350831, -0.89826695]])

如何让数据更有意义的显示?处理刚才的股票数据

stock_change_rise = pd.DataFrame(stock_changE)
stock_change_rstock_change_riseise

         0           1             2           3            4
0    -0.280438    -1.326182    -0.023622    -0.200946    0.732945
1    0.311298    1.021953    1.839176    0.111953    -0.713343
2    -1.116582    -0.368263    -0.097321    1.026424    -0.451896
3    -1.463123    -0.388701    -0.299380    1.398091    -0.292681
4    1.465943    -0.154874    0.540515    0.934557    -0.784889
5    -0.974279    -0.174058    -0.191733    -1.115785    1.210754
6    -1.154179    1.243069    -0.219171    -1.499590    0.715354
7    0.913104    0.692219    -2.055953    -2.463650    0.118100
8    0.276676    -0.917277    0.968493    -1.808392    1.220817
9    -0.918190    -0.520274    -0.957968    0.013508    -0.898267

 

要是给他添加行索引和列索引,就更为完美

添加行索引

# 构造行索引
#行数
lines = stock_change_rise.shape[0]
print(lines)#10
stock_code  = ["股票{}".format(i) for i in range(lines)]
stock_code #['股票0', '股票1', '股票2', '股票3', '股票4', '股票5', '股票6', '股票7', '股票8', '股票9']
#添加行索引
data = pd.DataFrame(stock_change,index=stock_codE)
data

    0    1    2    3    4
股票0    -0.280438    -1.326182    -0.023622    -0.200946    0.732945
股票1    0.311298    1.021953    1.839176    0.111953    -0.713343
股票2    -1.116582    -0.368263    -0.097321    1.026424    -0.451896
股票3    -1.463123    -0.388701    -0.299380    1.398091    -0.292681
股票4    1.465943    -0.154874    0.540515    0.934557    -0.784889
股票5    -0.974279    -0.174058    -0.191733    -1.115785    1.210754
股票6    -1.154179    1.243069    -0.219171    -1.499590    0.715354
股票7    0.913104    0.692219    -2.055953    -2.463650    0.118100
股票8    0.276676    -0.917277    0.968493    -1.808392    1.220817
股票9    -0.918190    -0.520274    -0.957968    0.013508    -0.898267

增加列索引

股票的日期是一个时间的序列,我们要实现从前往后的时间还要虑每月的总天数等,不方便。使用pd.date_range():用于生成一组连续的时间序列(暂时了解)

date_range(start=None,end=None, periods=None, freq='B')

    start:开始时间

    end:结束时间

    periods:时间天数

    freq:递进单位,默认1天,'B'默认略过周末

 

date = pd.date_range("2021-06-01",periods=data.shape[1],freq="B")
date
datetiR_219_11845@eIndex(['2021-06-01', '2021-06-02', '2021-06-03', '2021-06-04',
               '2021-06-07'],
              dtype='datetiR_219_11845@e64[ns]', freq='B')

data = pd.DataFrame(stock_change,index=stock_code,columns=datE)
data

    2021-06-01    2021-06-02    2021-06-03     2021-06-04     2021-06-07 
股票0    -0.280438    -1.326182    -0.023622    -0.200946    0.732945
股票1    0.311298    1.021953    1.839176    0.111953    -0.713343
股票2    -1.116582    -0.368263    -0.097321    1.026424    -0.451896
股票3    -1.463123    -0.388701    -0.299380    1.398091    -0.292681
股票4    1.465943    -0.154874    0.540515    0.934557    -0.784889
股票5    -0.974279    -0.174058    -0.191733    -1.115785    1.210754
股票6    -1.154179    1.243069    -0.219171    -1.499590    0.715354
股票7    0.913104    0.692219    -2.055953    -2.463650    0.118100
股票8    0.276676    -0.917277    0.968493    -1.808392    1.220817
股票9    -0.918190    -0.520274    -0.957968    0.013508    -0.898267

4 DataFrame

4.1 DataFrame结构

DataFrame对象既有行索引,又有列索引

  • 行索引,表明不同行,横向索引,叫index,0轴,axis=0
  • 列索引,表名不同列,纵向索引,叫columns,1轴,axis=1

1-pandas介绍

4.2 DatatFrame的属性

  • shape
data.shape
# 结果
(10, 5)
  • index
DataFrame的行索引列表

data.index

Index(['股票0', '股票1', '股票2', '股票3', '股票4', '股票5', '股票6', '股票7', '股票8', '股票9'], dtype='object')
DataFrame的列索引列表

data.columns

datetiR_219_11845@eIndex(['2017-01-02', '2017-01-03', '2017-01-04', '2017-01-05',
               '2017-01-06'],
              dtype='datetiR_219_11845@e64[ns]', freq='B')
  • values
直接获取其中array的值

data.values

array([[-0.06544031, -1.30931491, -1.45451514,  0.57973008,  1.48602405],
       [-1.73216741, -0.83413717,  0.45861517, -0.80391793, -0.46878575],
       [ 0.21805567,  0.19901371,  0.7134683 ,  0.5484263 ,  0.38623412],
       [-0.42207879, -0.33702398,  0.42328531, -1.23079202,  1.32843773],
       [-1.72530711,  0.07591832, -1.91708358, -0.16535818,  1.07645091],
       [-0.81576845, -0.28675278,  1.20441981,  0.73365951, -0.06214496],
       [-0.98820861, -1.01815231, -0.95417342, -0.81538991,  0.50268175],
       [-0.10034128,  0.61196204, -0.06850331,  0.74738433,  0.143011  ],
       [ 1.00026175,  0.34241958, -2.2529711 ,  0.93921064,  1.14080312],
       [ 2.52064693,  1.55384756,  1.72252984,  0.61270132,  0.60888092]])
  • T
转置
data.T
结果


          股票0        股票1      股票2      股票3      股票4      股票5      股票6      股票7      股票8        股票9
2021-06-01    -0.280438    0.311298    -1.116582    -1.463123    1.465943    -0.974279    -1.154179    0.913104    0.276676    -0.918190
2021-06-02    -1.326182    1.021953    -0.368263    -0.388701    -0.154874    -0.174058    1.243069    0.692219    -0.917277    -0.520274
2021-06-03    -0.023622    1.839176    -0.097321    -0.299380    0.540515    -0.191733    -0.219171    -2.055953    0.968493    -0.957968
2021-06-04    -0.200946    0.111953    1.026424    1.398091    0.934557    -1.115785    -1.499590    -2.463650    -1.808392    0.013508
2021-06-07    0.732945    -0.713343    -0.451896    -0.292681    -0.784889    1.210754    0.715354    0.118100    1.220817    -0.898267

 

  • head(5):显示前5行内容
如果不补充参数,默认5行。填入参数N则显示前N行

data.head(5)

2017-01-02 00:00:00    2017-01-03 00:00:00    2017-01-04 00:00:00    2017-01-05 00:00:00    2017-01-06 00:00:00
股票0    -0.065440    -1.309315    -1.454515    0.579730    1.486024
股票1    -1.732167    -0.834137    0.458615    -0.803918    -0.468786
股票2    0.218056    0.199014    0.713468    0.548426    0.386234
股票3    -0.422079    -0.337024    0.423285    -1.230792    1.328438
股票4    -1.725307    0.075918    -1.917084    -0.165358    1.076451
  • tail(5):显示后5行内容
如果不补充参数,默认5行。填入参数N则显示后N行

data.tail(5)

 2017-01-02 00:00:00    2017-01-03 00:00:00    2017-01-04 00:00:00    2017-01-05 00:00:00    2017-01-06 00:00:00
股票5    -0.815768    -0.286753    1.204420    0.733660    -0.062145
股票6    -0.988209    -1.018152    -0.954173    -0.815390    0.502682
股票7    -0.100341    0.611962    -0.068503    0.747384    0.143011
股票8    1.000262    0.342420    -2.252971    0.939211    1.140803
股票9    2.520647    1.553848    1.722530    0.612701    0.608881

 

4.3 DatatFrame索引的设置

4.3.1修改行列索引值

stock_code = ["股票_" + str(i) for i in range(stock_day_rise.shape[0])]

# 必须整体全部修改
data.index = stock_code
结果

2017-01-02 00:00:00    2017-01-03 00:00:00    2017-01-04 00:00:00    2017-01-05 00:00:00    2017-01-06 00:00:00
股票_0    -0.065440    -1.309315    -1.454515    0.579730    1.486024
股票_1    -1.732167    -0.834137    0.458615    -0.803918    -0.468786
股票_2    0.218056    0.199014    0.713468    0.548426    0.386234
股票_3    -0.422079    -0.337024    0.423285    -1.230792    1.328438
股票_4    -1.725307    0.075918    -1.917084    -0.165358    1.076451
股票_5    -0.815768    -0.286753    1.204420    0.733660    -0.062145
股票_6    -0.988209    -1.018152    -0.954173    -0.815390    0.502682
股票_7    -0.100341    0.611962    -0.068503    0.747384    0.143011
股票_8    1.000262    0.342420    -2.252971    0.939211    1.140803
股票_9    2.520647    1.553848    1.722530    0.612701    0.608881
注意:以下修改方式是错误的

# 错误修改方式
data.index[3] = '股票_3'

 

4.3.2 重设索引

  • reset_index(drop=falsE)
    • 设置新的下标索引
    • drop:默认为false,不删除原来索引,如果为True,删除原来的索引值
# 重置索引,drop=false
data.reset_index()

    index    2017-01-02 00:00:00    2017-01-03 00:00:00    2017-01-04 00:00:00    2017-01-05 00:00:00    2017-01-06 00:00:00
0    股票_0    -0.065440    -1.309315    -1.454515    0.579730    1.486024
1    股票_1    -1.732167    -0.834137    0.458615    -0.803918    -0.468786
2    股票_2    0.218056    0.199014    0.713468    0.548426    0.386234
3    股票_3    -0.422079    -0.337024    0.423285    -1.230792    1.328438
4    股票_4    -1.725307    0.075918    -1.917084    -0.165358    1.076451
5    股票_5    -0.815768    -0.286753    1.204420    0.733660    -0.062145
6    股票_6    -0.988209    -1.018152    -0.954173    -0.815390    0.502682
7    股票_7    -0.100341    0.611962    -0.068503    0.747384    0.143011
8    股票_8    1.000262    0.342420    -2.252971    0.939211    1.140803
9    股票_9    2.520647    1.553848    1.722530    0.612701    0.608881
# 重置索引,drop=True
data.reset_index(drop=TruE)

2017-01-02 00:00:00    2017-01-03 00:00:00    2017-01-04 00:00:00    2017-01-05 00:00:00    2017-01-06 00:00:00
0    -0.065440    -1.309315    -1.454515    0.579730    1.486024
1    -1.732167    -0.834137    0.458615    -0.803918    -0.468786
2    0.218056    0.199014    0.713468    0.548426    0.386234
3    -0.422079    -0.337024    0.423285    -1.230792    1.328438
4    -1.725307    0.075918    -1.917084    -0.165358    1.076451
5    -0.815768    -0.286753    1.204420    0.733660    -0.062145
6    -0.988209    -1.018152    -0.954173    -0.815390    0.502682
7    -0.100341    0.611962    -0.068503    0.747384    0.143011
8    1.000262    0.342420    -2.252971    0.939211    1.140803
9    2.520647    1.553848    1.722530    0.612701    0.608881

4.3.3 以某列值设置为新的索引

  • set_index(keysdrop=True)

    • keys : 列索引名成或者列索引名称的列表
    • drop : Boolean, default True.当做新的索引,删除原来的列
  • 设置新索引案例

1、创建

df = pd.DataFrame({'@H_122_121@month': [1, 4, 7, 10],
                    'year': [2012, 2014, 2013, 2014],
                    'SALE':[55, 40, 84, 31]})

   month  SALE  year
0  1      55    2012
1  4      40    2014
2  7      84    2013
3  10     31    2014
2、以月份设置新的索引

df.set_index('@H_122_121@month')
       SALE  year
month
1      55    2012
4      40    2014
7      84    2013
10     31    2014
3、设置多个索引,以年和月份

df.set_index(['year', '@H_122_121@month'])
            SALE
year  month
2012  1     55
2014  4     40
2013  7     84
2014  10    31

注:通过刚才的设置,这样DataFrame就变成了一个具有MultiIndex的DataFrame。

5 MultiIndex与Panel

打印刚才的df的行索引结果

df.index

MultiIndex(levels=[[1, 2], [1, 4, 7, 10]],
           labels=[[0, 0, 1, 1], [0, 1, 2, 3]],
           names=['year', '@H_122_121@month'])

5.1 MultiIndex

多级或分层索引对象。

  • index属性
    • names:levels的名称
    • levels:每个level的元组值
df.index.names
FrozenList(['year', '@H_122_121@month'])

df.index.levels
FrozenList([[1, 2], [1, 4, 7, 10]])

 

5.2 Panel

  • class pandas.Panel(data=Noneitems=None, @H_250_630@major_axis=None, @H_250_630@minor_axis=None, copy=falsedtype=None)
    • 存储3维数组的Panel结构
p = pd.Panel(np.arange(24).reshape(4,3,2),
                 items=list('ABCD'),
                 major_axis=pd.date_range('20130101', periods=3),
                 minor_axis=['first', 'second'])
p

<class 'pandas.core.panel.Panel'>
Dimensions: 4 (items) x 3 (major_axis) x 2 (minor_axis)
Items axis: A to D
Major_axis axis: 2013-01-01 00:00:00 to 2013-01-03 00:00:00
Minor_axis axis: first to second

 

  • items - axis 0,每个项目对应于内部包含的数据帧(DataFramE)
  • @H_250_630@major_axis - axis 1,它是每个数据帧(DataFramE)的索引(行)。
  • @H_250_630@minor_axis - axis 2,它是每个数据帧(DataFramE)的列。

查看panel数据:

p[:,:,"first"]
p["B",:,:]

注:Pandas从版本0.20.0开始弃用:推荐的用于表示3D数据的方法是通过DataFrame上的MultiIndex方法

 

6 Series结构

什么是Series结构呢,我们直接看下面的图:

1-pandas介绍

 

 

  • series结构只有行索引

我们将之前的涨跌幅数据进行转置,然后获取'股票0'的所有数据

# series
type(data['2017-01-02'])
pandas.core.series.Series

# 这一步相当于是series去获取行索引的值
data['2017-01-02']['股票_0']
-0.18753158283513574

6.1 创建series

通过已有数据创建

  • 指定内容,默认索引
pd.Series(np.arange(10))
  • 指定索引
pd.Series([6.7,5.6,3,10,2], index=[1,2,3,4,5])

通过字典数据创建

pd.Series({'red':100, ''blue':200, 'green': 500, 'yellow':1000})

6.2 series获取属性和值

  • index
  • values

 

大佬总结

以上是大佬教程为你收集整理的1-pandas介绍全部内容,希望文章能够帮你解决1-pandas介绍所遇到的程序开发问题。

如果觉得大佬教程网站内容还不错,欢迎将大佬教程推荐给程序员好友。

本图文内容来源于网友网络收集整理提供,作为学习参考使用,版权属于原作者。
如您有任何意见或建议可联系处理。小编QQ:384754419,请注明来意。