一、问题及原因

　　阿猪希望使用Pandas的apply方法对原先的DataFrame进行运算从而得到一个新的DataFrame，新的DataFrame与原先的DataFrame拥有不同的列。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
import pandas
 
df = pandas.DataFrame({  
    'a': [1, 2, 3, 4, 5],  
    'b': [10, 20, 30, 40, 50],  
    'c': [50, 60, 70, 80, 90]  
})  

def func(row): 
    return pandas.Series({'d': row['a'], 'e': row['b'] + row['c']})

df_new = df.apply(func, axis=1)
df_new = df_new.reset_index(drop=True)  

print(df_new)

　　上边的示例代码是一个简化后的原型，它会创建一个新的DataFramedf_new，拥有两个新的列d和e，其中d列与原DataFramedf的a列相同，e列则由df的b列和c相加而得。

　　当df不为空时，可以得到预期的结果：

1
2
3
4
5
6
   d    e
0  1   60
1  2   80
2  3  100
3  4  120
4  5  140

　　但是当将df的值改为pandas.DataFrame(columns = ['a', 'b', 'c'])时（即定义了列的空DataFrame），运行代码后返回的结果并不是预期的

Empty DataFrame
Columns: [d, e]
Index: []

　　而是直接返回了df的值：

Empty DataFrame
Columns: [a, b, c]
Index: []

　　经过网上一番搜索和调试，原来问题出在apply方法处理空DataFrame的逻辑上。当对df使用apply方法时，Pandas会调用pandas.core.apply.frame_apply。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
class FrameApply(NDFrameApply):
    # 此处省略N行代码

    def apply(self) -> DataFrame | Series:
        # 此处省略N行代码

        # all empty
        if len(self.columns) == 0 and len(self.index) == 0:
            return self.apply_empty_result()

        # 此处省略N行代码

        # one axis empty
        elif not all(self.obj.shape):
            return self.apply_empty_result()

　　这里会对df的行和列进行检查。如果df的行或/和列为空，则不会继续运行后续的代码，而是直接返回apply_empty_result的结果。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
class FrameApply(NDFrameApply):
    # 此处省略N行代码

    def apply_empty_result(self):

        # 此处省略N行代码

        if self.result_type not in ["reduce", None]:
            return self.obj.copy()

        # we may need to infer
        should_reduce = self.result_type == "reduce"

        # 此处省略N行代码

        if should_reduce:

            # 此处省略N行代码

        else:
            return self.obj.copy()

　　在apply_empty_result中，如果apply的result_type参数的值不是reduce或者默认值None，则会直接复制df并返回，从而导致运行示例代码后直接返回了df的值。

二、解决方法

1、在使用apply方法之前进行条件判断

　　示例代码如下：

1
2
3
4
5
if len(df) == 0:
    df_new = pandas.DataFrame(columns = ['d', 'e'])
else:
    df_new = df.apply(func, axis=1)
    df_new = df_new.reset_index(drop=True)

2、在返回的结果中修改列索引

　　示例代码如下：

1
2
df_new = df.apply(func, axis=1)
df_new = df_new.reindex(columns=['d', 'e'])