pandas

ことりん君、突然だけどpandas (パンダス)って知ってる？？

もちろん知っているよ！パンダの複数形だよね？パンダさん、たくさん！！

英語としては正解なんだけど、ジャバード先生が聞きたかったのはちょっと違う答えなんだよ。

あれ？そうなの？

ITエンジニアに「pandasってなに？」って聞くと、ほとんどのエンジニアは「Pythonのライブラリ」って答えるはず。

別にボケたわけじゃないんだけど、なんか恥ずかしいじゃん…。なんでそんなにアニマルチックな名前がついたの？

pandasは「panel data s」を略した言葉だよ。パネルデータっていうのはざっくりいうと時系列でまとめられたデータのことを指すんだ。たとえば、「企業の直近10年分の売上データ」とか「アンケートの回答データ」なんかは、代表的なパネルデータだよ。

ふむふむ。パネルデータは、データの種類の1つなんだね。pandasはそのパネルデータと関係があるってことなのかな？

そうだね！pandasは、Pythonでデータ分析を行うためのライブラリなんだ。最近注目されているAIや機械学習を効率よく実施するためには、とっても重要なものなんだよ。

なるほど。うーん。でも、いまいちイメージが湧かないなぁ…。pandasはデータ分析するためのライブラリってことはわかったんだけど、pandasを使うと何が嬉しいの？もう少し具体的に教えてもらえるかな？

pandasのありがたみを知るためには、まずざっくり機械学習の流れを知っておくといいよ。機械学習は、こんな感じのフローなんだ。

ふむふむ。まずはデータを集めるところからスタートするんだね。

そのとおり。でもさ、データって一言でいってもいろいろあるよね。CSVファイルかもしれないし、データベースかもしれない。データベースだってSQL ServerだったりMySQLだったり、いろいろあるわけだ。

あ、たしかにそうだね！分析に使いたいデータが、1つとは限らないしね！

そうなんだ！でも、分析するときはデータをひとまとめで扱う必要があるよね。pandasは「データフレーム」という考え方があって、さっき話したようないろんなデータを、ひとまとめにすることができるんだ。

なるほど。pandasを使えばデータを共通化できるってことか。それは確かに便利な機能だね！

そういうこと！もう1つ重要な機能は、データの加工に強いことなんだ。さきほどお話ししたデータを綺麗にすることができるんだ。

データの加工ってなに？

データにも「綺麗なデータ」と「汚れたデータ」っていうのがあるんだ。少し言い方を変えると「整ったデータ」と「整っていないデータ」ともいえるね。

分析対象のデータなんて、1個1個のデータがたくさん集まっていればいいんじゃないの？？

それではだめなんだ。いわゆる「汚れたデータ」で分析しちゃうと、誤った結果が出てしまうことがあるんだよ。

どういうこと？？

データっていうのは、さまざまな理由で「欠損」という状態が発生するんだ。欠損っていうのは、データが存在しないということだね。たとえば、アンケートの中でユーザーがある項目だけ回答しなかった場合などは、その項目が欠損値となるんだ。

あぁ、たしかにデータの中の一部分の値が存在しないっていうのはよくありそうだね。

そうそう。でも、機械学習でそういったデータをベースにしちゃうと、誤った学習をさせてしまうことになるよね。だから、欠損値に対して「データを削除する」とは「データを埋める」という作業が必要なんだ。

欠損値が存在しない状態にしようってことだね。

そういうことだね。その「欠損値が存在しない状態」にするためには、pandasが欠かせないんだよ。pandasには、欠損値を削除したり、穴埋めする機能があるから、それらを活用してデータをキレイにしてあげるんだ。

ふむふむ。確かに手作業で全部対応するのは時間かかりそうだもんね。

そうだね！そのほかにもpandasはデータを集計したり、可視化(グラフ表示)する機能もあるんだ。Pythonエンジニアを目指すのであれば、知っておきたいライブラリの1つなんだ。

ジャバード先生ありがとう！pandasについてよくわかったよ！