판다스 - 여러 대용량 데이터 처리하기 : glob

뉴욕의 택시 데이터 파일

 

 

이 다섯개의 csv 파일을 불러와 한꺼번에 보고자 한다.

 

 

 

 

glob 라이브러리, glob 메서드 이용

 

 

 

glob 라이브러리의 glob메서드는

 

특정한 패턴의 이름을 가진 파일을 한번에 읽어들일 수 있다.

 

 

 

 

 

방법1. 하나씩 불러와 concat을 이용한다.

 

 

 

 

방법2. for loop와 list를 이용한다.

 

 

차례대로 csv파일을 읽고 

 

읽어서 만들어낸 데이터프레임(df)을 taxi_list_df에 차곡히 쌓는다.

 

 

 

 

 

taxi_list_df에 쌓인 데이터프레임들을 concat을 이용해 합친다.

 

 

 

 

 

위에서 생성했던 taxi 데이터프레임과

 

taxi_loop_concat 데이터프레임은 동일함을 볼 수 있다.