판다스 - 여러 대용량 데이터 처리하기 : os.listdir

https://steadiness-193.tistory.com/27

판다스 - 여러 대용량 데이터 처리하기 (glob)

여러 대용량 데이터를 한꺼번에 모아서 여는 방법은 위 포스팅의 glob 말고도

 

os 라이브러리를 이용하는 방법도 있다.

 

 

 

 

 

 

data 폴더 안의 파일들

 

 

위 파일들 중 fhv로 시작하는 뉴욕 택시 데이터들만 불러와서 한꺼번에 보고자 한다.

 

 

 

import os

 

 

 

 

 

os.listdir 사용

 

data 폴더에 있는 모든 파일을 다 읽어올 수 있다.

 

 

그러나 우리가 필요한 것은 fhv로 시작하는 파일이므로 조건문을 넣어

 

필요한 파일만 담은 리스트를 만든다.

 

 

 

 

파일명을 얻어냈으니

 

경로 + 파일명을 함께 넣어주면 read_csv로 읽을 수 있다.

 

 

 

 

여러 대용량 데이터를 같이 불러오려면 이렇게 

 

os 메서드나 glob를 사용하면 된다.

 

다만, 경로와 파일명을 한꺼번에 설정할 수 있는 glob 라이브러리가 조금 더 간편할 수 있다.