2025년 2월 회고3월 말이 되어서야 써보는 2월 회고.. 사실 1분기 합쳐서 쓸까 했지만 3월에 너무 많은 일이 있었다는 핑계를 대본다. 3월 회고는 꼭 4월 반절이 가기 전에 쓰겠다는 다짐과 함께...DONE1. 연구과제 실증 준비 - pyspark 도입은 완료 데이터 로딩할 때 공통으로 필요한 전처리를 쿼리로 처리하고 나서 dataframe으로 변환하니까 분석이 빨라졌다. 올해 추가로 선별 필요한 항목들이 생겨서 고친 코드를 통해서 데이터를 추출해보려고 한다. 저장 방식은 고정되어 있어서 다른 기술을 적용해 보기에는 귀찮아질 것 같고, 처리 측면에서 추가로 시도해 볼 만한 기술은 없을지 여유가 있을 때 찾아보려고 한다. 공공데이터 API를 활용해 날짜 기준으로 추가해 볼 만한 메타가 없는지 확인해..
[월간] 2025년 2월 돌아보기
2025년 2월 회고3월 말이 되어서야 써보는 2월 회고.. 사실 1분기 합쳐서 쓸까 했지만 3월에 너무 많은 일이 있었다는 핑계를 대본다. 3월 회고는 꼭 4월 반절이 가기 전에 쓰겠다는 다짐과 함께...DONE1. 연구과제 실증 준비 - pyspark 도입은 완료 데이터 로딩할 때 공통으로 필요한 전처리를 쿼리로 처리하고 나서 dataframe으로 변환하니까 분석이 빨라졌다. 올해 추가로 선별 필요한 항목들이 생겨서 고친 코드를 통해서 데이터를 추출해보려고 한다. 저장 방식은 고정되어 있어서 다른 기술을 적용해 보기에는 귀찮아질 것 같고, 처리 측면에서 추가로 시도해 볼 만한 기술은 없을지 여유가 있을 때 찾아보려고 한다. 공공데이터 API를 활용해 날짜 기준으로 추가해 볼 만한 메타가 없는지 확인해..
2025.03.28