[PiggyAI] 추천 카페 List 캐싱 처리를 통한 성능 최적화 및 비용 개선

🐷 문제 상황

사용자가 지역을 검색했을 때 현재 로직은 Kakao 를 통해 해당 지역의 카페 리스트를 불러오고 이를 기반으로 OpenAI 가 추천 카페 리스트를 반환한다. 하지만 매번 Kakao api, OpenAI api 호출을 하면 비용적인 문제와 응답속도 면에서 아쉬움이 있었다.

사용자가 매번 검색을 할 때마다 추천 리스트가 바뀌는 것 역시 사용자 입장에서 이 리스트가 진짜로 추천이 된 리스트일까? 하는 의문이 들 수 있다고도 판단했고, 7일의 TTL 설정이라면 주변 카페 최신화에도 문제가 없을 것이라 생각해 이를 구현해보았다.

 

• 동일한 키워드로 여러 사용자가 검색할 때도 매번 Kakao, OpenAI 호출
• OpenAI 응답 시간: 평균 2.5~5초
• 하루 500~1000건 이상의 검색 발생 → 비용 증가, 속도 저하

 

🐷 캐싱 전략 도입

 

• Redis를 도입해 검색어별 추천 결과를 캐싱
• 캐시 키: search:query:<검색어>
• TTL(Time To Live)은 7일로 설정해, 추천 결과가 너무 오래되지는 않도록 제어

🐷 측정 결과

구분	캐싱 전	캐싱 후
평균 응답 시간	3.54초	0.14초
OpenAI 호출 수	100%	약 40~60% 감소
OpenAI 비용	고정 상승	유지 또는 하락 가능성 생김

 

기존에 캐싱이 된 데이터라면 평균 응답속도가 대폭 상승했다.

어느 한 사용자가 처음 검색했을 때는 캐싱 전 상태이기 때문에 3초 중반대의 응답속도를 유지하겠지만 이후 7일간 다른 사용자가 중복 키워드 검색 시 0.14초로 대폭 응답속도면에서 향상된 것을 볼 수 있다.

또한 아직 실제로 사용자들에게 배포된 것이 아니기 때문에 OpenAI 호출 수를 직접적으로 비교할 수는 없지만, 사용자들이 주로 카페들이 몰려있는 지역을 검색할 것으로 예상되기 때문에 해당 % 보다 더 감소될 것으로 예상한다.

이는 OpenAI, Kakao API 비용 면에서도 대폭 하락할 것으로 기대된다.

 

🐷 캐싱 데이터 정제

하지만 이렇게 캐싱을 하였을 때 캐싱되는 데이터가 쌓이다보면 현재 Upstash Free tier 를 사용하고 있지만 언젠가는 해당 한계 용량인 256MB 를 초과할 것으로 예상되었다. 때문에 이를 줄일 필요가 있었는데, 필요치 않은 데이터들을 줄임으로써 기존 저장 형태였던 json 타입에서 사용하는 필드들만 정제하여 redis 에 캐싱되는 데이터의 용량을 50% 이상 줄였다.

정제 전

 

정제 후

// 캐시에 저장할 allCafes 정제
if (page === 1) {
    const compactAllCafes = cafes.map(cafe => ({
        name: cafe.place_name,
        address: cafe.road_address_name,
        placeUrl: cafe.place_url,
        x: cafe.x,
        y: cafe.y,
    }));

 

위처럼 name, address, placeUrl 등 필요한 필드들만 유지해주었다.

 

하루 1000 건의 데이터가 캐싱된다고 가정하고 7일의 TTL 시간동안 유지된다고 한다면

3.4KB 의 개당 데이터 x 1000 x 7 로 예상 24MB 의 용량으로 Free tier 한계치인 256MB 에 여유롭게 저장이 가능하다.