AIglue

Solutions

AI 카드 뉴스 자동화

AI 뉴스 기사 크롤링/요약/번역 (2023)

일반인은 매일 매일 AI 뉴스를 찾아서 볼만큼 여유가 없으니, 그 날 발행된 재미있는 AI 기사를 요약하여 카드 뉴스 형식으로 만들어 Instagram에 업로드하는 프로젝트. 처음엔 기사를 읽고 요약하는 스킬도 키울 겸 기사 제목을 보고 재미있을 것 같은 기사를 선택하여 탐독 후 요약함.

하루에 3개의 기사를 요약하여 카드 뉴스 형식으로 만드는데 걸리는 시간은 2시간 이상. AI가 글을 요약하고 번역하는 시대에 인공지능 강의를 한다는 강사가 업무효율이 최극저화 되어 있음.

파이썬 웹크롤링 + OpenAI API를 이용하여 날짜별로 특정 사이트의 AI 기사들을 웹크롤링, 엑셀 저장, 기사 내용 요약, 영어 번역의 프로세스를 자동화 함.

업무자동화 시스템 프로세스

1"AITIMES"라는 웹사이트에서 특정 일자에 업로드된 기사를 모두 찾아서, 기사 제목, 내용, 저자, URL 등을 수집하고 엑셀 파일로 저장함
2엑셀 파일을 열어서 가장 흥미로워 보이는 기사 3개의 인덱스를 선정하고, 파이썬 input 창에 입력
3자동화 시스템은 주어진 3개의 인덱스에 해당하는 기사에 대해서만, 타이틀을 새로 생성하고, 기사 내용을 요약함
4사용자가 개입하여 타이틀과 요약한 내용을 수정하거나 다듬은 후, 완성된 타이틀을 영어로 번역함
5Instagram 카드 뉴스 템플릿에 한글과 영어 기사 타이틀을 입력하고, 본문에는 요약한 내용을 정리하여 입력
6이후 요약본 스타일을 재학습시켜 Fine-Tuning한 GPT를 만들어 본 시스템에 보다 특화된 AI를 사용함

개발 과정 및 결과물

AITimes 라는 웹페이지의 뉴스 기사를 웹크롤링 하는 프로그램. 2023년 초에 작성한 코드로 100%는 아니지만 생성형 AI의 도움을 받아 코드를 생성함

특정 날짜에 업로드된 모든 기사를 가져오기 위해 파지네이션 기능을 테스트하는 코드. 웹스크래핑 코드를 작성해본 경험이 있으면 특정 태그를 잡거나 프롬프트를 생성할 때 도움이 됨

웹스크래핑 자동화 시스템이지만 사용자가 개입하는 유일한 단계. 웹스크래핑한 여러 기사들 중 사용자가 관심이 있고 인스타에 업로드할 기사 3개를 선별한 후 기사 인덱스를 시스템에 입력하는 기능

AI API를 이용하여 원문 기사에서 핵심 내용을 이해하고 3개 문장으로 만드는 기능. 기사원문-요약문 데이터를 구성하고 OpenAI Chat 모델을 파인튜닝한 AI 모델을 사용함

Fine-Tuned AI를 이용하여 뉴스 제목, 기사 요약문, 핵심키워드(태그), 번역문을 만드는 기능

최종적으로 Instagram에 업로드할 템플릿에 들어갈 내용을 엑셀 파일로 저장하는 기능

Instagram에 포스팅된 AI 카드 뉴스. AI가 생성한 기사 제목과 우측의 세부내용을 확인할 수 있음

화면 우측 화살표를 클릭하면 동일한 뉴스 제목을 영문으로 번역한 결과를 확인할 수 있음

비슷한 문제를 우리 회사도 겪고 있나요?

업무 자동화가 필요한 부분을 편하게 문의해주세요. 실현 가능성을 함께 검토해드립니다.

지금 문의하기