Tech News

- OpenAI의 CLIP 신경망을 이용해서 비디오 안의 특정 장면을 검색

ㅤ→ "Road Works", "People crossing the street" "Fire truck" 처럼 영상안의 이미지를 검색

동작방식

1. 유튜브 비디오 다운로드

2. 각 프레임을 추출

3. 모든 프레임을 CLIP으로 인코딩

4. CLIP으로 자연어 검색을 인코딩

5. 자연어 검색으로 특정 씬 찾기

- Google Colab에서 노트북으로 바로 실행가능

ㅤ→ https://colab.research.google.com/github/haltakov/…

댓글에 같은 개발자가 Unsplash 의 이미지 검색도 CLIP 으로 해둔게 있는데, 이것도 무척 유용할듯

- https://github.com/haltakov/natural-language-image-search

- Google Colab : https://colab.research.google.com/github/haltakov/…

Unsplash에 올라온 200만개의 사진중에서 원하는 내용의 사진을 찾아 줍니다.

- "Two dogs playing in the snow", "The word love written on the wall", "The feeling when your program finally works"