웹 채팅창에 유튜브 링크를 붙이고 "이 영상 요약해줘" 했다가 못 본다는 답을 받아 본 분이 많을 거예요.
그래서 클로드는 영상을 못 읽는 줄 아는 분도 있고, 반대로 "영상 보는 스킬"이라는 소개를 보고 영상을 통째로 이해한다고 믿는 분도 있어요.
결론부터 말하면 둘 다 반만 맞습니다. 영상 분석 스킬은 영상을 글자와 사진으로 바꿔서 읽는 도구예요. 쓸 수는 있는데, 어디까지 보는지 알고 써야 합니다.
클로드가 받는 입력은 글자와 이미지입니다. 공식 이미지 문서가 안내하는 형식도 JPEG, PNG, GIF, WebP 네 가지고, GIF처럼 움직이는 파일도 첫 장면 하나만 쓴다고 적혀 있어요. 영상 파일을 그대로 넣는 방법은 이 문서에 안내되어 있지 않아요.
그런데 Claude Code 같은 코딩 도구는 내 컴퓨터에서 프로그램을 돌릴 수 있어요. 그래서 영상을 글자와 사진으로 쪼개는 일을 앞에서 대신 하게 하면, 그 결과물을 읽을 수 있습니다.
웹 채팅이 못 읽는 건 머리가 나빠서가 아니라, 그 쪼개는 도구를 돌릴 환경이 없어서예요.
요즘 소개글이 많이 도는 영상 읽기 스킬 중에 claude-video(/watch)가 있어요. 설명서를 열어 보면 하는 일이 단순합니다.
영상에 자막이 있으면 자막을 먼저 가져옵니다. 설명서 표현으로는 "Native captions come first"예요.
필요하면 ffmpeg로 장면을 캡처해서 시각이 붙은 사진으로 만듭니다.
자막이 없으면 음성 인식(Whisper)으로 말소리를 글자로 바꿉니다.
거의 같은 캡처는 16×16 크기로 줄여 비교해서 걸러 냅니다.
그러니까 클로드가 읽는 건 "자막 텍스트 한 덩어리와 사진 몇십 장"이에요. 영상이 아니라 영상의 흔적입니다.
저도 비슷한 스킬을 만들어 시험해 봤는데, 자막이 있는 유튜브 영상은 영상 파일을 내려받지도 않고 자막 글자만 읽었어요. 말하는 영상이면 이것만으로 충분한 경우가 많습니다.
그러면 영상을 직접 받는 모델은 다르냐는 질문이 나옵니다. 구글 Gemini의 공식 영상 문서를 보면 기본 방식은 초당 1프레임을 뽑아서 보는 거예요. 소리는 따로 처리하고요.
문서도 한계를 적어 둡니다. 1초에 한 장이라서 빠른 동작은 세부가 사라질 수 있다고 해요.
즉 영상 입력을 공식 지원하는 모델도 사람이 영상을 보는 방식과는 다릅니다. "통째로 이해한다"는 소개는 어느 쪽이든 과장이에요.
claude-video 설명서에도 같은 취지의 경고가 있어요. 장면 전환 기준으로 뽑은 캡처는 중요한 사건을 전부 잡지 못한다고 직접 적어 놓았습니다.
이 방식이 구조상 약한 지점은 세 가지예요.
찰나에 지나가는 장면. 캡처와 캡처 사이에 있던 일은 없는 일이 됩니다.
말투와 분위기. 농담인지 진담인지, 목소리가 떨렸는지는 글자에 남지 않아요.
자막이 틀린 부분. 자동자막은 사람 이름과 숫자를 자주 틀립니다.
자막이 없을 때 쓰는 음성 인식도 마찬가지예요. 설명서에는 작은 모델이 힌트 없이 영어가 아닌 말을 잘못 알아들을 수 있다는 주의가 있습니다.
그래서 숫자나 고유명사는 영상에서 한 번 더 확인하는 편이 안전해요. 스킬이 읽어 준 내용을 그대로 기사나 보고서에 옮기면 틀린 이름이 그대로 퍼집니다.
영상 스킬을 쓸지 말지는 질문 하나로 가려져요. 내가 알고 싶은 게 "말한 내용"이냐 "화면에 나온 것"이냐입니다.
말한 내용이 핵심(강연, 인터뷰, 시황 방송): 자막만으로 충분해요. 캡처는 거의 필요 없고 시간도 훨씬 적게 듭니다.
화면이 핵심(자료화면, 차트, 시연): 캡처가 필요해요. 그것도 구간을 좁혀서 뽑아야 정확합니다. 한 시간짜리를 백 장으로 훑으면 36초에 한 장꼴이에요.
소리와 분위기가 핵심(음악, 연기, 예능의 타이밍): 이 방식으로는 못 읽는다고 보는 게 맞아요.
그리고 "영상 하나를 통째로 이해하는 스킬"이라는 설명을 팔고 있다면 한 번 의심해 보세요. 실제로 하는 일은 자막, 캡처, 음성 인식 세 가지를 묶는 것이고, 이건 무료 도구로도 만들 수 있습니다.
쓰지 말라는 얘기는 아니에요. 어디까지 읽는 도구인지 알고 쓰면 아주 쓸 만하고, 모르고 쓰면 읽지도 않은 장면을 읽은 것처럼 말하는 결과를 그대로 믿게 됩니다.
Anthropic, Claude Vision 문서 (지원 형식, 이미지 한계): https://platform.claude.com/docs/en/build-with-claude/vision
Google, Gemini API 영상 이해 문서 (초당 1프레임 샘플링, 빠른 동작 한계): https://ai.google.dev/gemini-api/docs/video-understanding
bradautomates, claude-video 설명서 (자막 우선, 장면 캡처의 한계): https://github.com/bradautomates/claude-video
note, ai_driven 「/watch(claude-video)」 소개글: https://note.com/ai_driven/n/n312974778e35