While my guitar gently speaks — Todd Fisher, Philo Ventures

한 줄 핵심

AI와 오디오 기술을 결합해 기타가 말하고, 단어를 나누고, 결국 노래에 가까워지게 만드는 개인 프로젝트의 발전 과정을 보여주며, 지금은 아이디어를 직접 만들기에 가장 좋은 때라고 강조한다.

시간별 요약

1. 0:00
   기억에 남은 라이브 공연들 충격적이었던 공연 경험을 예로 들며, 기술과 창의성이 결합된 무대 연출이 사람에게 오래 남는다는 점을 출발점으로 삼는다. 이런 경험이 개인 프로젝트를 시작하고 끝까지 밀어붙이게 만드는 동력이며, AI 덕분에 예전보다 훨씬 쉽게 실험할 수 있는 시대라는 메시지를 전한다.
2. 2:44
   기타의 진화, 그리고 talk box까지 기타는 픽업과 앰프, 이펙트 페달, 그리고 Peter Frampton의 talk box처럼 여러 단계의 기술적 진화를 거치며 소리 표현의 범위를 넓혀 왔다. 최근에는 Pro Tools, Logic, Fruity Loops 같은 소프트웨어가 하드웨어 이펙트를 대체하는 흐름이 강해졌고, 다음 단계는 AI가 결합된 기타 경험이라는 문제의식으로 이어진다.
3. 4:24
   차고 문에 만든 할로윈 프로젝트 Halloween에 Eddie Munson처럼 분장하고, 기타를 치면 차고 문에 Stranger Things 알파벳 조명이 반응하도록 만드는 앱을 직접 구현했다. 단순한 재미에서 출발한 이 프로젝트는, 기타가 입력을 받아 시각적 메시지를 표현하는 다음 단계의 실험으로 자연스럽게 확장된다.
4. 6:06
   JUCE 플러그인으로 만들고, 한 단어를 말하게 하기 오디오 소프트웨어 개발용 프레임워크인 JUCE와 DAW 플러그인 구조를 이용해, 기타 음을 누를 때 미리 만든 텍스트를 음성으로 재생하는 플러그인을 만든다. 처음에는 전체 문장을 한 번에 재생하는 수준이었지만, 곧 단어 단위로 끊어 말하게 하는 방향으로 발전한다.
5. 7:50
   음성을 단어로 자르는 일, 그리고 왜 어려운지 단어 경계를 자동으로 나누기 위해 energy gap segmentation과 sonority peak syllabifier를 시도하지만, 실제 음성은 단어 사이가 항상 조용하지 않아 정확도가 떨어진다. 결국 완전 자동화보다 사람이 구간을 직접 조정하는 방식이 더 안정적이라는 결론에 도달하며, 이후에는 말하기를 넘어 노래하기로 목표가 옮겨간다.
6. 10:23
   YIN 알고리즘으로 피치 감지하기 기타 음에서 기본 주파수, 즉 피치를 찾아내기 위해 YIN pitch algorithm을 사용한다. 감지한 피치를 합성 음으로 바꾸고 ADSR로 음색을 조절한 뒤, 이를 보컬 공간처럼 다루어 vocoder에 넣으면 기타가 말하거나 노래하는 구조를 만들 수 있다.
7. 11:15
   합성, vocoder, 그리고 함께 연주해 보기 합성된 음성과 기타 반주를 겹쳐 실제로 연주해 보며, 오디오 파이프라인이 의도대로 동작하는지 확인한다. 다만 라이브 데모에서는 여러 기술적 문제가 드러나며, 현재 구현은 여전히 버그가 있지만 기본적인 말하기 효과는 구현된 상태다.
8. 13:28
   방 안의 질문에 대답하는 기타 마이크로 들어온 질문을 Whisper로 음성 인식하고, 로컬 LLM으로 답변을 만든 뒤 기타에 다시 실어 대화형 응답을 구현한다. 관객의 질문에 기타가 즉석에서 철학적 답변을 내놓는 장면을 통해, 이 프로젝트가 단순 재생 장치를 넘어 상호작용형 인터페이스로 확장될 수 있음을 보여준다.
9. 16:01
   피치 시프트한 샘플로 노래에 가까워지기 vocal set 같은 오픈소스 보컬 샘플과 World를 활용해 샘플의 피치를 바꾸고, 기타의 각 음에 맞춰 미리 계산된 샘플을 매핑한다. 연산이 무거워 실시간 처리는 어렵지만, 완성도는 아직 오페라 가수 수준이 아니어도 노래에 한 걸음 더 가까워졌다고 평가한다.
10. 17:51
    열정을 가진 프로젝트를 직접 시작하라 AI 시대에는 아이디어를 현실로 옮기는 비용과 시간이 크게 줄었으니, 각자 마음에 두고 있던 사이드 프로젝트나 열정 프로젝트를 직접 만들어 보라고 독려한다. 완성보다 시작과 지속이 중요하며, 지금이야말로 개인의 흥미를 실제 결과물로 바꾸기 가장 좋은 시기라는 메시지로 마무리한다.

실무 인사이트

• 초기에는 완전한 자동화보다 단순한 동작부터 만들고, 이후 단어 분리·피치 감지·보컬 합성처럼 난도를 단계적으로 올리는 방식이 현실적이다.
• 실시간 구현이 어려운 구간은 pre-bake처럼 사전 계산으로 우회하면, 데모와 창작 경험을 빠르게 검증할 수 있다.
• AI를 붙일 때도 핵심은 모델 자체보다 입력·출력 흐름과 오디오 처리 파이프라인을 어떻게 설계하느냐에 있다.