πŸ“Ί μ˜μƒ μš”μ•½ μ•„μΉ΄μ΄λΈŒ
← λͺ©λ‘

Your company brain will leak secrets: how we stopped it for big banks β€” Tanmai Gopal, PromptQL

AI Engineer Β· 2026-09-04 00:30 Β· 26:25

ν•œ 쀄 핡심

νšŒμ‚¬μš© AI 지식 κΈ°λ°˜μ€ 잘 λ§Œλ“€λ©΄ 업무λ₯Ό 크게 λ•μ§€λ§Œ, κΆŒν•œΒ·μ»¨ν…μŠ€νŠΈΒ·κΈ°λ‘ 방식이 λΆ„λ¦¬λ˜μ§€ μ•ŠμœΌλ©΄ λ‚΄λΆ€ 기밀을 μ‰½κ²Œ λ…ΈμΆœν•˜λ―€λ‘œ β€˜ν•œ μœ„ν‚€μ— λͺ¨μœΌλ˜ μ‚¬λžŒμ˜ 승인과 κΆŒν•œ μŠ€μ½”ν”„λ₯Ό κ°•μ œν•˜λŠ” ꡬ쑰’가 핡심이닀.

μ‹œκ°„λ³„ μš”μ•½

  1. 0:00
    νšŒμ‚¬ 지식은 μ™œ μƒˆκ³ , 배포λ₯Ό λ§‰λŠ” 것은 무엇인가 νšŒμ‚¬ λΈŒλ ˆμΈμ„ λ§Œλ“€λ©΄ λ‚΄λΆ€ 기밀이 μƒˆμ–΄ λ‚˜κ°ˆ 수 μžˆλ‹€λŠ” 두렀움이 κ°€μž₯ 큰 μž₯애물이닀. κ·Έλž˜μ„œ μ‹€μ œ λ„μž…μ€ 열망보닀 λ³΄μ•ˆκ³Ό ν†΅μ œ λ¬Έμ œμ—μ„œ λ§‰νžˆλ©°, 이 λ¬Έμ œκ°€ νšŒμ‚¬μš© AI ν™•μ‚°μ˜ 핡심 쟁점으둜 μ œμ‹œλœλ‹€.
  2. 1:06
    Hasura GraphQL μ—”μ§„μ—μ„œ PromptQLκΉŒμ§€ Hasura GraphQL engine을 λ§Œλ“€λ©° 데이터 μ ‘κ·Όκ³Ό λ³΄μ•ˆ 문제λ₯Ό λŒ€κ·œλͺ¨λ‘œ λ‹€λ€„μ˜¨ κ²½ν—˜μ΄ PromptQL의 좜발점이 λœλ‹€. κ·Έ κ²½ν—˜μ„ λ°”νƒ•μœΌλ‘œ νšŒμ‚¬ 지식과 데이터 λ³΄μ•ˆμ„ ν•¨κ»˜ λ‹€λ£¨λŠ” 접근을 μ§€λ‚œ 1λ…„κ°„ μ‹€ν—˜ν–ˆκ³ , κ·Έ ν•™μŠ΅μ„ κ³΅μœ ν•˜λ €λŠ” 흐름이 μž‘νžŒλ‹€.
  3. 2:03
    μŠ€νƒ€νŠΈμ—…λΆ€ν„° μ€ν–‰κΉŒμ§€, μ„Έ κ°€μ§€ 고객 μœ ν˜• 고객은 AI native νšŒμ‚¬, 기술 μˆ˜μš©λ„κ°€ 높은 선도 κΈ°μ—…, κ°•ν•œ λ³΄μ•ˆ 규제λ₯Ό κ°€μ§„ λŒ€ν˜• μ€ν–‰μœΌλ‘œ λ‚˜λ‰œλ‹€. 특히 은행은 μ—„κ²©ν•œ λ³΄μ•ˆ μš”κ΅¬ λ•Œλ¬Έμ— κ°€μž₯ κΉŒλ‹€λ‘­μ§€λ§Œ, λ™μ‹œμ— νšŒμ‚¬ λΈŒλ ˆμΈμ„ μ‹€μ œλ‘œ 써야 ν•˜λŠ” λŒ€ν‘œμ  ν™˜κ²½μœΌλ‘œ 닀뀄진닀.
  4. 3:14
    λΈŒλ ˆμΈμ„ λͺ¨λΈλ§ν•˜λŠ” 방식과 5,000개의 μ—°κ²°λœ νŽ˜μ΄μ§€ νšŒμ‚¬ λΈŒλ ˆμΈμ€ μœ„ν‚€, GitHub의 markdown 파일, knowledge graph λ“± λ‹€μ–‘ν•œ ν˜•νƒœλ‘œ ν‘œν˜„ν•  수 μžˆμ§€λ§Œ, 핡심은 μ•½ 5,000개의 μƒν˜Έ μ—°κ²°λœ νŽ˜μ΄μ§€λ‘œ 이루어진 곡유 지식 κ΅¬μ‘°λΌλŠ” 점이닀. μ€‘μš”ν•œ 것은 μ €μž₯ ν˜•μ‹λ³΄λ‹€ 이 지식듀이 μ–΄λ–»κ²Œ μ„œλ‘œ μ—°κ²°λ˜λŠ”κ°€μ΄λ‹€.
  5. 3:41
    κ±΄κ°•ν•œ μˆ˜μ • 곑선은 μ–΄λ–€ λͺ¨μŠ΅μΈκ°€ νšŒμ‚¬ 브레인이 잘 μž‘λ™ν•œλ‹€λ©΄ 맀일의 μ—…λ°μ΄νŠΈ μˆ˜κ°€ μ–΄λ–»κ²Œ λ³€ν•΄μ•Ό ν•˜λŠ”μ§€λ₯Ό λ¬»λŠ”λ‹€. λ‹¨μˆœνžˆ μ΄ˆκΈ°μ— κΈ‰μ¦ν–ˆλ‹€κ°€ λλ‚˜λŠ” 것이 μ•„λ‹ˆλΌ, μ‚¬μš©μ΄ μŒ“μ΄λ©΄μ„œ κΎΈμ€€νžˆ κ°œμ„ μ΄ κ³„μ†λ˜λŠ” νŒ¨ν„΄μ΄ κ±΄κ°•ν•œ 브레인의 μ‹ ν˜Έλ‘œ μ œμ‹œλœλ‹€.
  6. 5:16
    계속 μ˜¬λΌκ°€λŠ” μ„  μ‹€μ œ κ΄€μ°°μ—μ„œλŠ” ν•˜λ£¨ μˆ˜μ • μˆ˜κ°€ 점점 λŠ˜μ–΄λ‚˜λŠ” μ™„λ§Œν•œ μƒμŠΉ 곑선이 λ‚˜νƒ€λ‚¬λ‹€. μ‹œμŠ€ν…œμ΄ μœ μš©ν•΄μ§ˆμˆ˜λ‘ μ‚¬λžŒλ“€μ΄ 더 많이 κ°€λ₯΄μΉ˜κ³  더 λ§Žμ€ 지식을 μ–ΉκΈ° λ•Œλ¬Έμ—, κ±΄κ°•ν•œ λΈŒλ ˆμΈμ€ 크기뿐 μ•„λ‹ˆλΌ 일일 μ—…λ°μ΄νŠΈλŸ‰λ„ ν•¨κ»˜ 컀진닀.
  7. 6:37
    개인 νšŒμƒκ³Ό 곡유 μ—…λ¬΄λΌλŠ” 두 κ°€μ§€ μ‚¬μš© 사둀 νšŒμ‚¬ λΈŒλ ˆμΈμ€ 개인이 μ΄λ©”μΌμ΄λ‚˜ λ¬Έμ„œλ₯Ό μ²˜λ¦¬ν•  λ•Œ μ°Έμ‘°ν•˜λŠ” μš©λ„μ™€, μ—¬λŸ¬ μ‚¬λžŒμ΄ ν•¨κ»˜ μž‘μ—…ν•˜λŠ” 곡유 AI μš©λ„λ‘œ λ‚˜λ‰œλ‹€. λ‘˜ λ‹€ 맀우 μœ μš©ν•˜μ§€λ§Œ, λ‹€λ₯Έ μ‚¬λžŒμ˜ 지식을 κ°€μ Έμ˜€κ³  μ—¬λŸ¬ μ‚¬λžŒμ΄ 같은 μ‹œμŠ€ν…œμ„ μ“°κΈ° λ•Œλ¬Έμ— λ³΄μ•ˆ λ¬Έμ œκ°€ 본질적으둜 λ”°λΌλΆ™λŠ”λ‹€.
  8. 9:50
    λ§Œλ“€μ§€ 말고, ν‚€μ›ŒλΌ νšŒμ‚¬μ˜ 지식 μ²΄κ³„λŠ” μ€‘μ•™μ—μ„œ ν•œ λ²ˆμ— β€˜μ™„μ„±β€™ν•˜λŠ” ν”„λ‘œμ νŠΈκ°€ μ•„λ‹ˆλΌ, 각 업무 λ‹΄λ‹Ήμžκ°€ 자기 λͺ«μ„ 계속 λ³΄νƒœλ©° μ„±μž₯μ‹œμΌœμ•Ό ν•œλ‹€. λ”°λΌμ„œ νšŒμ‚¬ λΈŒλ ˆμΈμ€ κ΅¬μΆ•ν•˜λŠ” 것이 μ•„λ‹ˆλΌ μ„±μž₯μ‹œν‚€λŠ” 것이며, 쑰직 전체가 ν•¨κ»˜ ν˜•μ„±ν•΄μ•Ό ν•œλ‹€.
  9. 11:09
    λ³΄μ•ˆ μ§ˆλ¬Έμ„œλ₯Ό λκΉŒμ§€ μžλ™μœΌλ‘œ μ²˜λ¦¬ν•œ 사둀 μ΄λ©”μΌλ‘œ 받은 security questionnaireλ₯Ό νšŒμ‚¬ 브레인이 읽고, 과거의 λ³΄μ•ˆ 정보와 μ—°κ²°ν•΄ λ‹΅λ³€ μ΄ˆμ•ˆμ„ λ§Œλ“  λ’€ μ‹€μ œ λ°œμ†‘κΉŒμ§€ μ΄μ–΄μ§€λŠ” 흐름이 μ˜ˆμ‹œλ‘œ λ‚˜μ˜¨λ‹€. 이 μ‚¬λ‘€λŠ” ν•œ μ‚¬λžŒμ΄ λ§Œλ“  지식이 λ‹€λ₯Έ μ‚¬λžŒμ˜ 업무λ₯Ό λ°”λ‘œ λ•λŠ” μ „ν˜•μ μΈ νšŒμ‚¬ 브레인 ν™œμš©μ„ 보여쀀닀.
  10. 12:33
    μ™œ λˆ„κ΅¬λ„ GitHub에 곡유 μŠ€ν‚¬μ„ μ“°μ§€ μ•ŠλŠ”κ°€ 곡유 지식을 GitHub에 μˆ˜λ™μœΌλ‘œ λ‚¨κΈ°κ²Œ ν•˜λŠ” 방식은 ν˜„μ‹€μ μœΌλ‘œ 거의 μž‘λ™ν•˜μ§€ μ•ŠλŠ”λ‹€. μ‚¬λžŒλ“€μ€ 자기 업무도 겨우 μ •λ¦¬ν•˜λŠ”λ°, λͺ¨λ₯΄λŠ” νƒ€μΈμ˜ 미래 μ‚¬μš©μ„ μœ„ν•΄ 별도 λ¬Έμ„œλ₯Ό μž‘μ„±ν•˜λŠ” 데 μ‹œκ°„μ„ μ“°μ§€ μ•ŠκΈ° λ•Œλ¬Έμ΄λ‹€.
  11. 13:52
    νŒ€ λΈŒλ ˆμΈλ„ κ²°κ΅­ 또 ν•˜λ‚˜μ˜ μ‚¬μΌλ‘œλ‹€ μ†Œκ·œλͺ¨ νŒ€μ΄ ν•¨κ»˜ μ“°λŠ” AIκ°€ λ©”λͺ¨λ¦¬λ₯Ό μžλ™ μ €μž₯해도, κ·Έ λ²”μœ„κ°€ μ±„λ„μ΄λ‚˜ νŒ€ μ•ˆμ— 묢이면 κ²°κ΅­ 또 λ‹€λ₯Έ μ‚¬μΌλ‘œκ°€ λœλ‹€. νšŒμ‚¬ μ „μ²΄μ—μ„œ μž¬μ‚¬μš©λ˜μ§€ λͺ»ν•˜λ©΄, 규λͺ¨λ§Œ μž‘μ€ ν•˜λ‚˜μ˜ μšΈνƒ€λ¦¬μ— κ°‡νžŒ 지식 μ €μž₯μ†Œμ— κ·ΈμΉœλ‹€.
  12. 14:59
    ν•˜λ‚˜μ˜ μœ„ν‚€, λ²”μœ„κ°€ μ •ν•΄μ§„ 파일, 그리고 무음 μ“°κΈ° κΈˆμ§€ 해결책은 λͺ¨λ“  μ»¨ν…μŠ€νŠΈλ₯Ό ν•˜λ‚˜μ˜ 곡유 μœ„ν‚€μ— λͺ¨μœΌκ³ , 각 νŒŒμΌμ— 읽기·쓰기 μŠ€μ½”ν”„λ₯Ό λΆ€μ—¬ν•˜λŠ” 것이닀. 특히 μ—μ΄μ „νŠΈκ°€ λ‚΄μš©μ„ λͺ°λž˜ μžλ™ μΆ”κ°€ν•˜μ§€ λͺ»ν•˜κ²Œ ν•˜κ³ , λ³€κ²½ μ œμ•ˆλ§Œ λ§Œλ“€κ²Œ ν•œ λ’€ μ‚¬λžŒμ΄ μŠΉμΈν•˜λ„λ‘ ν•΄μ•Ό μ‹ λ’°μ„±κ³Ό ν†΅μ œκ°€ λ™μ‹œμ— ν™•λ³΄λœλ‹€.
  13. 18:45
    λͺ¨λ“  λ³€κ²½μ—λŠ” μΈκ°„μ˜ 이름이 λΆ™μ–΄μ•Ό ν•œλ‹€ μœ„ν‚€μ— λ“€μ–΄κ°„ 지식은 λ°˜λ“œμ‹œ νŠΉμ • μΈκ°„μ˜ μ΄λ¦„μœΌλ‘œ 좔적 κ°€λŠ₯ν•΄μ•Ό ν•˜λ©°, AI μ΄λ¦„λ§Œ λ‚¨λŠ” 기둝은 ν—ˆμš©λ˜μ§€ μ•ŠλŠ”λ‹€. κ·Έλž˜μ•Ό λˆ„κ°€ μ–΄λ–€ 정보 곡개λ₯Ό ν—ˆμš©ν–ˆλŠ”μ§€ μ±…μž„μ„ 묻고, ν•„μš”ν•˜λ©΄ κΆŒν•œ νšŒμˆ˜λ‚˜ κ°œμ„  쑰치λ₯Ό ν•  수 μžˆλ‹€.
  14. 20:06
    λ…ΌμŸ κ·Έ μžμ²΄κ°€ 지식이 λ˜λŠ” λ©€ν‹°ν”Œλ ˆμ΄μ–΄ 사둀 μ—¬λŸ¬ μ‚¬λžŒμ΄ 같은 문제λ₯Ό 두고 ν† λ‘ ν•˜κ³  λ°˜λ°•ν•˜λŠ” κ³Όμ •μ—μ„œ κ°€μž₯ 질 쒋은 지식이 λ§Œλ“€μ–΄μ§„λ‹€. λ‹¨μˆœν•œ 닡변보닀, μ™œ 이런 기술 결정을 ν–ˆλŠ”μ§€μ™€ 무엇이 잘λͺ»λλŠ”μ§€λ₯Ό ν•¨κ»˜ 남길 λ•Œ νšŒμ‚¬ 브레인이 μ‹€μ œλ‘œ κ°•ν•΄μ§„λ‹€.
  15. 23:17
    κΆŒν•œ μƒμŠΉκ³Ό μƒŒλ“œλ°•μŠ€ λ°–μ˜ 자격 증λͺ… 곡유 AIκ°€ 디버깅과 배포λ₯Ό λ™μ‹œμ— ν•  수 있으면 κΆŒν•œ μƒμŠΉ μœ„ν—˜μ΄ μ»€μ Έμ„œ, μƒŒλ“œλ°•μŠ€ μ•ˆμ— 자격 증λͺ…을 μ €μž₯ν•΄μ„œλŠ” μ•ˆ λœλ‹€. HTTPλ‚˜ SQL λ ˆμ΄μ–΄μ—μ„œ μ‚¬μš©μžμ˜ 자격 증λͺ…을 μ£Όμž…ν•΄ μ‹€μ œ μΈκ°„μ²˜λŸΌ λ™μž‘ν•˜κ²Œ ν•˜κ³ , 도ꡬ μ ‘κ·Ό κΆŒν•œλ„ μ‚¬μš©μž κΈ°μ€€μœΌλ‘œ ν†΅μ œν•΄μ•Ό ν•œλ‹€.

싀무 μΈμ‚¬μ΄νŠΈ

  • νšŒμ‚¬ λΈŒλ ˆμΈμ€ λ¬Έμ„œ μ €μž₯μ†Œκ°€ μ•„λ‹ˆλΌ κΆŒν•œμ΄ μ—°κ²°λœ 지식 운영체제둜 섀계해야 ν•˜λ©°, μžλ™ 기둝보닀 μ‚¬λžŒ 승인 흐름이 μš°μ„ μ΄λ‹€.
  • 검색·메λͺ¨λ¦¬Β·λ„ꡬ 싀행을 λΆ„λ¦¬ν•˜μ§€ μ•ŠμœΌλ©΄ κΈ°λ°€ 유좜과 κΆŒν•œ μƒμŠΉμ΄ μ‰½κ²Œ λ°œμƒν•˜λ―€λ‘œ, μ»¨ν…μŠ€νŠΈμ™€ μ‹€ν–‰ 계측을 ν•¨κ»˜ 섀계해야 ν•œλ‹€.
  • μ‹€λ¬΄μ—μ„œλŠ” μœ„ν‚€ 톡합, μŠ€μ½”ν”„ μ„€μ •, 인간 μ±…μž„μž λͺ…μ‹œλ§ŒμœΌλ‘œλ„ 곡유 AI의 λ„μž… κ°€λŠ₯성이 크게 μ˜¬λΌκ°„λ‹€.