– 영상에 맞는 음향 자동 생성 AI 시스템 ‘Video to Foley’ 개발
– 국내외 AI 영화제 다수 수상, 커머셜 AI 광고 최다 실증 보유 등 등 성과 입증
– AI로 K-콘텐츠의 새 지평 개척
– AI 영상 제작에 이어 AI 플랫폼 전문 기업으로 성장 모색
‘영화를 만들 때 가장 중요한 창의적인 작업에 집중하고, 반복적이고 소모적인 작업은 줄일 수 없을까?’
영화 제작 일을 하던 권한슬 대표와 구도형 부대표는 이러한 문제의식을 가지고 2023년 스튜디오프리윌루전을 공동창업했다. 위대한 것은 자유로운 망상으로부터 탄생한다는 모토를 기반으로 Freewill(자유의지)와 illusion(망상)이라는 단어를 담아 사명을 정했다.
“우리의 비전은 AI 기술로 창작자들을 단순 반복적인 작업으로부터 해방시키고, 창의성에 집중할 수 있게 하는 것입니다. 이를 통해 전 세계 미디어 산업의 새로운 패러다임을 열어가고자 합니다.”
서울AI허브에서 만난 권한슬 대표와 구도형 부대표는 한목소리로 이렇게 얘기했다. 권 대표와 구 부대표는 중앙대학교 영화학과 출신으로 대학 시절부터 단편영화를 함께 제작해왔다. 헐리우드가 이미 AI를 활용한 CG 작업을 도입하기 시작했고 최근에는 제임스 카메론 감독이 이미지 생성 AI 기업인 스테이빌리티AI의 이사회에 합류하며 화제가 되었다. 이러한 패러다임의 변화를 미리 감지한 권 대표와 구 부대표는 AI를 통한 K-콘텐츠 시장의 글로벌 경쟁력 확보 필요성을 느껴 창업을 결심했다.
영상뿐만 아니라 음향 생성도 자동으로
스튜디오프리윌루전의 대표적인 기술은 ‘Video to Foley’ 시스템이다. 영상 제작에서 음향 작업은 필수다. ‘Video to Foley’는 영상 속 움직임을 AI가 자동으로 분석해 적절한 음향 효과를 생성하는 기술이다. 예를 들어, 생성형 AI로 걷는 장면을 만들었다면, 해당 장면에 맞게 신발, 바닥 재질에 맞는 음향을 걷는 타이밍에 맞춰 자동으로 생성한다. 이 행동 감지 및 탐지 알고리즘 모델은 현재 프로토타입까지 개발을 완료했으며, 국내 특허 2건 등록을 완료했으며 해외 PCT 출원을 진행 중이다.
스튜디오프리윌루전은 AI 오픈소스를 활용해 적은 양의 데이터로도 원하는 영역의 콘텐츠를 생성할 수 있는 파인튜닝 기술을 보유하고 있다. 권 대표는 “의상 교체나 배우의 표정 연기와 같은 세부적인 작업도 오픈소스 기술을 체계적으로 활용해 전문적이고 효율적인 제작 공정을 구축했다”며 “현재 많은 AI 프로덕션 업체들이 우리의 방식을 벤치마킹하고 있다”고 설명했다.
AI 세상에서의 K콘텐츠 왜곡을 바로잡다
스튜디오프리윌루전은 한국형 AI 콘텐츠 제작을 위한 기술개발도 진행 중이다. 현재 생성형 AI 서비스들의 가장 큰 문제점은 한국적인 요소를 제대로 생성하지 못한다는 점이다. 권 대표는 “프롬프트에 ‘세종대왕’을 입력하면 만주 사람이 생성되고, ‘한복’을 입력하면 중국 의상이 나온다. 한국 문화가 AI에서 왜곡되고 있으며, 정부도 이 문제를 인식하고 있다. 이런 문제를 해결하기 위해서는 표상 문제를 해결해야 한다”고 지적하면서 “스튜디오프리윌루전은 기존의 군집화된 표상 문제를 이번에 선정된 딥테크팁스를 통해 해결하고자 한다”라고 설명했다. 권 대표는 이러한 기술 개발의 의미를 한국 영화 산업과 국가적 차원에서 강조했다.
“AI의 한국적 이미지 왜곡현상은 단순히 산업적인 문제만은 아닙니다. 국가적 차원의 접근이 필요한 이유가 있습니다. 이대로 방치하면 예를 들어, ‘독도’를 입력하면 독도가 잘 생성되지 않지만 ‘다케시마’로 입력하면 독도가 더 잘 생성되는 일이 생길 수 있습니다. 생성형 AI로 무엇이든 만들 수 있다는 것은 이론적인 이야기일 뿐입니다. 우리가 원하는 것을 왜곡없이 생성해야 합니다. 특히 한국적인 콘텐츠라면 더욱 중요합니다.”라고 한국적 콘텐츠 생성의 중요성에 대해 강조했다.
영화 산업은 다양한 시도와 실험을 하는 게 중요하다. 그러기 위해서는 영화 제작 비용이 낮아야 한다. AI 기술을 VFX에도입한다면 구현하고 싶은 영상에 대해 다양한 시도를 할 수 있고 그렇게 되면 영화 산업도 발전시킬 수 있다는 게 권 대표와 구 부대표의 설명이다.
스튜디오프리윌루전은 올해 과학기부장관상(대상)을 수상했고 최근 딥테크팁스에 선정되는 등 기술력을 인정받고 있다. 서울대 인공지능연구실 출신의 설한울 연구소장을 포함해 4명의 서울대 연구진으로 AI R&D팀을 구성했으며, 서울대학교 AI연구원장이자 컴퓨터공학과 교수인 장병탁 교수가 자무위원으로 참여하고 있으며 인공지능·딥러닝 분야의 세계적 권위자인 요슈아 벤지오 교수의 연구소 MILA와 연구협력 파트너쉽을 맺고 있다.
AI 영화 및 광고 시장 개척
스튜디오프리윌루전은 AI 기술을 활용해 다양한 성과를 내고 있다. 올해 2월에 개최된 제1회 두바이 국제AI영화제에서 AI 단편 영화 ‘One More Pumpkin’(200년 이상 장수한 한국의 노부부를 다룬 스릴러)으로 대상과 관객상을 수상했다. 500개가 넘는 출품작 중에서 이룬 성과이며, AI 필름이라는 새로운 장르를 개척했다는 평가받고 있다. 이 수상을 계기로 국내 영화제에서도 AI 영화 부문이 생기는 등 스튜디오프리윌루전의 행보 큰 영향을 미쳤다. 스튜디오프리윌루전은 대한민국 AI국제영화제 개막작과 부천국제판타스틱 영화제의 공식 AI 트레일러 제작 및 자문도 맡았다.
상업 광고 시장에도 의미 있는 진출을 했다. 올해 6월 제작한 현대자동차 CF(영원히 달리는 자동차)는 AI만으로 만든 최초의 스토리텔링이 있는 광고다. 권 대표는 “현대자동차 트럭의 경우 상용차 학습 데이터가 부족해 어려움이 있었지만, 트럭 이미지 데이터를 활용해 파인 튜닝하여 성공적으로 구현해 냈다. 이는 단순한 기술적 가능성을 넘어 상업 영역에서 실증했다는 데 큰 의미가 있다”고 상업 광고 시장 진출의 의미에 대해 설명했다.
이 외에도 ‘2024 대한민국 정부 박람회 공식 AI 애니메이션’을 비롯한 정부 광고와 현대제철, 한국마사회 등 여러 기업의 AI 광고를 제작하며 역량을 입증하고 있다. 특히 영화, 드라마, TVCF, 프리비즈(Pre-Visual) 컨셉 티저 등 하에엔드 퀄리티가 필요한 다양한 영상 제작에서 높은 활용성을 보여주고 있다.
AI 영화의 모든 것을 담는 플랫폼 구축
스튜디오프리윌루전은 AI 기술 개발과 활용을 넘어 플랫폼 사업으로도 영역을 확장하고 있다. 전 세계의 다양한 AI 도구들을 통합 제공하는 ‘AI-Kive’ 플랫폼을 개발해, AI 기업들에게는 콘텐츠 창작자들과의 연결을, 창작자들에게는 창작자에게 필요한 서비스를 매칭하고 있다. AI-Kive는 콘텐츠 창작자들의 실제 사용 사례와 노하우를 공유하는 커뮤니티로서의 기능도 가지고 있다.
권 대표는 “전 세계에 약 8천 개의 AI 서비스가 있지만, 대부분의 사람들은 10개도 알지 못한다. 이러한 다양한 AI 서비스들을 쉽게 찾고 활용할 수 있도록 아카이빙했다”고 AI-Kive 플랫폼에 대해 설명했다.
지난 10월 베타 서비스를 시작한 AI-Kive는 향후 자체 AI 생성 모델을 SaaS로 탑재한 구독 모델로 전환될 예정이며, AI 영화 전용 OTT 서비스로의 확장도 계획하고 있다.
구 부대표는 “이를 통해 한국이 AI 미디어 기술의 새로운 허브가 되는 것을 목표로 하고 있다. 우리는 국내 AI 콘텐츠 시장의 개척자로서 앞으로도 이 시장을 선도하고 싶다. 이를 위해서는 창작뿐만 아니라, 기술 개발, 플랫폼까지 갖춰야 한다. 그래야 정보도 모이고 사람도 모인다”라고 AI-Kive 플랫폼 구축의 의미에 대해서 강조했다.
스튜디오프리윌루전은 현재 시리즈A 투자 유치를 준비하며 글로벌 시장 진출을 위한 발판을 마련하고 있다. 특히 미국, 중동 시장에서 높은 관심을 받고 있으며, 여러 글로벌 미디어 기업들과 협력을 논의 중이다.
권 대표는 “AI 기술은 이제 시작입니다. 앞으로 2-3년이 이 시장의 주도권을 잡는 매우 중요한 시기가 될 것입니다. 우리는 한국의 우수한 미디어 제작 역량과 AI 기술을 결합해 이 시장을 선도해 나가고자 합니다. 궁극적으로는 AI 기술을 통해 모든 사람이 자신의 이야기를 쉽고 아름답게 표현할 수 있는 세상을 만들고 싶습니다”라고 포부를 밝혔다.
이 인터뷰는 벤처스퀘어 인터뷰 1000 프로젝트의 일환으로, 현 시대의 대한민국 스타트업 생태계 인물과 기업을 조명하여 기록으로 남기는 기사 시리즈의 일환입니다. 개별 인터뷰 요청은 이곳에서 설문을 남겨주시고 여러 건 의뢰는 유상으로 진행되므로 editor@venturesquare.net 으로 문의주시기 바랍니다.
Studio Free Willusion presents a new paradigm for AI filmmaking, from video to sound
– Development of 'Video to Foley', an AI system that automatically generates sound to match the video
– Proven achievements such as winning numerous awards at domestic and international AI film festivals and possessing the largest number of commercial AI advertisements
– Opening new horizons for K-content with AI
– Seeking growth as an AI platform specialist company following AI video production
'Can't we focus on the most important creative work when making a movie and reduce repetitive and exhausting work?'
With this problem in mind, CEO Kwon Han-seul and Vice President Koo Do-hyung, who were working in film production, co-founded Studio Freewill in 2023. Based on the motto that great things are born from free illusions, they set their mission by incorporating the words Freewill and illusion.
“Our vision is to use AI technology to free creators from simple, repetitive tasks and allow them to focus on creativity. Through this, we aim to open a new paradigm for the global media industry.”
CEO Kwon Han-seul and Vice President Koo Do-hyung, whom we met at Seoul AI Hub, spoke in unison. CEO Kwon and Vice President Koo graduated from Chung-Ang University’s Department of Film and have been producing short films together since their college days. Hollywood has already begun to introduce CG work utilizing AI, and recently, director James Cameron joined the board of directors of image-generating AI company Stability AI, which became a hot topic. CEO Kwon and Vice President Koo, who sensed this paradigm shift in advance, decided to start a business because they felt the need to secure global competitiveness in the K-content market through AI.
Not only video, but also sound is automatically generated.
Studio Free Willusion's representative technology is the 'Video to Foley' system. Sound work is essential in video production. 'Video to Foley' is a technology in which AI automatically analyzes the movements in the video and generates appropriate sound effects. For example, if a walking scene is created using generative AI, sounds that match the shoes and floor material in the scene are automatically generated according to the timing of walking. This behavior detection and detection algorithm model has currently been developed up to the prototype, and two domestic patents have been registered and overseas PCT applications are in progress.
Studio Free Willusion possesses fine-tuning technology that can create content in a desired area with a small amount of data by utilizing AI open source. CEO Kwon explained, “We have systematically utilized open source technology for detailed work such as costume changes and actors’ facial expressions to establish a professional and efficient production process,” and “Currently, many AI production companies are benchmarking our methods.”
Correcting K- content distortion in the AI world
Studio Free Willusion is also developing technology to produce Korean-style AI content. The biggest problem with current generative AI services is that they cannot properly generate Korean elements. CEO Kwon said, “If you input ‘Sejong the Great’ into the prompt, a Manchurian person is generated, and if you input ‘Hanbok,’ Chinese clothing appears. Korean culture is being distorted in AI, and the government is also aware of this problem. In order to solve this problem, the representation problem must be solved,” and explained, “Studio Free Willusion aims to solve the existing clustered representation problem through the Deep Tech Tips selected this time.” CEO Kwon emphasized the significance of this technology development on a national level and in the Korean film industry.
“The distortion of Korean images by AI is not simply an industrial problem. There is a reason why a national approach is necessary. If we leave it as is, for example, if you input ‘Dokdo,’ Dokdo will not be generated properly, but if you input ‘Takeshima,’ Dokdo will be generated better. It is only theoretical to say that generative AI can create anything. We need to create what we want without distortion. This is especially important when it comes to Korean content,” he said, emphasizing the importance of creating Korean content.
It is important for the film industry to make various attempts and experiments. In order to do so, the cost of film production must be low. If AI technology is introduced to VFX, various attempts can be made for the images that one wants to implement, and this can also develop the film industry, according to CEO Kwon and Vice CEO Koo.
Studio Freewillusion has been recognized for its technological prowess, winning the Minister of Science and Technology Award (Grand Prize) this year and recently being selected for Deep Tech Tips. It has formed an AI R&D team with four Seoul National University researchers, including Director Seol Han-ul, who is from the Seoul National University Artificial Intelligence Lab. Professor Jang Byeong-tak, the director of the Seoul National University AI Lab and a professor of computer engineering, is participating as an executive committee member, and has established a research cooperation partnership with MILA, the lab of Professor Yoshua Bengio, a world authority in the field of artificial intelligence and deep learning.
Pioneering AI Movie and Advertising Markets
Studio Free Willusion is achieving various results by utilizing AI technology. In February of this year, at the 1st Dubai International AI Film Festival, the AI short film 'One More Pumpkin' (a thriller about an elderly Korean couple who lived for over 200 years) won the Grand Prize and Audience Award. This achievement was made among over 500 entries, and it is evaluated as pioneering a new genre called AI film. This award had a great impact on Studio Free Willusion's future actions, such as the creation of AI film categories in domestic film festivals. Studio Free Willusion also produced and advised on the opening film of the Korea AI International Film Festival and the official AI trailer for the Bucheon International Fantastic Film Festival.
They have also made a meaningful foray into the commercial advertising market. The Hyundai Motor Company CF (Car that Runs Forever) produced in June of this year is the first advertisement with storytelling created solely with AI. CEO Kwon explained the significance of entering the commercial advertising market, saying, “In the case of Hyundai Motor Company trucks, there were difficulties due to a lack of commercial vehicle learning data, but we successfully implemented it by fine-tuning using truck image data. This is significant in that it goes beyond simple technical feasibility and has been proven in the commercial sector.”
In addition, it is proving its capabilities by producing government advertisements, including the '2024 Republic of Korea Government Expo Official AI Animation', and AI advertisements for various companies, including Hyundai Steel and Korea Racing Authority. In particular, it is showing high usability in various video productions that require low-end quality, such as movies, dramas, TVCFs, and pre-visual concept teasers.
Building a platform that contains everything about AI movies
Studio Free Willusion is expanding its business beyond AI technology development and utilization to platform business. It has developed the 'AI-Kive' platform that integrates various AI tools from around the world, connecting AI companies with content creators and matching creators with the services they need. AI-Kive also functions as a community that shares actual use cases and know-how of content creators.
“There are about 8,000 AI services around the world, but most people don’t even know about 10 of them. We’ve archived these various AI services so that they can be easily found and utilized,” said CEO Kwon, explaining the AI-Kive platform.
AI-Kive, which started its beta service last October, plans to transition to a subscription model that uses its own AI generation model as SaaS in the future, and is also planning to expand into an OTT service dedicated to AI movies.
Koo, the vice president, emphasized the significance of building the AI-Kive platform, saying, “Through this, we aim to make Korea a new hub for AI media technology. As a pioneer in the domestic AI content market, we want to continue to lead this market. To do this, we need to have not only creation, but also technology development and platforms. Only then can information and people gather.”
Studio Free Will is currently preparing to attract Series A investment and laying the groundwork for entering the global market. It is receiving particularly keen interest from the US and Middle Eastern markets, and is currently discussing collaboration with several global media companies.
CEO Kwon said, “AI technology is just beginning. The next two to three years will be a very important period for taking the lead in this market. We want to lead this market by combining Korea’s excellent media production capabilities with AI technology. Ultimately, we want to create a world where everyone can easily and beautifully express their stories through AI technology.”
This interview is part of the Venture Square Interview 1000 Project , a series of articles that document and highlight the people and companies in the current Korean startup ecosystem. For individual interview requests, please leave a survey here . Multiple requests will be processed for a fee, so please contact editor@venturesquare.net .
映像から音響まで、AI映画制作の新しいパラダイムを提示したスタジオフリーウィルジョン
– 映像に合わせた音響自動生成AIシステム「Video to Foley」開発
– 国内外AI映画祭多数受賞、コマーシャルAI広告最多実証保有などなど成果立証
– AIによるKコンテンツの新たな地平開拓
– AI映像制作に続き、AIプラットフォーム専門企業として成長を模索
「映画を作るとき、最も重要な創造的な仕事に焦点を当て、反復的で消費的な仕事を減らすことはできませんか？」
映画制作の仕事をしていたクォンシル代表と構図型副代表はこのような問題意識を持って2023年スタジオフリーウィルジョンを共同創業した。偉大なのは、自由な妄想から誕生するというモットーを基に、Freewill（自由意志）とillusion（妄想）という言葉を盛り込んで使命を決めた。
「私たちのビジョンは、AI技術によって創作者を単純な反復的な作業から解放し、創造性に集中できるようにすることです。これにより、世界中のメディア業界の新しいパラダイムを開いていきたいと思います。」
ソウルAIハブで出会ったクムスル代表と構図型副代表は一声でこう話した。クォン代表と旧副代表は中央大学映画学科出身で大学時代から短編映画を共に制作してきた。ハリウッドがすでにAIを活用したCG作業を導入し始め、最近ではジェームズキャメロン監督がイメージ生成AI企業であるステイビリティAIの理事会に合流して話題になった。このようなパラダイムの変化を予め感知したクォン代表と旧副代表は、AIを通じたKコンテンツ市場のグローバル競争力確保の必要性を感じ、創業を決心した。
映像だけでなく音響生成も自動的に
スタジオプリウィルジョンの代表的な技術は「Video to Foley」システムだ。映像制作では音響作業は必須だ。 「Video to Foley」は、映像の動きをAIが自動的に分析して適切な音響効果を生成する技術だ。例えば、生成型AIで歩くシーンを作成した場合は、そのシーンに合わせて靴、床材質に合った音響を歩くタイミングに合わせて自動的に生成する。この行動検知および検知アルゴリズムモデルは現在プロトタイプまで開発を完了し、国内特許2件登録を完了し、海外PCT出願を進行中だ。
スタジオプリウィルジョンはAIオープンソースを活用して少量のデータでも所望の領域のコンテンツを生成できるファインチューニング技術を保有している。クォン代表は「衣装交換や俳優の表情演技のような細部的な作業もオープンソース技術を体系的に活用して専門的かつ効率的な製作工程を構築した」とし「現在多くのAIプロダクションメーカーが私たちのやり方をベンチマークしている」と説明した。
AI世界でのKコンテンツの歪みを修正する
スタジオフリーウィルジョンは韓国型AIコンテンツ制作のための技術開発も進行中だ。現在、生成型AIサービスの最大の問題点は、韓国的な要素を正しく生成できないことだ。クォン代表は「プロンプトに「世宗大王」を入力すると満州人が生成され、「韓服」を入力すると中国の衣装が出る。韓国文化がAIで歪曲されており、政府もこの問題を認識している。このような問題を解決するためには表象問題を解決しなければならない」と指摘し、「スタジオプリウィルジョンは既存の群集化された表象問題を今回選ばれたディープテックチップスを通じて解決したい」と説明した。クォン代表はこのような技術開発の意味を韓国映画産業と国家レベルで強調した。
「AIの韓国的イメージ歪曲現象は、単に産業的な問題だけではありません。国家レベルのアプローチが必要な理由があります。このまま放置すると、例えば「独島」と入力すると独島がうまく生成されないが、「竹島」と入力すると独島がよりよく生成されることが生じることがある。生成型AIで何でも作れるというのは理論的な話だけです。私たちが望むものを歪めることなく生成する必要があります。特に韓国的なコンテンツならもっと重要です」と韓国的コンテンツ生成の重要性について強調した。
映画産業は様々な試みと実験をすることが重要だ。そのためには映画製作コストが低くなければならない。 AI技術をVFXにも入れれば実装したい映像に対して多様な試みができ、そうなれば映画産業も発展させることができるというのがクォン代表と旧副代表の説明だ。
スタジオフリーウィルジョンは今年科学寄附官賞（大賞）を受賞し、最近ディープテクチップスに選定されるなど技術力を認められている。ソウル大学人工知能研究室出身のソルハンウル研究所長を含め、4人のソウル大学研究陣でAI R&Dチームを構成し、ソウル大学AI研究院長であり、コンピュータ工学科教授のチャン・ビョンタク教授が自務委員として参加しており、人工知能・ディープラーニング分野の世界的権威であるヨシュア・ベンジオ教授の研究所MILAと研究協力パートナーシップを結んでいる。
AI映画・広告市場開拓
スタジオフリーウィルジョンはAI技術を活用して多様な成果を出している。今年2月に開催された第1回ドバイ国際AI映画祭でAI短編映画「One More Pumpkin」（200年以上長寿した韓国の老夫婦を手掛けたスリラー）で大賞と観客賞を受賞した。 500を超える出品作の中で成し遂げられた成果であり、AIフィルムという新しいジャンルを開拓したという評価を受けている。この受賞をきっかけに国内映画祭でもAI映画部門ができるなどスタジオフリーウィルジョンの歩み大きな影響を及ぼした。スタジオフリーウィルジョンは大韓民国AI国際映画祭開幕作と富川国際ファンタスティック映画祭の公式AIトレーラー制作および諮問も引き受けた。
商業広告市場にも意味のある進出をした。今年6月に製作した現代自動車CF(永遠に走る自動車)はAIだけで作った最初のストーリーテリングがある広告だ。クォン代表は「現代自動車トラックの場合、商用車の学習データが不足して難しさがあったが、トラックイメージデータを活用してファインチューニングして成功的に具現化した。これは、単なる技術的可能性を超えて商業領域で実証したという大きな意味がある」と商業広告市場進出の意味について説明した。
この他にも「2024 大韓民国政府博覧会公式AIアニメーション」をはじめとする政府広告と現代製鉄、韓国馬士会など様々な企業のAI広告を制作して力量を立証している。特に映画、ドラマ、TVCF、プリビズ(Pre-Visual)コンセプトティーザーなど、ハエエンドクオリティが必要な多様な映像制作で高い活用性を見せている。
AI映画のすべてを収容するプラットフォームを構築
スタジオフリーウィルジョンはAI技術開発と活用を超えてプラットフォーム事業にも領域を拡大している。世界中の様々なAIツールを統合提供する「AI-Kive」プラットフォームを開発し、AI企業にはコンテンツ創作者とのつながりを、創作者には創作者に必要なサービスをマッチングしている。 AI-Kiveはコンテンツ創作者の実際の使用事例とノウハウを共有するコミュニティとしての機能も持っている。
クォン代表は「全世界に約8千のAIサービスがあるが、ほとんどの人は10個も知らない。このようなさまざまなAIサービスを簡単に見つけて活用できるようにアーカイブした」とAI-Kiveプラットフォームについて説明した。
去る10月ベータサービスを開始したAI-Kiveは今後独自のAI生成モデルをSaaSで搭載した購読モデルに切り替える予定で、AI映画専用OTTサービスへの拡張も計画している。
旧副代表は「これを通じて韓国がAIメディア技術の新しいハブになることを目指している。私たちは国内AIコンテンツ市場のパイオニアとして今後もこの市場を先導したい。このためには創作だけでなく、技術開発、プラットフォームまで備えなければならない。それで情報も集まって人も集まる」とAI-Kiveプラットフォーム構築の意味について強調した。
スタジオフリーウィルジョンは現在、シリーズA投資誘致を準備し、グローバル市場進出のための足場を設けている。特に米国、中東市場で高い関心を受けており、複数のグローバルメディア企業と協力を議論中だ。
クォン代表は「AI技術は今始まりです。今後2-3年がこの市場の主導権を握る非常に重要な時期になります。私たちは韓国の優れたメディア制作能力とAI技術を組み合わせてこの市場をリードしていきたいと思います。最終的にはAI技術を通じて、誰もが自分の話を簡単かつ美しく表現できる世界を作りたいと思います」と抱負を明らかにした。
このインタビューはベンチャースクエアインタビュー1000プロジェクトの一環で、現時代の大韓民国スタートアップ生態系人物と企業を照明して記録として残す記事シリーズの一環です。個々のインタビューのリクエストはこちらからアンケートを残してくださり、複数件の依頼は有償で行われますので、 editor@venturesquare.netまでお問い合わせください。
从视频到声音，Studio Freewillusion 呈现了人工智能电影制作的新范例。
– 开发“Video to Foley”，这是一种自动生成适合视频的声音的人工智能系统
– 取得了多项成果，例如在国内外AI电影节上多次获奖、拥有最多的商业AI广告
– 通过人工智能开拓韩国内容的新视野
– 继AI视频制作之后，我们力求成长为AI平台专业公司。
“拍电影的时候，难道不能专注于最重要的创意工作，减少重复和浪费的工作吗？”
意识到这一问题后，首席执行官权瑟 (Kwon Seul) 和从事电影制作的副总裁具道亨 (Koo Do-hung) 于 2023 年共同创立了 Studio Free Willusion。基于伟大的事物诞生于自由妄想的座右铭，我们决定了一个包含自由意志和幻觉这两个词的使命。
“我们的愿景是利用人工智能技术将创作者从重复性的工作中解放出来，让他们专注于创造力。通过这一点，我们希望在全球媒体行业开启一个新的范式。”
在首尔人工智能中心会面的代表权权瑟和副社长具道亨异口同声地说道。权社长和具副社长毕业于中央大学电影系，从大学时代起就一起制作短片。好莱坞已经开始引入人工智能的CG作品，导演詹姆斯·卡梅隆最近加入图像创作人工智能公司Stability AI的董事会也成为热门话题。首席执行官 Kwon 和副总裁 Koo 提前意识到了这种范式转变，因为他们认为有必要通过人工智能确保韩国内容市场的全球竞争力，因此决定创业。
不仅自动生成视频，还自动生成声音
Studio Free Willusion 的代表性技术是“Video to Foley”系统。声音工作在视频制作中至关重要。 “Video to Foley”是一项人工智能自动分析视频中的动作并创建适当音效的技术。例如，如果您使用生成式 AI 创建步行场景，则会根据步行的时间自动生成与场景的鞋子和地板材质相匹配的声音。该行为检测检测算法模型现已开发出雏形，注册了两项国内专利，正在提交海外PCT申请。
Studio Free Willusion拥有微调技术，可以利用AI开源，用少量数据在所需区域创建内容。 CEO Kwon 表示：“我们通过系统地使用开源技术来完成诸如更换服装和演员面部表情等详细任务，建立了专业高效的制作流程。”他补充道，“许多人工智能制作公司目前正在对我们的方法进行基准测试。” ”他解释道。
纠正AI世界中的K内容失真
Studio Free Willusion 也在开发制作韩式人工智能内容的技术。当前生成式人工智能服务的最大问题是它们不能正确生成韩国元素。 Kwon首席执行官表示：“如果在提示中输入‘世宗大王’，则会创建一个满族人，如果输入‘韩服’，则会出现中国服装。韩国文化正在被人工智能扭曲，政府也意识到了这个问题。 “为了解决这个问题，我们需要解决表征问题，”他指出，并补充道，“Studio Free Willusion 试图通过最近选定的 Deep Tech Tips 来解决现有的集群表征问题。”权代表强调了这些技术发展对韩国电影业和国家层面的意义。
“人工智能对韩国形象的扭曲不仅仅是一个工业问题。需要采取全国性措施是有原因的。如果你这样保留，例如，如果你输入“独岛”，独岛可能不会很好地创建，但如果你输入“竹岛”，独岛可能会更容易创建。能够利用生成式人工智能创造任何东西只是理论上的。我们必须不扭曲地创造我们想要的东西。 “如果是韩国内容，这一点尤其重要，”他说，并强调了创建韩国内容的重要性。
在电影行业，尝试和尝试各种事情很重要。为了实现这一目标，电影制作成本必须较低。 CEO Kwon和副总裁Koo解释说，如果将AI技术引入VFX，可以对想要实现的图像进行各种尝试，这样电影行业也可以发展。
Studio Free Willusion 今年获得了科学技术部长奖（特等奖），并因其技术实力而得到认可，包括最近被 Deep Tech Tips 选中。该AI研发团队由首尔国立大学的四名研究人员组成，其中包括首尔国立大学人工智能实验室毕业生Seol Han-ul主任、首尔国立大学AI研究中心主任、韩国国立大学教授Bying-Tak Jang教授。计算机工程，作为顾问委员会成员参加，并且是人工智能和深度学习领域的顾问委员会成员，我们与世界知名的Joshua Bengio教授的研究机构MILA有研究合作伙伴关系。权威。
开拓AI电影及广告市场
Studio Free Willusion 正在利用人工智能技术取得各种成果。在今年2月举办的第一届迪拜国际人工智能电影节上，人工智能短片《又一个南瓜》（一部关于一对活了200多岁的韩国老年夫妇的惊悚片）获得了大奖和观众奖。这是从 500 多个参赛作品中脱颖而出的一项成就，被评价为人工智能电影这一新类型的开创者。这个奖项对Studio Free Willusion的行动产生了很大的影响，包括在国内电影节上开设了AI电影单元。 Studio Free Willusion 还制作了韩国人工智能国际电影节的开幕影片和富川国际奇幻电影节的官方人工智能预告片并提供咨询。
它还在商业广告市场取得了重大进展。现代汽车公司今年6月制作的CF（The Car That Runs Forever）是首个完全由人工智能创作的讲故事广告。 Kwon首席执行官表示：“就现代汽车公司的卡车而言，由于缺乏商用车学习数据而遇到了困难，但我们通过使用卡车图像数据进行微调，成功实现了这一目标。 “这意义重大，因为它超越了简单的技术可行性，已经在商业领域得到了论证。”他这样解释进入商业广告市场的意义。
此外，它还通过制作“2024年韩国政府博览会官方AI动画”等政府广告以及为现代钢铁和韩国赛马管理局等多家公司制作AI广告来证明其能力。特别是，它在电影、电视剧、电视广告和预览概念预告片等需要低端质量的各种视频制作中表现出高可用性。
打造一个包含AI电影一切的平台
Studio Free Willusion 正在将业务范围从人工智能技术的开发和使用扩展到平台业务。通过开发集成了世界各地各种人工智能工具的“AI-Kive”平台，我们将人工智能公司与内容创作者联系起来，并将创作者与他们所需的服务匹配起来。 AI-Kive 还充当内容创建者分享实际用例和专业知识的社区。
CEO Kwon 表示：“全球约有 8000 种人工智能服务，但大多数人甚至不知道其中 10 种。 “我们已经对这些不同的人工智能服务进行了归档，以便可以轻松地找到和使用它们，”他在谈到 AI-Kive 平台时说道。
去年10月推出测试版服务的AI-Kive未来计划转型为订阅模式，以SaaS形式拥有自己的AI创作模式，还计划扩展到专门针对AI电影的OTT服务。
具副社长表示：“我们的目标是通过这一举措使韩国成为人工智能媒体技术的新中心。作为国内人工智能内容市场的先行者，我们希望继续引领这个市场。要做到这一点，不仅需要创造，还需要开发技术、拥有平台。 “只有这样，信息和人员才会聚集。”他强调了建立AI-Kive平台的意义。
Studio Free Willusion目前正在准备吸引A轮投资，为进军全球市场奠定基础。尤其在美国和中东市场备受关注，并正在与多家全球媒体公司洽谈合作。
CEO Kwon 表示：“人工智能技术才刚刚开始。未来2-3年将是主导这个市场的非常重要的时期。我们的目标是通过将韩国出色的媒体制作能力与人工智能技术相结合来引领这个市场。 “最终，我想创造一个每个人都可以通过人工智能技术轻松、美丽地表达自己故事的世界，”他说。
本次采访是Venture Square Interview 1000 Project的一部分，该项目是一系列文章，重点介绍并记录了当前韩国创业生态系统中的人员和公司。要请求单独采访，请在此处留下调查问卷。多次请求将被处理，需要付费，因此请联系editor@venturesquare.net 。
De la vidéo au son, Studio Freewillusion présente un nouveau paradigme dans la production de films IA.
– Développement de « Video to Foley », un système d’IA qui génère automatiquement un son adapté à la vidéo
– Réalisations avérées, notamment avoir remporté de nombreux prix lors de festivals de films nationaux et internationaux sur l'IA et avoir le plus grand nombre de dossiers empiriques pour la publicité commerciale sur l'IA
– Ouvrir de nouveaux horizons en matière de contenu K avec l’IA
– Suite à la production vidéo IA, nous cherchons à devenir une entreprise spécialisée dans les plateformes IA.
« Lors de la réalisation d'un film, ne pouvons-nous pas nous concentrer sur le travail créatif le plus important et réduire le travail répétitif et inutile ? »
Conscients de ce problème, le PDG Kwon Seul et le vice-président Koo Do-hyeong, qui ont travaillé dans la production cinématographique, ont cofondé Studio Free Willusion en 2023. Partant de la devise selon laquelle les grandes choses naissent de l’illusion libre, nous avons décidé d’une mission qui comprenait les mots libre arbitre et illusion.
« Notre vision est d'utiliser la technologie de l'IA pour libérer les créateurs des tâches répétitives et leur permettre de se concentrer sur leur créativité. Grâce à cela, nous espérons ouvrir un nouveau paradigme dans l’industrie mondiale des médias.
Le PDG Kwon Kwon-seul et le vice-président Koo Do-hyung, qui se sont rencontrés au Séoul AI Hub, l'ont dit d'une seule voix. Le PDG Kwon et le vice-président Koo sont diplômés du département de cinéma de l'université de Chung-Ang et produisent ensemble des courts métrages depuis leurs études. Hollywood a déjà commencé à introduire le travail de synthèse utilisant l'IA, et le réalisateur James Cameron est récemment devenu un sujet brûlant en rejoignant le conseil d'administration de Stability AI, une société d'IA de création d'images. Le PDG Kwon et le vice-président Koo, qui ont senti ce changement de paradigme à l'avance, ont décidé de créer une entreprise car ils ressentaient le besoin d'assurer la compétitivité mondiale sur le marché du contenu K grâce à l'IA.
Génère automatiquement non seulement de la vidéo mais aussi du son
La technologie représentative de Studio Free Willusion est le système « Video to Foley ». Le travail sonore est essentiel dans la production vidéo. « Video to Foley » est une technologie dans laquelle l'IA analyse automatiquement le mouvement dans une vidéo et crée des effets sonores appropriés. Par exemple, si vous créez une scène de marche avec une IA générative, les sons correspondant aux chaussures et au matériau du sol de la scène sont automatiquement générés en fonction du moment de la marche. Ce modèle d'algorithme de détection et de détection du comportement a maintenant été développé en un prototype, a déposé deux brevets nationaux et est en train de déposer une demande PCT à l'étranger.
Studio Free Willusion dispose d'une technologie de réglage fin qui peut créer du contenu dans la zone souhaitée avec une petite quantité de données à l'aide de l'IA open source. Le PDG Kwon a déclaré : « Nous avons établi un processus de production professionnel et efficace en utilisant systématiquement la technologie open source pour des tâches détaillées telles que le changement de costumes et l'action sur les expressions faciales des acteurs. » Il a ajouté : « De nombreuses sociétés de production d'IA évaluent actuellement notre méthode. » Il a expliqué.
Correction de la distorsion du contenu K dans le monde de l'IA
Studio Free Willusion développe également une technologie pour produire du contenu IA de style coréen. Le plus gros problème des services d’IA générative actuels est qu’ils ne génèrent pas correctement les éléments coréens. Le PDG Kwon a déclaré : « Si vous saisissez « Roi Sejong le Grand » dans l'invite, une personne mandchoue sera créée, et si vous saisissez « Hanbok », un costume chinois apparaîtra. La culture coréenne est déformée par l’IA, et le gouvernement est conscient de ce problème. "Pour résoudre ce problème, nous devons résoudre le problème de représentation", a-t-il souligné, ajoutant : "Studio Free Willusion cherche à résoudre le problème de représentation groupée existant grâce aux Deep Tech Tips récemment sélectionnés." Le représentant Kwon a souligné l'importance de ces développements technologiques pour l'industrie cinématographique coréenne et au niveau national.
« La distorsion de l’image de la Corée par l’IA n’est pas seulement un problème industriel. Il y a des raisons pour lesquelles une approche nationale est nécessaire. Si vous le laissez ainsi, par exemple, si vous entrez « Dokdo », Dokdo peut ne pas être créé correctement, mais si vous entrez « Takeshima », Dokdo peut être créé plus facilement. Être capable de créer n’importe quoi avec l’IA générative n’est que théorique. Nous devons créer ce que nous voulons sans distorsion. "C'est particulièrement important s'il s'agit de contenu coréen", a-t-il déclaré, soulignant l'importance de créer du contenu coréen.
Dans l’industrie cinématographique, il est important d’essayer et d’expérimenter diverses choses. Pour y parvenir, les coûts de production cinématographique doivent être faibles. Le PDG Kwon et le vice-président Koo ont expliqué que si la technologie de l'IA est introduite dans les effets visuels, diverses tentatives peuvent être faites sur les images que l'on souhaite mettre en œuvre et, ce faisant, l'industrie cinématographique peut également se développer.
Studio Free Willusion a remporté le Prix du Ministre de la Science et de la Technologie (Grand Prix) cette année et a été reconnu pour sa technologie, notamment en étant récemment sélectionné par Deep Tech Tips. L'équipe de R&D en IA a été formée avec quatre chercheurs de l'Université nationale de Séoul, dont le directeur Seol Han-ul, diplômé du laboratoire d'intelligence artificielle de l'université nationale de Séoul, le professeur Byeong-Tak Jang, directeur du centre de recherche en IA de l'université nationale de Séoul et professeur de technologie. génie informatique, participe en tant que membre du comité consultatif et est membre du comité consultatif dans le domaine de l'intelligence artificielle et de l'apprentissage profond. Nous avons un partenariat de coopération de recherche avec MILA, l'institut de recherche du professeur Joshua Bengio, un monde. autorité.
Marché pionnier du cinéma et de la publicité basé sur l’IA
Studio Free Willusion obtient divers résultats en utilisant la technologie de l'IA. Lors du 1er Festival international du film sur l'IA de Dubaï, qui s'est tenu en février de cette année, le court métrage sur l'IA « One More Pumpkin » (un thriller sur un couple coréen âgé qui a vécu plus de 200 ans) a remporté le grand prix et le prix du public. Il s’agit d’un exploit réalisé parmi plus de 500 candidatures et est considéré comme pionnier d’un nouveau genre appelé film IA. Ce prix a eu un impact significatif sur les actions du Studio Free Willusion, notamment la création d'une section de films sur l'IA dans les festivals de films nationaux. Studio Free Willusion a également produit et conseillé sur le film d'ouverture du Festival international du film coréen sur l'IA et sur la bande-annonce officielle sur l'IA du Festival international du film fantastique de Bucheon.
Elle a également fait une percée significative sur le marché de la publicité commerciale. CF (The Car That Runs Forever) de Hyundai Motor Company, produit en juin de cette année, est la première publicité narrative créée uniquement avec l'IA. Le PDG Kwon a déclaré : « Dans le cas des camions de Hyundai Motor Company, il y a eu des difficultés en raison du manque de données d'apprentissage des véhicules commerciaux, mais nous avons réussi à les mettre en œuvre en les affinant à l'aide des données d'image des camions. "C'est important dans la mesure où cela va au-delà de la simple faisabilité technique et a été démontré dans le domaine commercial", a-t-il expliqué à propos de l'importance d'entrer sur le marché de la publicité commerciale.
En outre, l'entreprise prouve ses capacités en produisant des publicités gouvernementales, notamment « 2024 Korea Government Expo Official AI Animation » et des publicités IA pour diverses entreprises telles que Hyundai Steel et la Korea Racing Authority. En particulier, il présente une grande facilité d'utilisation dans diverses productions vidéo qui nécessitent une qualité bas de gamme, telles que les films, les séries dramatiques, les TV CF et les teasers de concepts pré-visuels.
Construire une plate-forme contenant tout sur les films d'IA
Studio Free Willusion s'étend au-delà du développement et de l'utilisation de la technologie de l'IA pour inclure les activités de plateforme. En développant la plateforme « AI-Kive » qui intègre divers outils d'IA du monde entier, nous connectons les entreprises d'IA aux créateurs de contenu et mettons les créateurs en relation avec les services dont ils ont besoin. AI-Kive fonctionne également comme une communauté où les créateurs de contenu partagent des cas d'utilisation réels et leur savoir-faire.
Le PDG Kwon a déclaré : « Il existe environ 8 000 services d’IA dans le monde, mais la plupart des gens n’en connaissent même pas 10. "Nous avons archivé ces différents services d'IA afin qu'ils puissent être facilement trouvés et utilisés", a-t-il expliqué à propos de la plateforme AI-Kive.
AI-Kive, qui a lancé son service bêta en octobre dernier, prévoit de passer à l'avenir à un modèle d'abonnement avec son propre modèle de création d'IA en tant que SaaS, et prévoit également de se développer vers un service OTT dédié aux films d'IA.
Le vice-président Koo a déclaré : « Grâce à cela, nous visons à faire de la Corée une nouvelle plaque tournante pour la technologie médiatique de l'IA. En tant que pionnier sur le marché national du contenu IA, nous souhaitons continuer à dominer ce marché. Pour y parvenir, il faut non seulement créer, mais aussi développer une technologie et disposer d’une plateforme. « Ce n’est qu’alors que les informations et les gens se rassembleront », a-t-il déclaré, soulignant l’importance de la construction de la plateforme AI-Kive.
Studio Free Willusion se prépare actuellement à attirer des investissements de série A et jette les bases de son entrée sur le marché mondial. Elle suscite notamment beaucoup d'attention sur les marchés des États-Unis et du Moyen-Orient et discute d'une coopération avec plusieurs sociétés médiatiques mondiales.
Le PDG Kwon a déclaré : « La technologie de l’IA ne fait que commencer. Les 2-3 prochaines années seront une période très importante pour dominer ce marché. Nous visons à devenir leader sur ce marché en combinant les capacités exceptionnelles de production médiatique de la Corée avec la technologie de l'IA. "En fin de compte, je veux créer un monde dans lequel chacun peut exprimer ses histoires facilement et magnifiquement grâce à la technologie de l'IA", a-t-il déclaré.
Cette interview fait partie du projet Venture Square Interview 1000 , une série d'articles qui mettent en lumière et documentent les personnes et les entreprises de l'écosystème actuel des startups coréennes. Pour demander un entretien individuel, veuillez laisser un questionnaire ici . Plusieurs demandes seront traitées moyennant des frais, veuillez donc contacter editor@venturesquare.net .
You must be logged in to post a comment.