文心ERNIE-ViLG是全球最大的跨模态生成模型，它生成图像清晰度高、速度快，针对中文输入和中国元素的理解能力非常强，发布以来吸引了众多开发者和AI绘画用户的关注。

   
     

               
      pip install pydub moviepy auditok wenxin-api    
     

   
     
    
      # 读取字幕与歌词意象    
      
times = list()    
      
words = list()    
      
prompts = list()    
      
with     
      open(    
      "PPDE.txt",     
      "r") as f:    
      
    lines = f.readlines()    
      
        
      for line in lines:    
      
            
      m,     
      s = line[:     
      4].    
      split(    
      ":")    
      
            
      time =     
      int(    
      m) *     
      60 +     
      int(    
      s)    
      
        word, prompt = line[    
      4: ].replace(    
      "\n",     
      "").    
      split(    
      "|")    
      
        times.append(    
      time)    
      
        words.append(word)    
      
        prompts.append(prompt)   
     

   
     
    
      import os    
      
    
      import time    
      
    
      import requests    
      
    
      
    
      import wenxin_api    
      
    
      from tqdm     
      import tqdm    
      
    
      from wenxin_api.tasks.text_to_image     
      import TextToImage    
      
    
      
    
      # 在此处填写自己想要的风格，建议在5字以内，不限于像素风、赛博朋克、二次元、未来主义、梵高、中国画等修饰词，可以在https://wenxin.baidu.com/moduleApi/ernieVilg查看支持的风格。    
      
STYLE =     
      "赛博朋克"    
      
    
      
wenxin_api.ak =     
      "请在https://wenxin.baidu.com/moduleApi/key 中申请AK与SK"    
      
wenxin_api.sk =     
      "请在https://wenxin.baidu.com/moduleApi/key 中申请AK与SK"    
      
    
      
file_dir =     
      "temp_img"    
      
os.makedirs(file_dir, exist_ok=    
      True)    
      
    
      
img_paths = dict()    
      
    
      for prompt_id     
      in tqdm(range(len(prompts))):    
      
text_prompt = prompts[prompt_id] +     
      '，' + STYLE    
      
    
      # 探索无限风格需要申请    
      
    input_dict = {    
      "text": text_prompt,     
      "style":     
      "探索无限",     
      "resolution":     
      "1024*1024"}    
      
        
      while     
      True:    
      
            
      try:    
      
            urls = TextToImage.create(**input_dict)[    
      'imgUrls']    
      
                
      for url_id, url     
      in enumerate(urls):    
      
                img = requests.get(url).content    
      
                path = os.path.join(file_dir,     
      f"{prompt_id}_{url_id}.jpg")    
      
                    
      with open(path,     
      'wb')     
      as f:    
      
                    f.write(img)    
      
                    
      if prompt_id     
      in img_paths:    
      
                    img_paths[prompt_id].append(path)    
      
                    
      else:    
      
                    img_paths[prompt_id] = [path]    
      
                
      break    
      
            
      except:    
      
            print(    
      "发生异常")    
      
            time.sleep(    
      1)   
     

   
     
    
      import cv2    
      
    
      
    
      from PIL     
      import ImageFont    
      
    
      from PIL     
      import Image    
      
    
      from PIL     
      import ImageDraw    
      
    
      from moviepy     
      import *    
      
    
      from moviepy.editor     
      import *    
      
    
      
font = ImageFont.truetype(    
      "siyuanheiti.otf",     
      50)    
      
    
      
final_img_paths = dict()    
      
    
      for step_id     
      in img_paths:    
      
        
      for img_path     
      in img_paths[step_id]:    
      
        im = Image.open(img_path)    
      
            
      # 在图片上添加文字    
      
        draw = ImageDraw.Draw(im)    
      
        draw.text((    
      100,     
      900), words[step_id] ,(    
      255,     
      180,     
      0), font=font)    
      
        path = img_path.replace(    
      "temp_img",     
      "img")    
      
        im.save(path)    
      
            
      if step_id     
      in final_img_paths:    
      
            final_img_paths[step_id].append(path)    
      
            
      else:    
      
            final_img_paths[step_id] = [path]    
      
    
      
video = cv2.VideoWriter(    
      'test.mp4',cv2.VideoWriter_fourcc(*    
      'mp4v'),     
      1, (    
      1024,     
      1024))    
      
    
      
end_time = times[    
      -1]    
      
step =     
      0    
      
    
      for t     
      in range(end_time):    
      
        
      if step +     
      1 == len(times)     
      and t == end_time:    
      
            
      break    
      
    img_id = t %     
      12    
      
        
      if times[step] < t <= times[step +     
      1]:    
      
        img = cv2.imread(final_img_paths[step][img_id //     
      2])     
      
        video.write(img)    
      
        
      if t == times[step +     
      1]:    
      
    
      
    
      
        step +=     
      1    
      
    
      
video.release()    
      
video_path =     
      'test.mp4'    
      
audio_path =     
      'PPDE.mp3'    
      
audio = AudioFileClip(audio_path)    
      
video = VideoFileClip(video_path)    
      
video = video.set_audio(audio)    
      
video.write_videofile(    
      "output.mp4", audio_codec=    
      "aac")    
      
print(    
      "-------生成完毕-------")