議事録とかやりたくない。子育て優先で仕事を機械任せにする

おっさんパパは、猫の代わりにAI使って、子持ち様とか言わせません。出すもの出しておけば、子供の保育園送り迎えも安泰です。

今回は、勝手に会社の業務を、個人的にDX化します。

でかいサーバとか、サブスククラウドとか不要。基本無料で公開されているツール、ありふれた古いWindwosノートパソコンで処理します。

whisperを使う

OpenAIさんが、サボりたいあなたの為に、whisperなる文字起こしAIモデルを無料で公開していますので、それ使います。Turboモデル等スピード重視のものもありますが、精度重視でlarge-v3モデルでいきます。
なおこのモデル、多言語対応しているので日本語以外もＯＫです。
利用には、Hugging Faceのアクセストークンを取得する必要があります。

Hugging Faceのアクセストークンを取得する手順

1. Hugging Faceにログイン / アカウント作成

   • Hugging Faceの公式サイト にアクセス

   • 右上の「Sign In」からログイン、または「Sign Up」でアカウントを作成

2. アクセストークンの生成

   • 右上のプロフィールアイコンをクリック

   • 「Settings」 を開く

   • 左メニューの 「Access Tokens」 を選択

   • 「New token」 をクリック

   • 名前を入力し、権限（Scope）を 「read」（または必要に応じて「write」や「admin」）に設定

   • 「Generate a token」 をクリック

3. トークンのコピー

   • 生成されたトークンをコピー　この文字列を使う。

pyannote audioを使う

whisperでは話者分離ができないので、別のpyannote audioというやつでやります。分離精度は50代のおっさんよりましかもというレベル。そこまで話者分離に拘らないので、一応やってみる。文字起こしより、こちらの処理のほうが時間かかる感じなので、話者分離不要ならスピードは上がる。

全体の処理の流れ

最初に全部文字起こしをして、次に話者分離をして、最後に両者を結合する感じにしました。

最初に話者分離をして、本文を短い文にブツ切りにしてから文字起こしするよりは、AIの仕組み的に長い文のほうが精度が高いのではと考えたからです。

pythonのコードと動かし方

さぼりを実現する適当なpythonのコードです。手元にあるのはWindowsの古いノートなので、まともなGPUなんか当然ない。遅いです。

動かすときには当然ですが、pythonが必要ですので、ダウンロードしてインストールしてください。また、必要なライブラリは、pipなどで、適当に入れてください。
また、管理権限がないとか出るなら、Windwosの管理者として実行してください。

更に、このコードのままだと、ffmpegが無いと動きません。適当にインストールしてください。音声ファイルはwavしか使わんから要らないというなら、チャットGPTさんに、このコードから、ffmpeg部分を削除するとやれば、勝手にやってくれます。

ラッキーにも、それなりのRAM容量があるGPUがある人は、チャットGPTさんにでも適当にコードを変えてもらってください。GPUなし環境だと、放置しておくと忘れたころに出来る感じですかね。1時間の会議の録音を文字にする処理に、2時間から3時間は余裕でかかります。

import librosa
import numpy as np
import soundfile as sf
import os
import shutil
import subprocess
import whisper
from pyannote.audio.pipelines import SpeakerDiarization
from datetime import timedelta
#import openai チャットGPTにAPIで入れようとしたけど、有料なのでやめた


def preprocess_audio(file_path, target_sr=16000):
    """
    音声ファイルを前処理（サンプリングレート変換、ノイズ除去、正規化）
    """
    # 音声ファイルの読み込み
    audio, sr = librosa.load(file_path, mono=True, sr=None)
    
    # サンプリングレートの調整
    if sr != target_sr:
        audio = librosa.resample(audio, orig_sr=sr, target_sr=target_sr)
    
    # 音量の正規化
    audio = librosa.util.normalize(audio)
    
    # 処理済み音声の保存
    output_path = r"c:\data\preprocessed_audio.wav"
    sf.write(output_path, audio, target_sr)
    
    return output_path

# 音声ファイルのパス設定　mp3、mp4以外も変換できる
audio_path = r"c:\data\test1.mp3"
wav_path = r"c:\data\wavsound.wav"  # 変換後のWAVファイルの保存先

# Hugging Faceアクセストークン（取得したトークンをここにコピー）
HF_AUTH_TOKEN = 'これが無いと動かない'

# FFmpegの存在確認
if shutil.which("ffmpeg") is None:
    print("FFmpegが見つかりません。")
else:
    print("FFmpegが見つかりました。")

# ファイルの存在確認
if not os.path.exists(audio_path):
    print(f"音声ファイルが見つかりません: {audio_path}")
    exit(1)

# MP4からWAVに変換
try:
    subprocess.run(["ffmpeg", "-i", audio_path, wav_path, "-y"], check=True)
    print(f"ファイルをWAVに変換しました: {wav_path}")
except subprocess.CalledProcessError as e:
    print(f"FFmpegによる変換中にエラーが発生しました: {e}")
    exit(1)

# 音声の前処理
preprocessed_file = preprocess_audio(wav_path)

# Whisperモデルのロード　GPUなしのポンコツ仕様。時間がかかるよ。
try:
    model = whisper.load_model("large-v3", device='cpu')
    print("Whisperモデルのロードに成功しました")
except Exception as e:
    print(f"モデルのロード中にエラーが発生しました: {e}")
    exit(1)

# 音声文字起こし
try:
    result = model.transcribe(preprocessed_file, fp16=False, language="ja")
    transcription_segments = result["segments"]
    print("文字起こし結果:")
    for segment in transcription_segments:
        print(f"[{segment['start']:.3f} --> {segment['end']:.3f}] {segment['text']}")
except Exception as e:
    print(f"文字起こし中にエラーが発生しました: {e}")
    exit(1)

# 話者分離パイプラインのロード
try:
    pipeline = SpeakerDiarization.from_pretrained("pyannote/speaker-diarization", use_auth_token=HF_AUTH_TOKEN)
    print("話者ダイアライゼーションパイプラインのロードに成功しました")
except Exception as e:
    print(f"話者ダイアライゼーションパイプラインのロード中にエラーが発生しました: {e}")
    exit(1)

# 音声の話者分離
try:
    diarization = pipeline({'uri': 'filename', 'audio': preprocessed_file})
    diarization_results = [
        {"start": segment.start, "end": segment.end, "speaker": speaker}
        for segment, _, speaker in diarization.itertracks(yield_label=True)
    ]
except Exception as e:
    print(f"話者分離中にエラーが発生しました: {e}")
    exit(1)

def format_time(seconds):
    """秒数をMM:SS.mmm形式に変換"""
    td = timedelta(seconds=seconds)
    minutes, seconds = divmod(td.seconds, 60)
    milliseconds = td.microseconds // 1000
    return f"{minutes}:{seconds:02}.{milliseconds:03}"

def combine_segments(transcription_segments, diarization_segments):
    """
    文字起こし結果と話者分離データを統合
    """
    combined_segments = []
    for segment in transcription_segments:
        start, end, text = segment["start"], segment["end"], segment["text"]
        speakers = [dia["speaker"] for dia in diarization_segments if dia["start"] < end and dia["end"] > start]
        speaker = speakers[0] if speakers else "Unknown"
        combined_segments.append({"speaker": speaker, "start": start, "end": end, "text": text})
    return combined_segments

def merge_speaker_segments(combined_segments):
    """
    連続する同一話者のセグメントを統合
    """
    merged_segments = []
    for segment in combined_segments:
        if merged_segments and merged_segments[-1]["speaker"] == segment["speaker"]:
            merged_segments[-1]["end"] = segment["end"]
            merged_segments[-1]["text"] += " " + segment["text"]
        else:
            merged_segments.append(segment)
    return merged_segments

# データ統合・整形
combined_segments = combine_segments(transcription_segments, diarization_results)
merged_segments = merge_speaker_segments(combined_segments)

# 統合結果を表示
print("統合された話者分離結果:")
for segment in merged_segments:
    print(f"{segment['speaker']}: [{format_time(segment['start'])} --> {format_time(segment['end'])}] {segment['text']}")

精度

色々試しましたが、なかなかです。「えーと」とか、そんなのは勝手に消してくれますし。

  result = model.transcribe(preprocessed_file, fp16=False, language="ja",initial_prompt='専門用語等を指定')

しかし、実際の会議だと予備知識がないとわからない、固有名詞等があるので、initial_prompt=の部分にそれを指定した方がより正しく認識するようです。
initial_prompt='おっさんパパ株式会社は、今日も開店休業中です。'
これだけで、おっさんパパ株式会社という固有名詞の認識力が上がります。

で、このAIさんでも認識できない部分の音声を、実際に人間であるおっさんパパが聞いてみたのですが、あまり認識できませんでした。

人間が聞いても何言っているか分からないというのは、会議ではよくある事です。発言している当人も、何言っているかわかっていないのかもしれません。そういう部分は、議事録から黙って削除です。

どうせマトモに読む人は居ないので、適当にやりましょう。

構造化はチャットGPTで

文字起こしたものは、発言がそのままなので議事録としては微妙。
そこは、チャットGPTで処理したいところ。
APIは有料なので、出てきたものをコピペでGOです。
会社規定がクラウド利用がだめというなら、文字起こしだけでなく、LLMもローカルのノートＰＣで頑張りますか？

7ｂくらいなら動きますが、まともなLLMをローカルで動かすには、GPUいるし、GPUのメモリが沢山いる。比較的お得なアップルのPCでも買うしかない？　macbookproとかそういうの。でも高い。

まあ、すっと目を閉じて、チャットGPTでやりゃ簡単です。

テスト

取り合えず、実際に動作するか、適当な音声ファイルをネットから拾ってきて文字起こししてみました。

高崎市議会の総務常任委員会、令和7年1月28日　音声データ [MP3ファイル／11.35MB]の文字起こしをしてみました。

以下その出力された文の一部で、一応、話者分離はできているようです。

この元の文章を、チャットGPTさんに、そのまま放り込みます。
プロンプトは適当に「以下の音声文字起し文を、話者に注意して構造化された議事録にして下さい」です。
以下が、出力された議事録、そのままです。粒度を変えたいならチャットGPTさんにお願いしてください。

人の手が入っているのは、文字起こし文をチャットGPTの枠にコピペした部分だけですね。