Upload checkpoint, sanitized config, and transcripts for ctc-baseline_mms_set_5

README.md

@@ -0,0 +1,41 @@
+---
+title: "CTC-DRO MMS-based ASR model - set 5"
+language: multilingual
+tags:
+  - asr
+  - ctc-dro
+  - MMS
+license: cc-by-nc-4.0
+---
+
+# CTC-Baseline MMS-based ASR model - set 5
+
+This repository contains a CTC-Baseline MMS-based automatic speech recognition (ASR) model trained with ESPnet.  
+The model was trained on balanced training data from set 5.
+
+## Intended Use
+
+This model is intended for ASR. Users can run inference using the provided checkpoint (`valid.loss.best.pth`) and configuration file (`config.yaml`):
+```bash
+import soundfile as sf
+from espnet2.bin.asr_inference import Speech2Text
+
+asr_train_config = "ctc-baseline_mms_set_5/config.yaml"
+asr_model_file = "ctc-baseline_mms_set_5/valid.loss.best.pth"
+
+model = Speech2Text.from_pretrained(
+    asr_train_config=asr_train_config,
+    asr_model_file=asr_model_file
+)
+
+speech, _ = sf.read("input.wav")
+text, *_ = model(speech)[0]
+
+print("Recognized text:", text)
+```
+
+## How to Use
+
+1. Clone this repository.
+2. Use ESPnet’s inference scripts with the provided `config.yaml` and checkpoint file.
+3. Ensure any external resources referenced in `config.yaml` are available at the indicated relative paths.

config.yaml

@@ -0,0 +1,1420 @@
+accum_grad: 16
+adapter: lora
+adapter_conf: {}
+allow_multi_rates: false
+allow_variable_data_keys: false
+aux_ctc_tasks: []
+batch_bins: 1000000
+batch_size: 4
+batch_type: duration_language
+best_model_criterion:
+- - valid
+  - loss
+  - min
+bpemodel: null
+chunk_default_fs: null
+chunk_excluded_key_prefixes: []
+chunk_length: 500
+chunk_shift_ratio: 0.5
+cleaner: null
+collect_stats: false
+create_graph_in_tensorboard: false
+ctc_conf:
+  ctc_type: builtin
+cudnn_benchmark: false
+cudnn_deterministic: true
+cudnn_enabled: true
+decoder: null
+decoder_conf: {}
+detect_anomaly: false
+distributed: false
+drop_last_iter: false
+dry_run: false
+duration_batch_length: -1
+early_stopping_criterion:
+- valid
+- loss
+- min
+encoder: transformer
+encoder_conf:
+  attention_dropout_rate: 0.1
+  attention_heads: 8
+  dropout_rate: 0.1
+  input_layer: conv2d2
+  linear_units: 1024
+  normalize_before: true
+  num_blocks: 2
+  output_size: 256
+  positional_dropout_rate: 0.1
+exclude_weight_decay: false
+exclude_weight_decay_conf: {}
+fold_length:
+- 80000
+- 150
+freeze_param: []
+frontend: s3prl
+frontend_conf:
+  download_dir: ./hub
+  frontend_conf:
+    path_or_url: facebook/mms-300m
+    upstream: hf_wav2vec2_custom
+  fs: 16k
+  multilayer_feature: true
+g2p: null
+grad_clip: 5.0
+grad_clip_type: 2.0
+grad_noise: false
+ignore_init_mismatch: false
+init: xavier_uniform
+init_param: []
+input_size: null
+iterator_type: sequence
+joint_net_conf: null
+keep_nbest_models: 5
+log_interval: null
+log_level: INFO
+max_cache_fd: 32
+max_cache_size: 0.0
+max_epoch: 40
+model: espnet
+model_conf:
+  ctc_weight: 1.0
+multiple_iterator: false
+multiprocessing_distributed: false
+nbest_averaging_interval: 0
+ngpu: 1
+no_forward_run: false
+noise_apply_prob: 1.0
+noise_db_range: '13_15'
+noise_scp: null
+non_linguistic_symbols: ./nlsyms.txt
+normalize: utterance_mvn
+normalize_conf: {}
+num_att_plot: 3
+num_cache_chunks: 1024
+num_iters_per_epoch: 1200
+num_workers: 4
+optim: adam
+optim_conf:
+  lr: 0.0001
+  weight_decay: 1.0e-06
+output_dir: ./inference_results
+patience: null
+postencoder: null
+postencoder_conf: {}
+preencoder: linear
+preencoder_conf:
+  input_size: 1024
+  output_size: 80
+preprocessor: default
+preprocessor_conf: {}
+pretrain_path: null
+print_config: false
+required:
+- output_dir
+- token_list
+resume: true
+rir_apply_prob: 1.0
+rir_scp: null
+save_strategy: all
+scheduler: null
+scheduler_conf: {}
+seed: 0
+sharded_ddp: false
+short_noise_thres: 0.5
+shuffle_within_batch: false
+sort_batch: descending
+sort_in_batch: descending
+specaug: specaug
+specaug_conf:
+  apply_freq_mask: true
+  apply_time_mask: true
+  apply_time_warp: true
+  freq_mask_width_range:
+  - 0
+  - 27
+  num_freq_mask: 2
+  num_time_mask: 10
+  time_mask_width_ratio_range:
+  - 0.0
+  - 0.05
+  time_warp_mode: bicubic
+  time_warp_window: 5
+speech_volume_normalize: null
+token_list:
+- <blank>
+- <unk>
+- <space>
+- E
+- A
+- N
+- I
+- S
+- R
+- T
+- O
+- D
+- L
+- О
+- H
+- U
+- C
+- י
+- ו
+- Е
+- И
+- А
+- M
+- Н
+- Т
+- ה
+- G
+- С
+- ל
+- P
+- Р
+- В
+- B
+- מ
+- ת
+- ר
+- Л
+- F
+- ב
+- W
+- א
+- ש
+- М
+- К
+- Д
+- נ
+- V
+- ם
+- П
+- Y
+- Я
+- У
+- '[deu]'
+- ע
+- Ы
+- '[eng]'
+- K
+- ד
+- ח
+- ק
+- Г
+- כ
+- פ
+- の
+- Б
+- З
+- ס
+- Ь
+- Ч
+- Z
+- ג
+- し
+- に
+- ט
+- Й
+- は
+- '[heb]'
+- Q
+- で
+- Ж
+- Х
+- た
+- '[rus]'
+- צ
+- '[spa]'
+- ま
+- Ó
+- '[jpn]'
+- Ю
+- す
+- る
+- を
+- い
+- ן
+- '0'
+- と
+- が
+- ז
+- J
+- て
+- Í
+- れ
+- Ш
+- '1'
+- ン
+- Ü
+- Ц
+- な
+- Ä
+- Á
+- ー
+- り
+- こ
+- Щ
+- Ф
+- '2'
+- X
+- Э
+- さ
+- か
+- あ
+- ス
+- É
+- ル
+- ך
+- も
+- う
+- ら
+- ア
+- Ö
+- く
+- っ
+- イ
+- よ
+- ト
+- '6'
+- ラ
+- き
+- 人
+- ん
+- Ё
+- ף
+- '3'
+- '5'
+- け
+- '9'
+- ッ
+- リ
+- ド
+- '4'
+- や
+- そ
+- ロ
+- 国
+- 地
+- Ñ
+- '8'
+- せ
+- 的
+- シ
+- め
+- タ
+- カ
+- 日
+- つ
+- ジ
+- Ú
+- ク
+- フ
+- 発
+- ャ
+- テ
+- え
+- 場
+- «
+- '7'
+- 合
+- ば
+- ど
+- »
+- 行
+- 上
+- 大
+- コ
+- 間
+- ち
+- 生
+- 年
+- 物
+- 一
+- 動
+- 者
+- オ
+- わ
+- ץ
+- 時
+- 法
+- だ
+- 中
+- バ
+- 方
+- 要
+- 前
+- サ
+- チ
+- ウ
+- 会
+- ブ
+- べ
+- レ
+- ィ
+- 月
+- 手
+- 告
+- 分
+- 定
+- プ
+- ネ
+- ニ
+- 以
+- 彼
+- 常
+- 最
+- 部
+- 性
+- 事
+- 後
+- グ
+- 多
+- 報
+- 見
+- 学
+- ほ
+- 可
+- ェ
+- 用
+- パ
+- み
+- お
+- ュ
+- メ
+- 体
+- 立
+- 通
+- 入
+- 理
+- ょ
+- ム
+- 能
+- 出
+- デ
+- 成
+- 下
+- キ
+- 金
+- マ
+- 示
+- 必
+- 所
+- 力
+- エ
+- セ
+- 他
+- 子
+- 同
+- ズ
+- ピ
+- 選
+- 点
+- 語
+- 化
+- ケ
+- ナ
+- 長
+- 高
+- 新
+- Ъ
+- ビ
+- ガ
+- 先
+- 表
+- 関
+- ず
+- 当
+- ツ
+- 電
+- 明
+- 機
+- 過
+- 集
+- 世
+- 期
+- 使
+- 結
+- 観
+- 在
+- 内
+- 数
+- 種
+- 問
+- 計
+- 度
+- 光
+- 氏
+- 曜
+- 験
+- 議
+- げ
+- 面
+- 持
+- 実
+- 空
+- 自
+- 気
+- ダ
+- 試
+- 開
+- 形
+- 業
+- 際
+- 変
+- 非
+- 考
+- ���
+- 全
+- 話
+- 調
+- 件
+- 流
+- ミ
+- 主
+- 特
+- 住
+- 族
+- 予
+- 教
+- 活
+- ョ
+- 向
+- 異
+- 決
+- 供
+- 言
+- 院
+- 文
+- 死
+- 対
+- じ
+- 正
+- 現
+- 作
+- ろ
+- 述
+- 題
+- 外
+- 球
+- 意
+- ハ
+- 名
+- 民
+- 州
+- 米
+- 画
+- ホ
+- 軍
+- ボ
+- 始
+- 重
+- 水
+- 陸
+- 書
+- 界
+- 記
+- 何
+- 戦
+- ギ
+- 員
+- 離
+- 食
+- 約
+- 状
+- 番
+- 組
+- 得
+- 経
+- ペ
+- 島
+- 設
+- ゴ
+- 々
+- 目
+- 知
+- 果
+- 社
+- 本
+- 受
+- 制
+- 影
+- 小
+- へ
+- ポ
+- 旅
+- 位
+- 車
+- 私
+- 故
+- 火
+- 去
+- 提
+- 質
+- 不
+- 認
+- 航
+- 宿
+- ソ
+- 北
+- 起
+- 研
+- 価
+- 児
+- 身
+- 第
+- 式
+- 府
+- 家
+- 初
+- 音
+- 連
+- 例
+- 録
+- 近
+- 違
+- 利
+- 訪
+- 型
+- 星
+- 念
+- 今
+- 限
+- 陽
+- ザ
+- ベ
+- む
+- 広
+- ァ
+- 確
+- ヴ
+- 来
+- 呼
+- 収
+- 泊
+- 施
+- 激
+- 降
+- 育
+- 係
+- 切
+- 山
+- 止
+- 究
+- 加
+- 任
+- 監
+- 原
+- 因
+- 強
+- 政
+- 路
+- 規
+- 税
+- 建
+- 客
+- 相
+- 判
+- 険
+- 張
+- モ
+- 応
+- 査
+- 王
+- 元
+- 続
+- ゲ
+- ヨ
+- び
+- 感
+- ヒ
+- 類
+- 存
+- 投
+- 局
+- 、
+- 症
+- 再
+- 料
+- 安
+- 太
+- 味
+- 量
+- 情
+- 務
+- 抗
+- 有
+- ォ
+- 海
+- 由
+- 英
+- 撃
+- 評
+- 協
+- 野
+- 親
+- 放
+- 害
+- 検
+- 更
+- 登
+- 基
+- 神
+- 公
+- 難
+- 指
+- 保
+- 震
+- 台
+- 領
+- 暴
+- 付
+- 回
+- 科
+- 送
+- 直
+- 与
+- 帰
+- 視
+- 両
+- 握
+- 歩
+- 天
+- 心
+- 参
+- 響
+- 楽
+- 産
+- 婚
+- 属
+- 医
+- 速
+- 細
+- 準
+- ־
+- 史
+- 済
+- 障
+- 軽
+- 側
+- 悪
+- 工
+- 習
+- ノ
+- 権
+- 戻
+- 申
+- 遺
+- 唆
+- 被
+- 交
+- 況
+- ユ
+- 訴
+- ワ
+- 割
+- 否
+- 融
+- 信
+- 二
+- 除
+- 様
+- ぐ
+- 殿
+- 運
+- 演
+- 余
+- 解
+- 道
+- 病
+- 低
+- ぎ
+- 代
+- 週
+- 市
+- ヘ
+- 比
+- 資
+- 庭
+- 統
+- 残
+- 適
+- 首
+- 撮
+- 望
+- 遠
+- 別
+- 案
+- 売
+- 誌
+- 術
+- 急
+- 着
+- 委
+- 支
+- 優
+- 写
+- 落
+- 港
+- 傾
+- 置
+- 夫
+- 乗
+- 亡
+- 系
+- 殺
+- 識
+- 欠
+- 素
+- 挙
+- 周
+- 共
+- 療
+- 端
+- 捕
+- 染
+- 司
+- 潜
+- 歴
+- 品
+- 買
+- 択
+- 肢
+- 眺
+- 態
+- 良
+- 源
+- 繰
+- 伝
+- 雨
+- 季
+- 込
+- 律
+- ヌ
+- 紀
+- 征
+- 服
+- 諸
+- 求
+- 延
+- 倒
+- 突
+- 午
+- 頃
+- 東
+- ゆ
+- 映
+- 証
+- 改
+- ざ
+- 伸
+- 無
+- 増
+- 攻
+- 察
+- 隊
+- 群
+- 管
+- 苦
+- 禁
+- 換
+- 葉
+- 模
+- 率
+- 課
+- 区
+- ぞ
+- 営
+- ご
+- 取
+- 致
+- 幅
+- 触
+- 号
+- 説
+- 導
+- 鳥
+- 備
+- 象
+- 便
+- 較
+- 女
+- 寒
+- 温
+- 岸
+- 荷
+- 敗
+- 飛
+- 衆
+- 足
+- 接
+- 単
+- 進
+- 争
+- 覚
+- 獲
+- 十
+- 省
+- 把
+- 微
+- 暖
+- 焦
+- 囲
+- 雑
+- 独
+- 配
+- 校
+- 早
+- 南
+- 満
+- 濃
+- ゥ
+- 町
+- 論
+- 刑
+- 票
+- 波
+- 裁
+- 歌
+- 扱
+- 少
+- 菌
+- 終
+- 真
+- 刻
+- 逮
+- 土
+- 般
+- 懸
+- 党
+- 断
+- 傷
+- 負
+- 氷
+- 厚
+- 漁
+- 師
+- 消
+- 酸
+- 著
+- ぼ
+- 巨
+- 図
+- 券
+- 館
+- 爆
+- 警
+- 圏
+- 跡
+- 拠
+- 紙
+- 雲
+- 将
+- 援
+- 猫
+- 移
+- 処
+- 責
+- づ
+- 拒
+- 効
+- 頼
+- 密
+- 閉
+- 購
+- 容
+- 削
+- 欧
+- 防
+- 盟
+- 折
+- 専
+- 門
+- 極
+- 到
+- 達
+- 聞
+- 摘
+- 紛
+- 竜
+- 巻
+- 室
+- 許
+- 承
+- 請
+- 弓
+- 弟
+- 頻
+- 疲
+- 古
+- 庁
+- 反
+- 官
+- 境
+- 勢
+- 母
+- 販
+- 歳
+- 義
+- 河
+- 口
+- 革
+- 命
+- 抑
+- 圧
+- 各
+- 木
+- 技
+- 構
+- 造
+- 競
+- 復
+- 緊
+- ぶ
+- 製
+- 商
+- 絶
+- 失
+- 覆
+- 廃
+- 祖
+- 催
+- 痛
+- 快
+- 益
+- 侵
+- 墜
+- 徴
+- 斜
+- 美
+- 魅
+- 了
+- 器
+- 干
+- 然
+- 測
+- 距
+- 婦
+- 祝
+- 村
+- 次
+- 読
+- 敷
+- 厳
+- 胎
+- 肺
+- 熟
+- 印
+- 刷
+- 滞
+- 洋
+- 昨
+- 功
+- 驚
+- 右
+- 左
+- 訛
+- 郷
+- 貧
+- 惑
+- 華
+- 総
+- 矛
+- 盾
+- 頂
+- 洞
+- 窟
+- 辞
+- 思
+- 推
+- 衛
+- 兵
+- 振
+- 担
+- 渡
+- 患
+- 団
+- ヤ
+- 皆
+- 還
+- 船
+- 鏡
+- 胞
+- 照
+- 億
+- 釈
+- 犬
+- 罪
+- 帝
+- 転
+- ×
+- 夜
+- 採
+- 具
+- 深
+- 千
+- 布
+- 危
+- 襲
+- 宅
+- 免
+- 疫
+- 為
+- 芸
+- 勧
+- 固
+- 像
+- 届
+- 怪
+- 我
+- 標
+- 半
+- 沿
+- 声
+- 朝
+- 礁
+- 「
+- 」
+- 崩
+- 枚
+- 引
+- —
+- 熱
+- 災
+- 玉
+- 卵
+- 須
+- 含
+- 涙
+- 乾
+- 超
+- 湖
+- 西
+- 誕
+- 渉
+- 拾
+- 囚
+- 陥
+- 派
+- 待
+- 久
+- 麓
+- 暗
+- 敵
+- 阻
+- 駐
+- 屯
+- 添
+- 尿
+- 晶
+- 列
+- 巣
+- 懲
+- 戒
+- 績
+- 善
+- 互
+- 棄
+- 注
+- 借
+- 啓
+- 蒙
+- 差
+- 討
+- 維
+- 仕
+- 翌
+- 裕
+- 役
+- 嵐
+- 漏
+- 斗
+- 渦
+- 個
+- 誘
+- 晰
+- 夢
+- 繁
+- 弊
+- 七
+- 格
+- 索
+- 店
+- 街
+- 屋
+- 築
+- 石
+- 洪
+- 臆
+- 環
+- 冷
+- 貼
+- 未
+- 罰
+- 貿
+- 易
+- 従
+- 息
+- 貨
+- 労
+- 働
+- 階
+- 級
+- 刺
+- 頭
+- 脳
+- 喜
+- 策
+- 傘
+- 羽
+- 毛
+- 血
+- 猛
+- 禽
+- 爪
+- 遅
+- 博
+- 希
+- 薄
+- 慣
+- 避
+- 慢
+- 疼
+- 窃
+- 盗
+- 乞
+- 搾
+- 契
+- 絡
+- 滑
+- 走
+- 鎖
+- 値
+- 飲
+- 風
+- 凝
+- 窓
+- 若
+- 殊
+- 妙
+- 鍵
+- 盤
+- 叩
+- 屠
+- 節
+- 衣
+- 範
+- 複
+- 友
+- 戚
+- 完
+- 吸
+- 闘
+- 材
+- 勉
+- 好
+- 句
+- 章
+- 座
+- 席
+- 覧
+- 掲
+- 載
+- 破
+- 綻
+- 扉
+- 平
+- 央
+- 簡
+- 挫
+- 条
+- 至
+- 返
+- 署
+- 批
+- 准
+- 裏
+- 鳴
+- 磁
+- 憲
+- 答
+- 井
+- 狭
+- 退
+- 字
+- 訓
+- 秀
+- 魚
+- 毒
+- 恐
+- 怖
+- 怯
+- 妃
+- 徒
+- 宮
+- 修
+- 齢
+- 童
+- 肝
+- 胆
+- 癌
+- 欲
+- 宇
+- 宙
+- 混
+- 赤
+- 潮
+- 候
+- 薬
+- 治
+- 遂
+- 晴
+- 憾
+- 飼
+- 犯
+- 嫌
+- 荒
+- ゃ
+- 横
+- 越
+- 披
+- 露
+- 狩
+- 猟
+- 背
+- 景
+- 鉛
+- 筆
+- 途
+- 豚
+- 蚊
+- 帳
+- 虫
+- 剤
+- 散
+- 措
+- 賞
+- 該
+- 賊
+- 狂
+- 逃
+- 滝
+- 昼
+- 涼
+- 執
+- 万
+- 称
+- 補
+- 助
+- 駆
+- 射
+- 粒
+- 誰
+- 卒
+- 額
+- 寄
+- 幼
+- 揃
+- 想
+- 継
+- 皇
+- 募
+- 尾
+- 花
+- 沢
+- 郵
+- 恒
+- 賀
+- 銃
+- 妻
+- 瓶
+- 守
+- 棒
+- 織
+- 艦
+- 富
+- 困
+- 減
+- 則
+- 園
+- 訳
+- 追
+- 末
+- 核
+- 炉
+- 鹿
+- 譲
+- ふ
+- 耐
+- 和
+- 勝
+- 香
+- 都
+- 拓
+- １
+- 亜
+- 三
+- 怒
+- 豪
+- 稀
+- 是
+- 聖
+- 壊
+- ゾ
+- 墟
+- 塞
+- 仏
+- 寺
+- 網
+- 算
+- 唸
+- 士
+- 整
+- ひ
+- 孫
+- 馳
+- 診
+- 円
+- 搬
+- 里
+- 需
+- 福
+- 祉
+- 阪
+- 塊
+- 唱
+- 聴
+- 迅
+- 疑
+- 依
+- 謝
+- 財
+- 臣
+- 就
+- 籍
+- –
+- ¿
+- º
+- ¡
+- <sos/eos>
+token_type: char
+train_dtype: float32
+unused_parameters: true
+use_adapter: false
+use_amp: false
+use_lang_prompt: false
+use_matplotlib: true
+use_nlp_prompt: false
+use_preprocessor: true
+use_tensorboard: true
+val_scheduler_criterion:
+- valid
+- loss
+valid_batch_bins: null
+valid_batch_size: null
+valid_batch_type: null
+valid_iterator_type: null
+valid_max_cache_size: null
+version: '202402'
+write_collected_feats: false

valid.loss.best.pth

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:d894d5846e5d811a6c860174ba957f81db22dbb0275f6724d1c47f46ec0a8ac1
+size 1281974028