慶應理工の言語と声の世界 人と人はどう理解し合うか

人間が話したり、聞いたりするしくみを解き明かしたい

人は話すとき、同じことばであっても、物理的にまったく同じ音声を発することはできない。では、なぜ私たちはそれを聞き取り、意味を理解し、意思の疎通を図ることができるのだろうか。あるいは、「橋」と「端」のように、同じ発音の単語の意味を汲み取ることができるのだろうか。杉山由希子准教授は、話し手の音声、聞き手の聴覚の両面を調べることで、音声を話したり、聞いたりするプロセスやそのしくみの解明に取り組んでいる。

杉山さんの専門は、「音声学」と呼ばれる学問分野だ。音声学は大きく分けて、人がしゃべった言葉の音波を調べる「音響音声学」、人間が言葉をしゃべる際に口の中で音を整える調音について研究する「調音音声学」、そして聞く側について調べる「聴覚音声学」の３つの分野からなる（図1）。「音声学は、言語学の一分野と捉えられることもありますが、音波を調べるためには音声の周波数や時間の長さなど、物理的な特徴を調べなければなりません。また、調音であれば口腔や声帯のはたらき、聴覚であれば人間の知覚のしくみも関係してくることから、工学や医学、認知心理学など、幅広い知識が必要になります。文理両方の要素を併せ持つ学問分野なのです」と杉山さんは説明する。その音声学をベースに、杉山さんは２つのアプローチで研究を進めている。１つは、音声が物理的にどのような特徴を持っているかを調べること、もう１つはそれを人がどのように聞いているかを、実際に聞き取りの実験を行って調べるという方法だ。こうした双方向のアプローチにより、日本語が持つ特徴を明らかにしたいという。

「対象にしているのは、東京方言、いわゆる標準語です。複数の東京方言話者から音声を録音して集め、まずは音声の周波数や長さなど、物理的な特徴を調べます。たとえば東京方言の場合、『雨』は『あ』の音が高く、『め』が下がりますが、『飴』では『め』を高く発音します。このように、音声の周波数成分に由来する音の高低（ピッチ）が単語を意味づけています」
しかし、「橋」と「端」ではどうだろうか。あるいは「鳥」と「トリ（最後）」では？
「どちらも同じ低高のパターンで発音するため、単語からだけでは区別がつきません。ところが、『橋を歩く』と『端を歩く』では、『はし』の後ろにつく助詞の『を』のピッチが前者は低く、後者は高いまま発音されます。このように、人が何を手がかりにして単語を理解しているのか、その特徴を探るのです」。
実際に、音声に含まれる周波数成分を分析して可視化したスペクトログラム、いわゆる「声紋」を見ると、音の高低を聞き分ける際の手がかりになる基本周波数（基底となる周波数成分）の上がり下がりが見てとれる。日本語では、このように音のピッチで単語を区別する、ピッチアクセントを頼りに意味を汲み取っていると考えられる（図２）。
「音声の高い低いで単語を区別するという点では、日本語はトーン言語に分類される北京語に似ています。一方で、日本語のピッチの持つ役割は、英語のストレスアクセント（強勢）に近いものでもあります」。
そうしたことから、日本語のピッチアクセントには、音の高低だけでなく、英語に代表されるストレス言語と同様に、音の強さや長さも関係しているのではないかと言われることもある。
「単語の区別をピッチアクセントだけに頼っていたのでは、さまざまな状況下でのコミュニケーションにおけるロバストネス（頑健性）を担保しきれないように思います。実際に、英語のストレスアクセントには、強さ、長さ、ピッチといった複数の要素が含まれます。しかし、日本語の場合は長さが変わると意味も変わってしまう。では、何を使っているのか、とても気になるところです」。
そこで、杉山さんは、声帯の震えを伴わないささやき声や、音声の周波数成分の中から基本周波数などを人工的に取り除いた、ピッチが聞き取れないはずの加工された音声を使って、それでも単語を聞き取ることができるかどうかの実験をしている。
「実験の結果、自然な音声では正答率が95％を超えますが、基本周波数とその倍音を除去した合成音声でも正答率は65％近くにのぼり、偶然に当たるレベルを超えています。このことから、日本語のピッチアクセントにも基本周波数以外に、単語を区別する何らかの音響特徴があると考えられます」。
今後は、ではなぜ基本周波数が存在しなくても声の高低が聞き取れるのか、その手がかりとなっている音響特徴を同定してゆきたいという。

ところで、こうした研究は、学術的、あるいは社会的にどう役立つのだろうか。
「１つは、日本語が他言語と比較してどのような特徴を持っているのか、音声学の側面から類型化できればと考えています。
もう１つ、現在、機械による音声の認識・合成の活用が始まっていますが、この精度を上げるために、どのような要素に着目すれば、単語の認識率がより高くなるのか、あるいは人間らしい声を再現できるのか、といったことにも役立てられるでしょう」と杉山さん。
たとえば、人工内耳や補聴器による「聞こえ」は、人間の耳の性能に比べるとまだまだ劣る。ピッチが感じ取りにくかったり、ダイナミックレンジが狭かったり、耳障りな音が聞こえたりして、より人間の耳に近い聞こえが求められているのだ。その際に、単語を理解する上で役立つ特徴を強調できれば、よりよい聞こえに貢献できるだろう。
「ただ、音の認知は個人差が大きく、まだまだ解明されていないことがたくさんあります。カクテルパーティ効果といって、うるさい場所でも自分の名前だとパッと聞き取れたり、同じ音を提示しても、人によって音の高さが違って聞こえたり、解明されていない謎はたくさんあります。
そうした謎に迫るため、工学系の研究者と組むことによって、音声の物理的特徴をより詳細に探る必要があると思っています」。
そのために、杉山さんは信号処理を学ぼうと、学生と肩を並べて授業を聴講し、ときには学生からも教わるという。真理の追究のため、杉山さんの挑戦は続く。

生まれは愛知県、両親と弟の４人家族で育ちました。幼い頃から、わが道を行く早熟な子どもで、「幼稚園は暇つぶしに通っている」と発言して、周囲を驚かせたこともあります（笑）。皆でお遊戯をしたり、運動会の練習をしたりするなどの集団行動が苦手でした。本番になればちゃんとやるのに、なんでわざわざ練習するんだろうと思っていました。
性格は母に似ている部分もありますが、大半は父親譲りです。父は工学系出身で電機メーカーに勤めていたので、仕事の面でも父の要素を受け継いでいます。

入学してすぐ、KESS（慶應義塾大学英語会）に入りました。仲の良い友人はできたのですが、サークル全体の雰囲気になじめず１年で辞めてしまいました。その後、インカレの国際交流組織に所属して、海外から来た学生とともに代々木のオリンピックセンターで合宿をしたり、私自身もフィリピンやノルウェーなどに行ったりして、他国の文化やコミュニケーションを身をもって経験しました。

理工学部の英語の教員として採用されたことは、研究を進めるうえで、とてもよかったと思っています。理工学部は、学生と教職員の距離が近く、学生へのフォローが手厚いのも特徴です。私自身、学生に混じって応用数学の授業を受けたり、学生から音波の分析に欠かせないフーリエ解析などについて教えてもらったりできるのも、学部内のそうした雰囲気があるからこそです。
それから、慶應に戻ってきて感慨深かったのは、学部の頃に聞いていたNHKラジオ・ロシア語講座の講師をなさっていた金田一真澄先生や、渡米前に留学のご相談をさせていただいた小原京子先生と一緒に仕事をする機会が得られたこと。こうしたご縁に恵まれたことに感謝しています。慶應大学には、総合大学として幅広い分野の専門家が在籍されていて、異分野の先生方と交流できる点も大きな特長と言えます。
もう１つ、3〜４年ほど前から、言語文化研究所の川原繁人先生が主催している、「マイボイス」という、自動音声読み上げのためのソフトの使い方を紹介するワークショップのお手伝いをしています。声を事前に録音しておく必要はありますが、このソフトを使うと、病気などで声を失ったり、しゃべれなくなったりしても、自分の声で周囲とコミュニケーションをとることができます。
普段、声について意識することはあまりないかもしれません。しかし、実は声というのは、その人のアイデンティティを示す非常に重要な要素です。文の読み上げも、自分の声と他人の声では、印象がまるで違います。私自身、この活動を通じてそのことを再認識しました。より多くの方にマイボイスの存在を知っていただき、活用していただければと思っています。