ビッグデータと機械学習、期待と誤解と使い道

データが先か、目的が先か

「データが先か、目的が先か」以前から議論されているテーマです。「このデータを」「何かに」活用したい、という欲求に対して、自動運転を初めとする「AI」を売り物にして実際は機械学習という道具を持ってくる輩が多いことが問題をややこしくしています。よくデータを素材、機械学習のような道具を最新調理機器、活用事例をレシピ、成果を料理として例えられるケースがあります。

AIについても、これに似たまったく不毛な会話を行っていないでしょうか。AI は機械学習を含む総合的な技術の集大成であり、道具だけでは成り立たちません。しかも万能なAIなど(今のところ)存在するはずもなく、必ず何らかの目的の下にモデルが定義されています。

自動運転は、目的地に行くためにルート設定を行い(これは既にカーナビでもお馴染み)、センサーで取得した情報から直近の行動計画を立て実際に車を動かします。物理的に車が動くと、再度センサーで集められた情報から計画との誤差を計算し、計画の修正を行います。このPDCAサイクルをコンマ何秒の間に行うことにより車を制御しており、機械学習はその一部を担っているに過ぎません。

機械学習・・・やってみたら・・・

機械学習ができること、例えば話題の深層学習(DeepLearinig) は以下のように定義されています。

「データを反復的に学習し、そこに潜むパターンを見つけ出すこと、そして学習した結果を新たなデータに当てはめることでパターンにしたがって予測する」

現在の企業内データ活用の分野で、少し機械学習をかじった人達の間では、(少々乱暴な言い方をすれば)パターンマッチをある程度自動的にやってくれる便利なもの、程度の認識でしかありません。プロ棋士がAIに勝利するのが難しい時代になってしまいましたが、将棋には過去の棋士達が作り上げた棋譜というものがあり、簡単に言えば、盤面の状況(コマの配置)を理解して、棋譜を当て込んでいけば、よほど変な手を打たない限り負けることはありません。AIと対戦する棋士達は気の毒なことに、AIの脳(アルゴリズム)と戦っているわけではなく、過去の人類の知見と戦っているのです。

機械学習は既知のパターンを再生成して統計的な合致度を測るものです。データマイニングと異なり(今のところ)未知のパターンを探り当てるものではありません。それ故に、現在のビジネスにおける機械学習の適用は、過去のパターンを利用できる分野が多く、時系列に沿って周期性が認められる機械の故障予測や、医療診断、画像認識、自動応答などあくまで人間のアシスタント的な事への利用がほとんどです。

パターンに合致する過去のケースを自動検索して当てはめる。もしくは、過去のパターンと異なるふるまいを 外れ値(異常値)とみなして警告するという仕掛けです。（図1参照）

リコメンデーションやスパム検知等の不正検知、メールの自動振り分け等もこの類ですが、ここで精度の問題が出てきます。これらの分野では、「風が吹けば桶屋が儲かる」的なノウハウをルール化した方が精度も高く「納得性」があるのですが、機械学習を利用し、かつ、モデルまかせで感度を上げてしまうと、誤検知が多くなり、現場がこれに振り回されて疲弊してしまい使われなくなるケースが多く見られます。「オオカミ少年」の大量生産です。

オオカミ少年は悪か？

機械学習を先行的に試してみた企業では、このオオカミ少年問題に直面しており、なんとかこの「嘘つき」を更正させよう(精度をあげよう)と躍起になっています。これはこれで重要な取り組みですが、「オオカミ少年」自体を否定してはいけない、と考えます。今まで誰も気づかなかった事を、この少年だけが発見できるのですから。

東大の地球物理学者が「地震予知は無理」と警告しています。実際に地震予知に失敗したイタリアの科学者が裁判にかけられたり、結局起こらなかった地震情報のために観光客が激減するといったネガティブな面があるのも事実です。60%の予測と、100%の予言、どちらを信じるか。企業においては自明の理です。60%の予測精度を80%に上げる努力は正しいのですが、これを100%にするには無理があります。

しかしながら、今までわからなかったことが8割の確率で事前に知ることができるようになれば、何らかの新しい準備ができるはず、要は考え方次第なのです。

企業におけるデータ分析業務において、事実を知り、それを掘り下げ、原因を探り、対策する、ここまでは従来のBI(ビジネスインテリジェンス)を用いたPDCAサイクルで説明ができます。機械学習はここに予測と自動化(リアルタイムの対応)をもたらします。

機械学習は万能ではありません。明らかにBIでわかること・ルールベースで対応できることは、規則・規制やそれに沿ったプロセスで対応すれば良く、検索条件が明確に定義できないことにこそ機械学習を適用するべきです。ここで成果を上げるためには、予測精度を上げるだけではなく、それを運用する仕組みと、これまで利用しなかった(もしくは存在しなかった)データの活用が必要になります。すなわち、データと運用を持っているIT部門が業務部門のビジネスプロセスを変えるKEY(または、ボトルネック)になってきます。他人事ではないのです。

データが先か、目的が先か。 成果が先か、予算が先か。 IT部門のパラダイムチェンジを

予測の精度を上げようと思えば、規則性のある大量のデータに加えて、データの多様性が重要になります。

例えば、商品の需要予測で考えてみましょう。従来単一企業内で行われている需要予測はクラスタリングで類似性のある商品を探しだし、その販売実績を回帰分析にかけて予測する、という当たらない予測を繰り返してきました。実際の世界ではモノが売れるのは、商品特性だけではなく、いろいろな変動要素があります。地域性や商圏、天気、お店の棚割りだったり、地域イベントなどなど、これらの要素がないと、正しい予測などできるわけがありません。（図2参照）

既に市場に流通している商品は、 実売(セルアウト)データを流通業界より買取り、出荷(セルイン)データとの差分で流通在庫を把握し、デマンド側の販売計画とメーカーの生産・在庫計画、サプライヤとの仕入計画を連動させ、ITを用いてそのサイクルを短くすることによって最適化し、その精度をあげています。（図3参照）

しかしながら、まったくの新商品やマーケット/流通イベントに即した需要予測の現状は前述のとおりです。メーカーにはマーケットイベントデータはありませんが、流通業界には存在します。システム上一見ひも付けが難しいこれらのデータを用いて予測をすることは正に機械学習の技術なくしては実現困難です。

このケースは一例ですが、顧客エンゲージメントを高め、市場の行動を予測し、先手先手の施策を打つには、現場のオペレーションを磨き上げるだけでなく、リアルタイムでデータドリブンな業務プロセスを確立していくことが、これからの企業に求められます。

そのために「多様な＝今までにない」データを蓄積して、多面的な分析により予測精度をあげ、時間をかけて自社モデルを作り育てていくことが重要になります。「やり方」はすぐに真似できますが、データとモデルの精度をあげる(学習する)には相応の時間がかかります。失敗しても良いので早く着手することが肝要です。

「失敗しても良いので・・」は、今まで効率化と統制を是としてきたIT部門には一見難しい考え方かも知れません。しかしながら、ビジネスにおけるIT活用の目的はコンプライアンスに加えて顧客との直接対話を行うマーケティング利用にシフトしつつあります。

そのきっかけとなる技術のひとつが機械学習であり、今後このテクノロジーが実用化(プロダクション化)に至り、企業で当たり前のように活用され、社会基盤のひとつ(エコシステム)となる日はそう遠くはありません。

今や企業の大きな資産となりつつあるデータ、これを内輪で腐らせるのではなく、外部のデータやビジネス連携を触媒として活用し、自社のビジネスを変革していくためには、データとテクノロジーを持つIT部門が中心になるべきだと考えるのは私だけでしょうか。

ユニリタでは「it’s YOUR turn!」を合言葉に、IT部門がドライバとなり、企業のデジタル化推進に向けた移行サービスや実証実験のご提案を行っています。

是非、これらのサービスを利用され、ご自身でその楽しさ(難しさ？)と可能性を実感してみてください。