バーチャルオフィスのinsquare|TOP > インスクエアメルマガ バックナンバー


TOP >> ;『データの正規化作業』 インスクエア ビジネスニュース Vol.517

『データの正規化作業』 インスクエア ビジネスニュース Vol.517

■[ インスクエア ビジネスニュース ]━━━━━━━━━━━━━━━━■

 世代を超えて起業が日本を元気にする!
 エイジレスな起業支援のインスクエアが送る【 最新!ビジネス情報 】
 http://in-sq.com
■━━━━━━━━━━━━━━━━━━━━━[vol.517] 2014/04/15━━■
‥‥◇◆ 目次 ◆◇‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥

01:本日のコラム…『 データの正規化作業 』
/ 戸田 裕子(株式会社知紡)

02:プレゼント企画
  最新トレンドセミナー無料ご招待。

03:その他お知らせ
1 インスクエアの最新情報
   ・サポーターに実演販売プロモーター登場
   ・インスクエア上野、横浜関内のご案内

━━┳━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
01 ┃ 本日のコラム -『データの正規化作業』
━━┃……………………………………………………………………………………
 ┃ 戸田 裕子(株式会社知紡)
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━

株式会社知紡の戸田です。

先週から、海外住所データの整理作業をしています。
10万件以上のデータで、世界各国の英語で表記された住所の整理です。

作業の目的は、記載された住所から、国と市を判別し、住所の文字列を
street-city-state-countryのように分割することです。
単純に、国と市を判定するのであれば、google APIのジオコーダなどを
利用すれば技術的にはできますが、この作業の難しさは、元の文字列を
分割するところにあります。

ZHE JIANG SHENG WEN ZHOU SHI SHANG HUA LU 1HAO
=> SHANG HUA LU 1HAO /WEN ZHOU SHI /ZHE JIANG SHENG

ROEMERSTR.12 WEIL AM RHEIN GERMANY
=> ROEMERSTR.12 /WEIL AM RHEIN /GERMANY

といった具合に分けます。

2つめのドイツの住所をGoogle APIジオコーダで検索すると、
以下のように、正規化された情報が見られます。
郵便番号までついてきます。

formatted_address =>
   Roemerstrasse 12, 79576 Weil am Rhein, Germany
street_number => 12
route => Roemerstrasse
locality => Weil am Rhein
administrative_area_level_2 => Freiburg
administrative_area_level_1 => Baden-Wurttemberg
country => Germany

(以下のURLをブラウザで送信すれば見られます。最後のlanguage=jpとす
るとカナ表示されます)

http://maps.googleapis.com/maps/api/geocode/xml?address=ROEMERSTR.12WEILAMRHEINGERMANY&sensor=false&language=en


このようなジオコーダを利用すると便利なのですが、
実際には、百万円以上のビジネス利用料が発生します。
また、元の住所の不備などで、検索されない、複数候補が出る、
全く異なる住所にヒットする…等が起こるため、手作業による方法が
無くなりません。

今回も全件目視が基本ですが、費用・納期の点から、前処理として
ある程度の機械処理をします。
国名、州名、市・町名のリスト(辞書)を利用する方法です。

しかしご存知のように、住所の表記は様々な書き方が存在します。
「tu」なのか「tsu」、「ウムラウトo」は「oe」なのか「o」、
Roadの略RD.、市名-町名 でハイフン繋ぎ、正式名と簡略名、通称…等。
テキスト分析の分野では、「表記のゆらぎ」と呼ばれるものです。

一方、誤字、脱字もあります。
「Germany」が「Garmany」ではマッチしません。

分解の精度は、利用する地名リスト(辞書)の網羅性が大きく影響します。
良い辞書を使えばよいのですが、ここでも費用という縛りがあります。

ここに工夫を入れます。整理したい元データは10万件以上あるわけですから、
基本辞書を使いながら、データ自身から辞書を補完する方法が取れます。
流行のIT用語で言い換えれば、ビッグデータを利用し、データの自己学習を
行い、パターンを抽出する方法と言えます。

実際には、結構ローテクなルールで、地道にパターンを探しているのですが、
初期の基本リストでは、70%程度しか分解できなかったものが、85%程度まで
上げることができました。

このように「データの正規化作業」には限りがありません。
正規な基準に合わせることが重要な事もありますが、目的によっては、
通称、略称、誤字も含めた慣例を、どんどん基準に取り込むことで、
情報活用のためのコストを下げることができればと考えています。

今後とも宜しくお願いいたします。

——————————————————————
▼プロフィール:
・氏名:戸田 裕子(とだ・ゆうこ)tod@myt.co.jp
・所属:(株)知紡 代表取締役
 http://www.ti-bou.com/
 Papatto 企業情報検索サービス http://www.papatto.info/s/index.html
・出身:東京都
——————————————————————-

━━┳━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
02 ┃ 【無料招待】最新トレンドセミナーご招待
━━┃……………………………………………………………………………………
  ┃ 消費トレンドから時代を読みとる
  ┃「いまどきのヒット商品・サービスのトレンドと法則」
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
インスクエア通信は「起業プラットフォーム」として最新ビジネス情報をお届
けしています。

20年続いたデフレの波に変化が現れ始めました。いままでの常識が通用しな
くなる、いままでの価格戦略は見直さなければならない。・・この変化の中で
起業家は新しい課題への対応を見つけなければ生き残れません。

そこで今回は、元日経トレンディ編集長北村森様をお招きして、「いまどきの
ヒット商品・サービスのトレンドと法則」というまさに今聴きたい講座をご用
意させていただきました。
インスクエア利用会員様は【無料ご招待】させていただきます。奮ってご応募
ください。定員になり次第修了とさせていただきます。
(セミナーパンフレット)

http://in-sq.com/other/seiwakai_atoffice_kyoudoukaisaisemina-_20140514.pdf

■アットオフィス・清和会共同開催 講演セミナー

「いまどきのヒット商品・サービスのトレンドと法則」
—-消費者をどう“びっくりさせる”か

お客様が答えを持っているから聞く・・・しかし消費者に何が欲しいか聞いて
その通りに作っても正解は出ない。作り手と買い手の間にはとても深い溝があ
る。消費者におもねず、見くびらず、居場所を求めすぎて迷子にならずという
3原則が大事だ。そしてカギとなるのが「消費者をびっくりさせる」というス
タンス。「そんな馬鹿な!」「そこまでやるか!」「分かっていたのに!」と思
わせて成功した商品やサービスの発想、そしてグローバル時代を勝ち抜く日本
独自の商品開発、サービスはどこにポイントがあるのか。消費トレンドから時
代を読み取る。

■講 師 北村 森氏
(商品ジャーナリスト、サイバー大学客員教授、元『日経トレンディ』編集長)

1966年富山県生まれ。慶應義塾大学法学部卒業。92年日経ホーム出版社に入
社。編集者兼記者として、「ホテルや旅館、飲食店の覆面チェック」「携帯電話
の実使用チェック」をはじめとした各種商品テスト記事の制作・執筆に長年携
わる。
2005年「日経トレンディ」編集長に就任、07年同誌の発行人を兼務。「消費者
がおカネで買えるものすべてをテーマに据える」を旗印に、編集長就任時に低
落傾向にあった同誌の販売部数を大きく立て直すことに成功する。08年日経
ホーム出版社を退職。
09年幻冬舎に入社。10年フリージャーナリストとなる。編集者として活動す
る傍ら、テレビ、ラジオへの出演も精力的に続ける。ソフトバンクなどが設立
したインターネット上の「サイバー大学」では、ITマーケティング論の講座
を担当している。

■日 時  2014年5月14日(水) 14:00~15:30
■会 場  アットビジネスセンター東京2階206号室
(JR「東京」駅八重洲口より徒歩6分)
     http://abc-kaigishitsu.com/tokyo_yaesu/access.html
■参加費
・インスクエア会員、アットビジネスセンター会員・・・無料ご招待
・一般の方・・・事前予約 10,000円/当日 15,000円/学生 3,000円
(メルマガ特典)
抽選でメルマガ読者も10名様を特別招待
お申し込み時にクーポンコードに「無料希望」とお書きください。当選の連絡
をもって抽選結果発表とさせていただきます。

■定 員  50名限定
■お申込み
 http://in-sq.com/other/schedule.html
 5月14日のイベントの申し込みをクリックしてください。

ご質問等ございましたら、
お気軽にご連絡ください!03-6868-4344 まで。
(セミナーパンフレット)

http://in-sq.com/other/seiwakai_atoffice_kyoudoukaisaisemina-_20140514.pdf

━━┳━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
03 ┃ その他のお知らせ
━━┃……………………………………………………………………………………
  ┃ 1. インスクエア最新情報
  ┃ 2. インスクエア上野、横浜関内のお知らせ
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
≪インスクエア最新情報≫
□ サポーターに目利きリスト登場 □
インスクエアには、サポーターという組織があるのをご存知ですか?
めったに出会えないその道のプロに相談できる出会いを作ります。
今回は「TVショッピングのプロ 目利き人」です。
「目利きリスト」ってなんだ?って思われる方どうぞこちらのレポートを
ご覧ください。

http://in-sq.com/event/?p=166

≪インスクエア上野、横浜関内のお知らせ≫
横浜エリアのビジネスゾーン関内に『インスクエア横浜関内』
上野駅近く不忍の池を見下ろす絶好のビジネス環境に
『インスクエア上野』がオープン。

この二つの施設には初の試み盛りだくさん
いままでのレンタルオフィスの感覚を覆すコストパフォーマンスです。

ワンランク上の大人のデザインなのに超格安
  横浜関内 http://in-sq.com/kannai/index.html
  上野  http://in-sq.com/ueno/index.html

窓面が多い大型施設 抜群の明るさ

低価格ハイグレードのコストパフォーマンス

W1400の大型デスクでゆったり執務

※ただ今オープンキャンペーンを実施しています。【無料特典】多数あります

この機会に是非見学にお越しください
お問い合わせは、03-6868-4344 まで。

★インスクエア 関連WEBサイト★
【インスクエア池袋公式サイト】
 http://in-sq.com/index.html
【オフィス探しのポ-タルサイト】
 http://www.at-office.co.jp/
【レンタル会議室探すならアットビジネスセンター】
 http://abc-kaigishitsu.com/
【インスクエア公式サポーター 営業支援担当(株)東京事務所】
 http://www.tokyojimusyo.com/
【ビジネスコンテンツアグリゲーション(株)PDBマーケティング】
 http://www.p-db-m.com/
【インスクエア公式サポーター IT担当(株)CNETメディアサービス】
 http://www.cnet-media.co.jp/
■━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━■
インスクエアでは、世代を超えたビジネス情報・国境を超えた
アジア最新情報、営業支援情報など有益なビジネス情報をお届けいたします。

メルマガ購読申込はこちら http://melmaga.in-sq.net/

関連記事

« 6月 2022 8月 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31