『スクレイピング（最終回）』 インスクエア ビジネスニュース Vol.1341
■[ インスクエア ビジネスニュース ]━■
エイジレスな起業支援
インスクエアが送る【最新！ビジネス情報】
http://in-sq.com
■━━━━━━[vol.1341] 2017/07/28━━■
メルマガ無料購読申込はこちら
━━┳━━━━━━━━━━━━━━━━━━━━━━
01 ┃ 本日のコラム －『スクレイピング（最終回）』
━━┃…………………………………………………………
┃ ／ 藤田幹夫（PDBマーケティング株式会社）
━━━━━━━━━━━━━━━━━━━━━━━━━
PDBマーケティング藤田です。
「スクレイピング」＝インターネット情報収集へのチャレンジ
今日は最終回となります。
昨日（7月27日）データ編集までの仕組みが確立しました。
今日、10万件のデータ完成予定です。
インターネット上のサイトにある膨大な情報から欲しい
情報を抽出する。
新しいサービスを生み出すための基本技術です。
1つの現実的なソリューション＝解決策の確立です。
こうした技術課題は、解決策は1つではなく環境の変化で
最適解も異なってきます。
自分なりの実現策を持っていいることが、アイデア
実現を助けてくれます。
今回のプロジェクトは当初、既存データをもとに
画像データの補完収集でした。
この課題では、技術的にはExcelのVBAのアプリと
なります。
懸念すべきことは、10万回のアクセスに対して
サーバ側が、拒否ロジックを持っているかもしれない
ことです。
プログラムの自動アクセスによる情報の取得には
サーバ管理側も注意を払っています。
同じPC/IPアドレスから連続的なアクセスは検知
され、接続拒否の可能性があります。
今回、要件が変更となり、既存データを基に
した収集ではなく、新規集収となりました。
このため、新たな技術としてスクレイピングに
チャレンジすることとなりました。
新しい技術は習得に一定の時間、労力投入が必須です。
結果として1か月の期間を要しました。
しかし、専門特化しているサービスを採用したので、
サーバ側の拒否対策には対策が取られており、
アクセス拒否は気にしなくてよくなっています。
サービス提供側説明では、5万台のサーバで
分散処理するそうです。
10万件の収集でも、1台からは2回のアクセスとなります。
こうした新しいサービスは、日本語の対応が十分で
なく、解説など英語での読み下しが必要ですが、
Google翻訳のレベルも向上し気持ちがあれば、
障害にはなりません。
収集要件を個別にアプリケーションとして定義する
ためのプログラミングは慣れるまで、試行錯誤です。
1万件の収集は、回数制限なく無料サービス範囲です。
以下がサービスのURLです。関心がある方はどうぞ。
このサービスによる情報収集だけでは完結しません。
データの編集機能は決して十分でなく、巨大なJSON
（インターネットの標準的なフォーマット）が
出力されます。最初は120MBありました。
絞り込んで8MB程度になりました。
このファイルを自分用に編集することとなります。
NONSQLデータベース、PosgreSQLのJsonサポート
など検討したのですが現時点自分で扱えそうになく、
次の課題として先送り、EXcelVBAでの加工としました。
得られたJsonファイルをセルに格納し、文字列検索
で不要データの削除、アイテムへの設定を行います。
日本語を扱いますから、漢字コード変換も必須です。
ネットの標準はUTF8,ExcelはシフトJISです。
データ利用時点で、元になるHPを参照したいことから
、URLにはハイパーリンク設定も有効です。
こうした処理を組み込んで、一連の仕組みが確立しました。
新しい世界を歩くことができるという、充実した
感覚があります。
これは、技術ですからビジネスのツールとして
活用するにはさらなる創意工夫です。
7月のスクレイピング実践経過でした。
次回は8月になります。
並行して企画してきた、大学での活動計画を
次回メルマガで紹介します。
暑さに負けず、無理せず進めていきます。
—————————————————————-
▼プロフィール：インスクエアメルマガ編集委員、
起業塾長
・氏名：藤田 幹夫（ふじた・みきお）66歳
・出身：香川県丸亀市
・出身高校／大学：香川県立丸亀高校／京都大学理学部
・役職：PDBマーケティング 代表取締役
京都からイノベーションを目指します。2017/5/1
・mail:fujita@p-db-m.com
・経歴：1974年 株式会社日本ビジネスコンサルタント 入社
1987年 兼（財）データベース白書編集委員2008年廃刊まで
2009年 PDBマーケティング株式会社代表就任（現在に至る）
—————————————————————-
『平成29年度 TOKYOイチオシ応援事業』 インスクエア ビジネスニュース Vol.1340
■[ インスクエア ビジネスニュース ]■
エイジレスな起業支援
インスクエアが送る最新！ビジネス情報
■━━━━━━[vol.1340] 2017/07/28■
メルマガ無料購読申込はこちら
━━━━━━━━━━━━━━━━━━━
01本日のコラム －
平成29年度 TOKYOイチオシ応援事業
…………………………………………………
石井 亜由美 （いしい行政書士事務所 代表）
━━━━━━━━━━━━━━━━━━━
皆様こんにちは！！
インスクエアサポーターの石井です。
前回のメルマガで書かせて頂いた北海道出張は無事終了・・
バニラエアに初めて乗り、
タクシー飛ばして行った役所からの帰り道がわからず、
オタオタしておりましたら、
親切な可愛いお姉さんが
「どちらに行かれるんですか？」と声をかけてくださりました。
そのお姉さんに教えてもらった
豚丼おいしかったです。
本日は新しい補助金の話題です。
東京都内の地域資源を活用した新製品、新サービスの開発、改良事業にあたり、
その経費の一部（直接人件費を含む）が補助されます。
限度額は１，５００万円（経費の２分の１以内）
対象期間も最長２年間です。
対象者も株式会社などの中小企業者だけでなく、組合、一般社団法人、一般財団法人、ＮＰＯ法人も対象です。
公募期間は
平成29年9月4日（月曜）～9月8日（金曜）
申請書の提出は事前予約制です。
事前予約期間：平成29年7月24日（月曜）～8月25日（金曜）
地域資源とは、
東京都の地域資源として地域の中小企業等が共有して活用できる資源であり、
東京都の地域資源として、生産量、品質、機能、歴史的・文化的背景等の面で特徴があり、
消費者等にそのことが一定程度認識されていること
となっています。
また次の３分類に該当することとされています。
１ 農林水産物
２ 鉱工業品、生産技術
３ 観光資源
農林水産物・・
機能性表示食品は、農産物で届出が受理されたのは、
「三ヶ日みかん」、サラダコスモさんの「もやし」
しかまだないのですが、
次は東京の江戸野菜とか？？(妄想中）
本日７／２８（金）はいよいよ機能性表示食品の
届出セミナーです。
（私も一部お話するのでドキドキ・・）
初！イベントページを作ってみましたところ、
２０名弱の方にお申込み頂いてます。
１４：００～１５：３０
１７：００～１８：３０
渋谷ヒカリエＭＯＶで開催しますので、
ご興味のある方はayustone@gmail.com までご連絡くださいね。
★事務所通信のメルマガもがんばってます。
経営者の方向けにお金の情報を少しずつ提供しております。
以下のURLから登録できますので、ご興味のある方はご登録頂ければ幸いです。
http://www.reservestock.jp/subscribe/43304
お電話、メール等のご質問など大歓迎です♪（いしい）
（過去の助成金メルマガバックナンバー）
http://www.in-sq.com/mailmag/category/ishii
———————————————————–
▼プロフィール：インスクエア サポーター
・氏名：石井 亜由美（いしい あゆみ）
・いしい行政書士事務所 行政書士
ターンアラウンドマネジャー 事業承継士
（事務所ＨＰ）http://gyousei.ayumiis.com/
大阪府立大学工学部化学工学科卒
株式会社東芝 入社
出産退職後、都内特許事務所にて明細書、意見書の作成に従事した
ときには、論理的な文章の組み立て、特許特有の文章作成を学びま
した。
薬事業務が大好きです。一番ワクワクします！
最近は、信託、事業承継のご相談を受けることが多くなってきました。
平成１６年 行政書士事務所を開業
平成２７年 ターンアラウンドマネジャー資格取得（企業再生実務）
事業承継士取得
平成２８年 事業承継マネジャー取得
———————————————————–
