巨人の肩からサーディランを見る


いつもは一日の終りにこの記事を書いてますが、
それだと脳みそが溶けてフラフラなのと、
疲れててテンションも下がり気味なので朝書いてます。

ということで、今日は張り切って行きます!

郵便局のAPIの次は、eBayにチャレンジ。
巨人の肩に乗るべく、今度はHTMLの
解析を始めています。

まず、ローカルの環境からeBayの検索窓に
「japan」と入れた検索結果のタイトルを取り出してみる。

こうなります。
www.9-4.jp/main/wp-content/uploads/2019/07/ebayJapanResultArray.png…

次に、ページのソースを開いてみます。

ということで、ちょっと見やすくなりました。
ここから余分なダブルクオーテーションとか
いらない文字を整形して、DBに格納します。

つまり、
1.HTMLを解析して、
2.整形して、
3.格納する

この順番なんだなと。
なんか包丁研いでるみたいだな。
JSONかXMLでもらえれば解析も整形もいらない。

解析する場合でもコード自体は3行なので、
これだけの作業なら時間をかければ誰でもできそう。

HTMLの構造が変わった時はイチイチ見るのが面倒なので、
100人ぐらいに「プログラミングに興味がある人必見!」とかで
募集をかけて、仕事が早い5人ぐらいに頼めばいっか。

整形については正規表現を使うことになるけど、
これも「正規表現」という言葉を知ってる人なら、
そんなに難しい仕事ではない。

格納については配列がキレイになっていたら
あとは入れるだけなので自分でやればいい。

それよりも大切なのはDBの正規化だな。
正規化は自分でちゃんと設計しておかないと
あとでごちゃごちゃして困ることになる。

肝はここだったか。

ということで、プログラミングもいよいよ
山頂にアタックを開始しています。
今回は小さい山だけど。

本当は最初からここに注視したかったけど、
これができるようになるまでには
まずプログラミングの全体像を把握する
必要があったので、かなり遠回りしました。

まずはビジネス。
物販が分かっているからこそ
ゴールから逆算してツールを作れます。

仕様は既に頭の中にある。
だけどそれを再現できないのがくやしかった。

色々なツールを開発してもらってたけど、
中身を見てみると、みんな書き方がバラバラ。
しかもまるっとお願いすると開発に半年とかかかる。

ゼロから作ってもらって横のつながりもなく、
同じコードを別の表現で何回も書かれるのは
発注者、受注者ともに全く意味のないこと。

なんとか統一して、分業でできないか考えた。
そのためには自分でプログラミングが扱えるように
ならないといけないぞと。

いま思えば素人のクセに「規格」を
作ろうとしてたんですね。
そりゃ時間がかかるはずだ。

そして、まずは英語の勉強。
プログラミングは英語で書かれているので、
英語の学習は通らなければなりません。

ググる時も、英語で調べたほうが
参考ソースが日本語の10倍以上出てくる。

てことで、英語を勉強し、自分で自分を
教えるための英会話スクールを作り、
シンガポールのビザを取って移住したのでした。

次に、アメリカのプログラミンの講座を取り、
20時間ぐらいある講義を全部受講して、
100時間掛けてプログラムを写経しました。

WordPressみたいなCMSのサイトを
ゼロから組み上げるという鬼仕様の講座です。

それが終わったら、自分で使うツールを
2つ作ってみました。

その時、DBの正規化、正規表現、
cronジョブ、curl、Javascriptと
AJAXをなんとなくだけど使いました。

大人数が同時に使えるように、
セキュリティと大量データの取得にこれから挑戦します。

目指せ、1億レコード。

イワシの大群が大規模になった時。
それをサーディランと呼び、個体数は
数億ともいわれているそうです。

まずはひたすらフェチるを繰り返し、
どんなサイトでも思い通りにデータが取れるようにする。
(fetch=つまり取ってくる)

1億レコードぐらいなら
インデックスつければ0.03秒で
表示できるらしいし、挿入も
30分で終えてる人もいるぐらいだから
私レベルでもなんとかできる。

その次は、マネーフォワードみたいに
120億レコードとか扱ってみたい。

さあやるぞ!!


The following two tabs change content below.
エグゼクティブクラブ代表の吉田です。 エグゼクティブクラブは9年に及ぶ実績を元に多数の成功者を輩出し、 14,000件以上に及ぶメール相談実績、2,700有余名以上の歴代会員サポート実績、 マニュアル・コンテンツ総数3300ページ以上、10名以上の講師陣によるサポート体制、 業界最大級の海外販売・個人輸出の会として、 あなたに的確なアドバイスをさせていただきます。

コメントを残す

メールアドレスが公開されることはありません。