【無料】CozeでスクレイピングAPI作成！Dify連携も

「Webサイトの情報を自動で集めたいけれど、有料ツールは高い…」
「DifyやReplit AgentなどのAIツールで、スクレイピング機能を組み込みたい」

そんな方に朗報です。ノーコード開発プラットフォーム「Coze」を使えば、誰でも簡単に、しかも無料でWebスクレイピングAPIを作成できます。

この記事では、Cozeでスクレイピングツールを作成し、それをAPI化して他のツールから呼び出すまでの全手順を解説します。

【Step 1】Cozeでスクレイピングワークフローを作成する

まずは、Coze上でスクレイピングを行う「ワークフロー」を作成します。

1. Coze公式サイトにアクセスし、Googleアカウント等でログインします。
2. 左側のメニューから「Workspace」を選択します。
3. 画面右上の「+ Resources」をクリックし、「Workflow」を選択します。
4. 「Create workflow」画面が表示されるので、任意の名前（例：WebScraper）と説明を入力し、「Confirm」をクリックします。

ワークフローの構築手順

編集画面が開いたら、以下の手順でノード（処理の部品）をつなぎます。

1. 左上の「Plugins」をクリックし、検索窓に「WEB」と入力します。
2. 一覧から「WebSpider」を選択し、その中の「url2json」の「Add」ボタンをクリックします。
3. 画面上の「Start」ノードと「url2json」ノード、「url2json」ノードと「End」ノードを線でつなぎます。
4. 「Start」ノードの設定：入力欄が2行ある場合、下の行の「－」ボタンで削除します。
5. 「url2json」ノードの設定：「Please select」で「Start」→「BOT_USER_INPUT」を選択します。
6. 「End」ノードの設定：「Please select」で「url2json」→「web_content」を選択します。

これで、「URLを入力すると、そのページの内容をJSON形式で返す」ワークフローが完成しました。

動作テストと公開

1. 右上の「Test run」ボタンをクリックします。
2. 「BOT_USER_INPUT」にスクレイピングしたいURLを入力し、右下の「Test run」を実行します。
3. 正常にデータが取得できたら、右上の「Publish」ボタンをクリックしてワークフローを公開します。

【Step 2】作成したワークフローをAPI化する

外部ツールからこのワークフローを呼び出すために、APIトークンを取得します。

1. Cozeのトークン管理ページを開きます。
2. 右上の「Add token」をクリックします。
3. トークン設定画面で以下のように設定します。
   • Name: 任意の名前
   • Expiration time: 期限を選択（例：30 days）
   • Permissions: 「Workflow Run」などにチェックを入れる（全チェックでも可）
   • Select specified team space: 「Personal」を選択
4. 「Confirm」をクリックし、表示されたトークンをコピーして安全な場所に保存します。

【Step 3】Replit AgentやDifyからAPIを呼び出す

取得した情報を使って、APIリクエストを作成します。必要な情報は以下の3つです。

• Authorization Token: Step 2で取得したトークン
• workflow_id: ワークフロー編集画面のURLに含まれる数字（例：workflow_id=12345…）
• user_id: Cozeの設定画面（Settings → Account）にあるUID

curlコマンドのサンプル

以下のコマンドの 【】 部分を自分の情報に書き換えるだけで実行できます。

curl --location --request POST 'https://api.coze.com/v1/workflow/run'

--header 'Authorization: Bearer 【あなたのトークン】'

--header 'Content-Type: application/json'

--header 'Accept: /'

--data-raw '{ "workflow_id": "【ワークフローID】", "parameters": { "user_id": "【ユーザーID】", "BOT_USER_INPUT": "【スクレイピングしたいURL】" } }'

DifyやReplitで使うためのPythonコード化

上記のcurlコマンドをコピーし、ChatGPTなどのAIに「このcurlコマンドをPythonのrequestsライブラリを使ったコードに変換して」と指示すれば、すぐに使えるコードが手に入ります。

これをDifyの「コード実行ブロック」やReplit Agentに貼り付けることで、自作のスクレイピング機能を自由に組み込むことができます。

まとめ

Cozeを使えば、複雑な環境構築なしで、強力なスクレイピングAPIを無料で手に入れることができます。

ぜひこの方法を活用して、データ収集の自動化やAIアプリの機能拡張に役立ててください。