乱れたお客さんの CSV を Filament に取り込む。保存の前に全部直す
ある会社を、古い顧客のシステムから移します。古いシステムにできるのは CSV の書き出しだけです。見出しはそのシステム独自のもの(「Client ID」「Mail」「Mobile」「Membership level」)で、何年も手で打ってきたデータには、いくつか困ったものが混ざっています。@ のないメール、名前のないお客さん、2 回書き出された同じお客さんです。
Filament の取り込みのアクションでも、ファイルは読めます。でも、列は一覧から選ぶだけで、「取り込む」を押してから、失敗した行の CSV で初めて問題が分かります。そのファイルを直してもう一度取り込むとき、半分のお客さんを 2 回作っていないか心配になります。
この記事では、同じ移行を Warp Import で行います。何かを書き込む前に全部の行を確かめ、問題を行の横に出し、その場でセルを直します。画像はどれもライブデモで撮りました。
場面:古いシステムから書き出したファイル
これがそのファイルです。お客さんが 5 人、列が 6 つ、問題のある行が 3 つあります。
old-system-customers.csv。3 行目はメールに @ がなく、4 行目は名前がなく、5 行目は 2 行目と同じです。手順 1:取り込みのアクションを差し替える
importer はふつうの Filament の importer で、そのまま使います。一覧のページで、Filament の ImportAction の代わりに WarpImportAction を使います。
use Qalainau\FilamentWarpImport\Actions\WarpImportAction;
protected function getHeaderActions(): array
{
return [
WarpImportAction::make()
->importer(CustomerImporter::class)
->aiSuggestions(),
];
}
正しい行かどうかは、Filament と同じく importer の列と決まりで決まります。
public static function getColumns(): array
{
return [
ImportColumn::make('code')->requiredMapping()
->rules(['required', 'max:16'])->guess(['code', 'customer code']),
ImportColumn::make('name')->requiredMappingForNewRecordsOnly()
->rules(['required', 'max:255'])->guess(['name']),
ImportColumn::make('email')
->rules(['nullable', 'email', 'max:255'])->guess(['email', 'e-mail']),
// phone・country・rank も同じ形
];
}
public function resolveRecord(): Customer
{
return Customer::firstOrNew(['code' => $this->data['code']]);
}
手順 2:列を合わせる
「顧客を取り込む」を押して、ファイルを入れます。画面は「ファイル」「列の対応」「確認」「取り込み」の 4 段です。「Full name」は自動で名前に合います。「Client ID」「Mail」「Mobile」は何のことか分からないので、コード・メール・電話は「取り込まない」のままで、必須のコードには印が付きます。
見出しを 1 つずつ一覧から選んでもかまいません。「AI で提案」を押すと、Claude に、まだ合っていない欄と、使われていない見出し(それぞれ最大 3 つの値付き)が送られ、空いている所を埋めてくれます。答えには、使う人が変えるまで「AI」のバッジが付きます。
AI の答えだけで何かが取り込まれることはありません。答えが入るのは「取り込まない」のままの欄だけで、どの行も下の確認を通ります。(デモには API のキーがないので、Claude の代わりに決まった一覧が答えています。)
手順 3:取り込む前に問題を全部見る
「5 行を確認する」を押すと、どの行も Filament と同じく importer を通り(resolveRecord()、決まり、fillRecord())、saveRecord() の手前で止まります。これは全部、最後に取り消されるトランザクションの中で行うので、まだ何も書き込まれません。
- エラー:決まりに合わなかった行です。メッセージは Laravel のもので、セルに印が付きます。
- 重複:前の行と同じ記録を指す行です。最初の行だけを取り込むので、お客さんが 2 人できることはありません。
- アプリにもういるお客さんの行は「変更」になり、古い値が取り消し線で、その横に新しい値が出ます。
数・日付・はい/いいえも、決まりより先に確かめます。Filament は数の列の abc を 0 として読みますが、Warp Import はエラーとして出します。
手順 4:セルを直して、取り込む
赤いセルをダブルクリックし、正しい値を打って Enter を押します。その行はすぐに確かめ直されます。
取り込みは、Filament と同じ手順(フックも含む)で importer が行を書き込みます。書き込むときに失敗した行は、その行だけが取り消されて一覧に出て、ほかの行は書き込まれます。
それでもおかしいと思ったら、「この取り込みを取り消す」で、作った記録を消し、変えた記録を古い値に戻せます。期限は標準で 30 日です。取り込みのあとにだれかが編集した記録はそのまま残ります。
来月のファイル
同じ書き出しがまた届くときは、確認の画面の「テンプレートとして保存…」で、列の対応と整え方を残せます。次に同じ見出しのファイルが来たら、列を合わせ直す必要はありません。決まった日に届くファイルは、自動で取り込むこともできます。
ほかにも使える場面
- 仕入先の価格表:
$1,200のような価格や、季節ごとに変わる見出しの Excel。 - CRM や会計ソフトの乗り換え:お客さんとその注文。注文と明細は、1 つのファイルの別のシートで一緒に取り込めます。
- ほかの国のファイル:区切りの文字や小数点のカンマが違うもの、日本の Excel の Shift_JIS の CSV。
- ファイルから消えた記録:アプリにはいるのに、書き出しにはもういないお客さんを見つける。
知っておきたい制限
.xls(Excel 97–2003)は読めません。.xlsxか CSV で保存し直してください。Excel の式は、最後に計算された値で入ります。- 取り消しでは、
belongsToManyで付けた記録は外れず、フックの副作用(メール・API の呼び出し)も元に戻りません。 - データベースの外で何かをするフックは、確認の間にも動きます。メールや API の呼び出しは、確認の間は動かない
afterSave()に置いてください。 aiSuggestions()を使うと、ボタンを押したときに、見出しと列ごとに最大 3 つの値が Anthropic に送られます(押さなければ送られません)。サーバーの外に出せないデータでは、値を送らない設定にするか、この機能を使わないでください。
試してみる
デモのお客さんのページを開き、「顧客を取り込む」を押してください。「サンプルファイル」で最初の CSV が手に入ります。取り込む前にいくつかセルを壊しておき、確認の画面で直してみてください。登録はいらず、データは 1 時間ごとに元に戻ります。